基于软近邻投票的图像标签相关性计算

如何自动判断社会化标签与图像内容之间的相关性是社会化多媒体内容检索领域一个重要的研究问题.近邻投票算法是已知的计算标签相关性的最有效方法之一.但该算法采用硬投票策略,并未考虑近邻图像的权重以及近邻图像自身标签的质量.针对上述问题,文中提出一种一般性的软近邻投票框架,通过考察近邻权重和近邻标签权重这两个维度,系统性地比较了23种软近邻投票实现方案.以近120万张Flickr图像为训练集、约两万张图像为测试集的实验表明,软近邻投票策略要优于硬投票策略:平均查准率从0.764提升到0.783,且软近邻投票对于近邻个数这一重要参数的选取相对不敏感.

基于标注词语义与图像视觉的标签丰富算法

针对社会化图像初始标注不完备、不准确的问题,提出了一种基于标注词语义与图像视觉信息的社交图像标签丰富算法.该算法融合词频共现和Word Net语义层级两种方式挖掘标签之间的潜在联系,并由此根据已有的标注信息获取候选标签;再综合图像视觉特征和高层语义主题计算图像内容相似度,确定图像间的近邻关系;最后基于近邻图像和候选标签构造了一种新的软近邻投票规则,以刻画候选标签是否真正能描述图像内容.在数据集MIRFlickr-25k上进行实验,系统地比较了不同语义相似度和图像相似度度量方法对实验结果的影响,通过分析实验数据发现,所提出的方法能够有效实现标签丰富,提升标签质量.