一种用于图像检索的多层语义二值描述符

随着图像数据的爆炸性增长,基于内容的图像检索引起了大量的关注.图像检索系统的性能很大程度上是由描述符决定的.有很多传统的描述符先后被提出,但检索的准确率都不太理想.随着深度学习的发展,利用卷积神经网络(Convolutional Neural Network,CNN)来学习占用空间小且具有较强区分力(discriminative)的图像表示逐渐兴起.卷积神经网络全连接层的特征通常为分类任务而设计,捕获的往往是高层的语义信息,难以充分有效的捕获图像的局部信息,而且维度很高.为解决全连接层特征缺乏局部信息且维度较高的问题,本文提出了一种多层语义二值描述符(Multi-level Semantic Binary Descriptor,MSBD).多层语义二值描述符通过多层语义浮点描述符构建和二值描述符学习两个步骤生成.多层语义浮点描述符由全局分支、对象分支以及显著性区域分支构成,每个分支代表一个语义层次,可以同时捕获全局特征以及显著的局部特征.二值描述符学习算法通过一个迭代的过程减少二值化过程中的量化误差以及编码中的冗余信息,在压缩描述符的同时减少区分力的损失.为了进一步提高查询的准确率,本文提出了一种不相似性度量函数.此度量函数同时包含了哈希代表的视觉语义信息以及类级别的高层概念语义信息.本文在该领域典型的数据集上对描述符进行了系统的对比实验,实验结果表明,多层语义二值描述符具有很强的区分力,查询准确率优于很多当前最先进的浮点描述符,在Oxford5K数据集上与目前最好的方法达到了相近的准确率,在Paris6K数据集上比已有的方法超过了约4.3%,在Holidays数据集上比已有方法超过了约2.1%.