一种基于视觉词典优化和查询扩展的图像检索方法

视觉词典方法 (Bag of visual words,Bo VW)是当前图像检索领域的主流方法,然而,传统的视觉词典方法存在计算量大、词典区分性不强以及抗干扰能力差等问题,难以适应大数据环境.针对这些问题,本文提出了一种基于视觉词典优化和查询扩展的图像检索方法.首先,利用基于密度的聚类方法对SIFT特征进行聚类生成视觉词典,提高视觉词典的生成效率和质量;然后,通过卡方模型分析视觉单词与图像目标的相关性,去除不包含目标信息的视觉单词,增强视觉词典的分辨能力;最后,采用基于图结构的查询扩展方法对初始检索结果进行重排序.在Oxford5K和Paris6K图像集上的实验结果表明,新方法在一定程度上提高了视觉词典的质量和语义分辨能力,性能优于当前主流方法.

基于近义词自适应软分配和卡方模型的图像目标分类方法

传统的视觉词典模型(Bag of Visual Words Model,Bo VWM)中广泛存在视觉单词同义性和歧义性问题.且视觉词典中的一些噪声单词—"视觉停用词",也会降低视觉词典的语义分辨能力.针对这些问题,本文提出了基于近义词自适应软分配和卡方模型的图像目标分类方法.首先,该方法利用概率潜在语义分析模型(Probabilistic Latent Semantic Analysis,PLSA)分析图像中视觉单词的语义共生概率,挖掘图像隐藏的语义主题,进而得到语义主题在某一视觉单词上的概率分布;其次,引入K-L散度度量视觉单词间的语义相关性,获取语义相关的近义词;然后,结合自适应软分配策略实现SIFT特征点与若干语义相关的近义词之间的软映射;最后,利用卡方模型滤除"视觉停用词",重构视觉词汇分布直方图,并采用SVM分类器完成目标分类.实验结果表明,新方法能够有效克服视觉单词同义性和歧义性问题带来的不利影响,增强视觉词典的语义分辨能力,较好地改善了目标分类性能.

基于词典优化与空间一致性度量的目标检索

基于视觉词典模型(bag of visual words model,BoVWM)的目标检索存在时间效率低、词典区分性不强的问题,以及由于空间信息的缺失及量化误差等导致的视觉语义分辨力不强的问题.针对这些问题,提出了基于词典优化与空间一致性度量的目标检索方法.首先,该方法引入E2LSH(exact Euclidean locality sensitive hashing)过滤图像中的噪声和相似关键点,提高词典生成效率和质量;然后,引入卡方模型(chi-square model,CSM)移除词典中的视觉停用词增强视觉词典的区分性;最后,采用空间一致性度量准则进行目标检索并对初始结果进行K-近邻(K-nearest neighbors,K-NN)重排序.实验结果表明:新方法在一定程度上改善了视觉词典的质量,增强了视觉语义分辨能力,进而有效地提高目标检索性能.

基于深度学习编码模型的图像分类方法

针对矢量量化编码的量化误差严重,而稀疏编码只是一种浅层学习模型,容易导致视觉词典对图像特征缺乏选择性的问题,提出了一种基于深度学习特征编码模型的图像分类方法。首先,采用深度学习网络无监督的受限玻尔兹曼机(RBM)代替传统的K-Means聚类及稀疏编码等方法对SIFT特征库进行编码学习,生成视觉词典;其次,对RBM编码添加正则化项分解组合每个特征的稀疏表示,使得生成的视觉单词兼具稀疏性和选择性;然后,利用训练数据的类别标签信息有监督地自上而下对得到的初始视觉词典进行微调,得到图像深度学习表示向量,以此训练SVM分类器并完成图像分类。实验结果表明,本文方法能有效克服传统矢量量化编码及稀疏编码等方法的缺点,有效地提升图像分类性能。

基于弱监督E2LSH和显著图加权的目标分类方法

在目标分类领域,当前主流的目标分类方法是基于视觉词典模型,而时间效率低、视觉单词同义性和歧义性及单词空间信息的缺失等问题严重制约了其分类性能。针对这些问题,该文提出一种基于弱监督的精确位置敏感哈希(E2LSH)和显著图加权的目标分类方法。首先,引入E2LSH算法对训练图像集的特征点聚类生成一组视觉词典,并提出一种弱监督策略对E2LSH中哈希函数的选取进行监督,以降低其随机性,提高视觉词典的区分性。然后,利用GBVS(Graph-Based Visual Saliency)显著度检测算法对图像进行显著度检测,并依据单词所处区域的显著度值为其分配权重;最后,利用显著图加权的视觉语言模型完成目标分类。在数据集Caltech-256和Pascal VOC2007上的实验结果表明,所提方法能够较好地提高词典生成效率,提高目标表达的分辨能力,其目标分类性能优于当前主流方法。

基于E^2LSH过滤与空间一致性度量的目标检索方法

为了解决传统视觉词典模型(bag of visual words model,Bo VWM)中存在的时间效率低、词典区分性不强的问题,以及由于空间信息的缺失及量化误差等导致的目标检索性能较低的问题。提出一种新的目标检索方法,首先引入精确欧氏位置敏感哈希(exact euclidean locality sensitive hashing,E2LSH)过滤训练图像集中的噪声和相似关键点,提高词典生成效率和质量;然后,引入卡方模型(Chi-square model)移除词典中的视觉停用词增强视觉词典的区分性;最后,采用空间一致性度量准则进行目标检索并对初始结果进行K-近邻(K-nearest neighbors,K-NN)重排序。将提出的方法在数据库Oxford5K和Flickr1上进行目标检索,结果表明,新方法在一定程度上改善了视觉词典的质量,增强了视觉语义分辨能力,有效地提高目标检索性能。