图像场景分类中视觉词包模型方法综述

目的关于图像场景分类中视觉词包模型方法的综述性文章在国内外杂志上还少有报导,为了使国内外同行对图像场景分类中的视觉词包模型方法有一个较为全面的了解,对这些研究工作进行了系统总结。方法在参考国内外大量文献的基础上,对现有图像场景分类(主要指针对单一图像场景的分类)中出现的各种视觉词包模型方法从低层特征的选择与局部图像块特征的生成、视觉词典的构建、视觉词包特征的直方图表示、视觉单词优化等多方面加以总结和比较。结果回顾了视觉词包模型的发展历程,对目前存在的多种视觉词包模型进行了归纳,比较常见方法各自的优缺点,总结了视觉词包模型性能评价方法,并对目前常用的标准场景库进行汇总,同时给出了各自所达到的最高精度。结论图像场景分类中视觉词包模型方法的研究作为计算机视觉领域方兴未艾的热点研究领域,在国内外研究中取得了不少进展,在计算机视觉领域的研究也不再局限于直接应用模型描述图像内容,而是更多地考虑图像与文本的差异。虽然视觉词包模型在图像场景分类的应用中还存在很多亟需解决的问题,但是这丝毫不能掩盖其研究的重要意义。

基于概念格层次分析的视觉词典生成方法

视觉词典容量是影响图像场景分类精度的重要因素之一,大容量的视觉词典因计算量较大影响了分类的效率,而小容量的视觉词典由于多义词问题的严重致使场景分类精度降低.针对该问题,提出一种基于概念格层次分析的视觉词典生成方法.首先生成关于训练图像视觉词包模型的初始视觉词典;然后在构造的概念格上利用概念格的概念层次性,通过动态地调整外延数阈值,获取粒度大小不同容量的描述图像各场景语义的约简视觉词典;最后对各类约简视觉单词构成向量进行异或,删除多义词,进而生成有效描述图像场景语义的视觉词典.实验结果表明,文中方法是有效的.

基于模糊概念格的视觉单词生成方法

利用一般概念格生成用于表示场景图像的视觉单词,在一定程度上能提高场景分类的精度,但因该格结构仅表示二值映射关系从而导致场景分类精度不高.模糊概念格不仅具有一般概念格的层次化表示知识的特点,还具有多值映射的特征,成为一种提取不确定知识的有效工具.首先生成关于训练图像视觉词包模型表示的多值映射特征背景,然后在构造的模糊概念格上,利用其层次结构,通过不断缩小隶属函数的取值区间,以约简部分"噪声"视觉单词,进而寻找一个场景分类精度较高的最优取值区间,最后在该区间下有效提取了表示某类场景的视觉单词集,实验验证了该方法的有效性.

一种新的基于频繁加权概念格的视觉单词生成方法

传统的视觉单词仅通过无监督聚类方法生成,标注的精度和效率较低。加权概念格是一种有效的层次数据分析工具,本文采用加权概念格对视觉单词进行分析与约简,提出了一种新的视觉单词生成方法。首先生成训练图像视觉词包的形式背景,并通过信息熵获取视觉单词的权值;其次针对各语义类别,根据用户所设定的内涵重要性阈值,构造出视觉词包模型频繁加权概念格;然后依据外延数阈值,提取对分类贡献大的描述图像语义的约简视觉单词,进一步提高了标注的精度和效率;最后通过实验验证了该方法是有效的和可行的。

基于多尺度词包表示的hLDA模型的茶园识别研究

以高分一号(GF-1)影像为数据源,构建了一种基于多尺度词包表示的层次隐狄利克雷分配(hierarchical latent Dirichlet Allocation,hLDA)模型的茶园识别框架。结合茶园自身的特点,以场景为基本单元提取茶园。研究结果表明,应用本文构建的方法能够得到较高的茶园识别精度。与只利用底层视觉特征的多尺度视觉词包(Multi-scale Bag-of-Visua-Words,MS_BOVW)模型相比,本文构建的方法能够把基于底层视觉特征的分析转化到高层语义信息上,得到更高的分类精度。

一种多层次抽象语义决策图像分类方法

视觉词包(Bag-of-visual-words,Bo VW)模型是一种有效的图像分类方法.本文提出一种基于语义抽象的多层次决策(Multiple layer decision,MLD)方法,通过在Bo VW中引入抽象语义进行多层次扩展,采用语义保留方法生成具有语义的视觉词典,利用自底向上的方式逐层传递语义,训练上层语义分类器;分类时采用自顶向下方式逐层判断待测样本的类别.用标准数据集验证方法的分类性能.结果表明,本文提出的方法与主流分类方法相比具有更好的分类性能.

基于SPM-IBOVW模型的自然场景识别

提出一种基于空间金字塔匹配的集成化视觉词典(SPM-IBOVW)模型的自然场景识别方法.对各个类别的特征集合分别聚类形成各类别视觉词包,并连接成为集成化视觉词包(IVV);采用一种新的5层空间金字塔划分方法,相比经典划分方法在降低算法复杂度的同时,提高了场景识别率,并通过15类通用复杂场景的识别实验验证其有效性.结果表明,所提出的方法对复杂场景的识别率达到83.17%.

复杂背景下车牌定位方法的研究

为了提高复杂背景下车牌定位的准确性,在分析各类车牌定位算法的基础上,提出了一种结合纹理特征和视觉词包模型的多信息定位方法.对二值化后的图像中的纵向纹理横向膨胀,生成车牌候选区域,根据车牌的长宽比对车牌进行粗定位.利用视觉词包表示粗定位后的矩形轮廓,使用支持向量机分类确认车牌矩形区域,精确定位出车牌位置.该方法对140张测试样本定位的准确率为96.4%,抗干扰性强.

基于k密集近邻算法的局部Fisher向量编码方法

在基于视觉词包模型的图像分类方法中,Fisher向量编码是常用的图像表示方法之一.该方法利用每一个特征关于所有高斯子模型似然函数的梯度信息来构建图像表达.而在编码过程中,每一个特征都会被投影到所有的高斯子模型上并进行编码,同时子模型之间的内在差异也未被考虑,这些不足削弱了Fisher向量的表达能力.为此,提出一种基于k密集近邻算法的局部Fisher向量编码方法.在编码过程中该方法引入局部性约束原则,并利用图像特征空间中高斯子模型间的拓扑结构差异.在多个数据集上进行测试,结果表明改进方法能够有效提升分类的准确率.

基于整体外观特征的植物种类识别研究

提出一种基于整体植物外观特征提取的植物自动识别方案。首先,用普残差法对植物图像进行显著性区域检测,较粗略地得到植物对象,再结合色调信息进行细分割。接着提取该对象区域的SIFT特征作为底层局部特征,建立视觉词包模型,最后设计分类器进行分类。选取了9种常见的室内盆栽,每种植物各28个样本。在实验中,分别对比当前流行的BP神经网络、SVM和ELM三种分类器的分类性能。实验结果发现,支持向量机和极限学习机有较好的分类效果,识别率可以达到90%左右。这对植物识别的研究及应用推广都具有一定的积极作用。

基于近义词分配的铁路接触网绝缘子识别与分类

为提高铁路接触网绝缘子检测中的图像识别精度并准确区分绝缘子类型,提出一种建立在"视觉词包模型"基础上,计算视觉单词语义距离并合理分配的绝缘子识别分类模型。首先应用潜在狄利克雷分布模型与相对熵计算视觉单词的语义相关性,然后根据底层特征与各单词的欧氏距离大小分配单词数目,最后采用支持向量机实现绝缘子的识别与分类。实验结果表明,该方法可以提高识别精度与分类效果。

基于对象BOW特征的高分辨率遥感影像变化检测方法

针对传统基于像素的变化检测方法的缺点,以及底层特征表现能力不足等问题,提出一种基于对象BOW特征的变化检测方法。首先,将经过预处理操作的两期影像进行波段组合得到组合后影像,再考虑地物光谱特征和几何空间信息对组合后影像进行多尺度分割,获得相对应的对象基元;同时,分别提取两幅影像的底层特征(包括影像各波段的均值和方差以及灰度图像的6种纹理特征)。其次,将对象视作文档,像素的特征向量视作单词,利用BOW模型构建影像对象的中层表达,即对象的BOW特征。最后,通过相似性度量算法比较相应对象的BOW特征,从而识别出影像上的变化区域。本文利用2组WorldView-2影像进行了检验,结果表明本文方法的变化检测结果较为完整,精度优于对比方法。本文方法基本能够满足变化检测的需求,为高分辨率遥感影像上的数据挖掘分析提供了有效的手段。

一种基于语义模型的医学图像配准方法

医学图像由于成像模式、图像质量、患者间及患者在不同病程时的图像变化等差异以及对鲁棒性的严格要求,它的配准成为难点。我们受语义模型,尤其是视觉词包模型在计算机视觉中巨大成功的启发,将语义模型推广到医学图像配准。由于医学图像大都具有对比度差、动态范围小、只含灰度信息等特点,传统的视觉词包往往效果不够理想。本文根据相关研究工作,提出了更适用于医学图像处理的方向性视觉词包模型,并基于该语义模型进行医学图像配准。我们由专家人工指定关键的解剖结构,使用方向性视觉词包,借助由粗到细的金字塔搜索策略和k-means聚类方法,准确定位关键结构的位置,并重点配准它们附近的区域。在心脏图像上进行的实验表明,该方法可保证在特定区域内达到较高的配准精度。