零样本图像分类方法综述

图像分类作为图像处理的基础,一直是热门的研究话题。传统的图像分类方法需要采用大量专家标记的数据集,成本较大且无法识别未训练的图像类别;零样本图像分类作为迁移学习的一个分支,可以将已有的知识属性迁移到未知类中,从而完成对未知类图像的分类识别,因此降低了训练数据的标记成本,且能在样本稀缺的情况下实现对新事物的分类识别。首先,简单介绍了零样本学习的概念;其次,着重介绍了基于属性预测、基于特征嵌入和基于生成模型的零样本图像分类方法;然后,简要介绍了零样本图像分类的数据集以及评估方法,并对经典模型的实验结果做了比较分析;最后,提出了零样本图像分类方法普遍存在的问题以及相应的解决思路。

基于混合属性的零样本图像分类

对于具有相似属性的类别而言,在有限维度的语义属性下,基于属性的零样本图像分类器难以对它们进行正确区分.考虑到语义属性描述类别的有限性,在直接属性预测(Direct Attribute Prediction,DAP)模型的基础上,提出一种基于混合属性的零样本图像分类模型(Hybrid Attribute-Based DAP,HA-DAP).首先,对样本的底层特征进行稀疏编码并利用编码后的非语义属性来辅助现有的语义属性;将非语义属性与语义属性构成混合属性并将其作为DAP模型的属性中间层,利用属性预测模型的思想进行混合属性分类器的训练;最后,根据预测的混合属性以及属性与类别之间的关系进行测试样本类别标签的预测.在OSR、Pub Fig以及Shoes数据集上的实验结果表明,HA-DAP的分类性能优于DAP,不仅能够取得较高的零样本图像分类精度,而且还获得了较高的AUC值.

一种基于融合重构的子空间学习的零样本图像分类方法

图像分类是计算机视觉中一个重要的研究子领域.传统的图像分类只能对训练集中出现过的类别样本进行分类.然而现实应用中,新的类别不断涌现,因而需要收集大量新类别带标记的数据,并重新训练分类器.与传统的图像分类方法不同,零样本图像分类能够对训练过程中没有见过的类别的样本进行识别,近年来受到了广泛的关注.零样本图像分类通过语义空间建立起已见类别和未见类别之间的关系,实现知识的迁移,进而完成对训练过程中没有见过的类别样本进行分类.现有的零样本图像分类方法主要是根据已见类别的视觉特征和语义特征,学习从视觉空间到语义空间的映射函数,然后利用学习好的映射函数,将未见类别的视觉特征映射到语义空间,最后在语义空间中用最近邻的方法实现对未见类别的分类.但是由于已见类和未见类的类别差异,以及图像的分布不同,从而容易导致域偏移问题.同时直接学习图像视觉空间到语义空间的映射会导致信息损失问题.为解决零样本图像分类知识迁移过程中的信息损失以及域偏移的问题,本文提出了一种图像分类中基于子空间学习和重构的零样本分类方法.该方法在零样本训练学习阶段,充分利用未见类别已知的信息,来减少域偏移,首先将语义空间中的已见类别和未见类别之间的关系迁移到视觉空间中,学习获得未见类别视觉特征原型.然后根据包含已见类别和未见类别在内的所有类别的视觉特征原型所在的视觉空间和语义特征原型所在的语义空间,学习获得一个潜在类别原型特征空间,并在该潜在子空间中对齐视觉特征和语义特征,使得所有类别在潜在子空间中的表示既包含视觉空间下的可分辨性信息,又包含语义空间下的类别关系信息,同时在子空间的学习过程中利用重构约束,减少信息损失,同时也缓解了域偏移问题.最后零样本分类识别阶段,在不同的空间下根据最近邻算法对未见类别样本图像进行分类.本文的主要贡献在于:一是通过对语义空间中类别间关系的迁移,学习获得视觉空间中未见类别的类别原型,使得在训练过程中充分利用未见类别的信息,一定程度上缓解域偏移问题.二是通过学习一个共享的潜在子空间,该子空间既包含了图像视觉空间中丰富的判别性信息,也包含了语义空间中的类别间关系信息,同时在子空间学习过程中,通过重构,缓解知识迁移过程中信息损失的问题.本文在四个公开的零样本分类数据集上进行对比实验,实验结果表明本文提出的零样本分类方法取得了较高的分类平均准确率,证明了本文方法的有效性.

一种粒子群优化融合特征的零样本图像分类算法

针对目标类语义属性描述的局限性,提出一种基于自适应加权融合特征的零样本图像分类算法。首先,随机初始化融合权重,利用神经网络融合文本的语义词向量特征和语义属性;然后,利用粒子群算法优化特征融合的权重;最后,把加权融合的特征作为零样本图像分类的迁移知识。实验结果表明,基于自适应加权融合的零样本图像分类算法在动物属性数据集(AWA)上测试的准确率达到88.9%,验证了该方法的有效性。同时与融合特征算法相比,亦提高了零样本图像分类模型的稳定性。

基于共享特征相对属性的零样本图像分类

在利用相对属性学习实现零样本图像分类中,现有的方法并没有考虑属性与类别之间的关系,为此该文提出一种基于共享特征相对属性的零样本图像分类方法。该方法采用多任务学习的思想来共同学习类别分类器和属性分类器,获得一个低维的共享特征子空间,挖掘属性与类别之间的关系。同时,利用共享特征来学习属性排序函数,得到基于共享特征的相对属性模型,解决了相对属性学习过程中丢失属性与类别关系的问题。另外,将基于共享特征的相对属性模型用于零样本图像分类中,有效提高了零样本图像分类的识别率。实验数据集上的结果表明,该方法具有较高的相对属性学习性能和零样本图像分类精度。

基于重构对比的广义零样本图像分类

广义零样本图像分类中常使用生成模型重构视觉信息或语义信息用于再进一步学习.然而,基于变分自编码器的方法对重构样本利用不够充分,表示性能欠缺.因此,文中提出基于重构对比的广义零样本图像分类模型.首先,使用两个变分自编码器将视觉信息和语义信息编码为同维度的低维隐向量,再将隐向量分别解码到两种模态.然后,使用投影模块投影视觉信息与语义模态的隐向量重构的视觉模态信息.最后,对投影后的特征进行重构对比学习.在保持变分自编码器重构性能的基础上增强编码器重构的判别性能,提高预训练特征在广义零样本图像分类任务上的应用能力.在4个标准数据集上的实验证实文中模型的有效性.

零样本图像分类综述

面对人工标注大量样本费时费力,一些稀有类别样本难于获取等问题,零样本图像分类成为计算机视觉领域的一个研究热点。首先,对零样本学习,包括直推式零样本学习和归纳式零样本学习进行了简单介绍;其次,重点介绍了基于空间嵌入零样本图像分类方法和基于生成模型零样本图像分类方法以及它们的子类方法,并对这些方法的机制、优缺点和适用场景等进行了分析和总结;然后,简单介绍了零样本图像分类常用数据集和评估方法,并对典型零样本图像分类方法进行了性能比较;接着,指出了现有零样本图像分类中存在的领域漂移、枢纽点和语义鸿沟等问题及相应的解决思路;最后,对零样本图像分类未来发展趋势和研究热点,如判别性区域的准确定位、生成高质量不可见类视觉特征、广义零样本图像分类等进行了探讨。

基于随机传播图卷积模型的零样本图像分类

零样本图像分类旨在识别训练时从未出现过的全新类别(未见类别),为此需要利用辅助信息建模未见类和可见类之间的关系。利用图卷积网络(GCN)进行零样本分类的模型可以借助知识图显式地表达类别之间的关系,但GCN易受过平滑影响,导致模型性能下降。针对此问题提出了基于随机传播图卷积模型的零样本图像分类方法。该方法使用随机传播机制处理原始特征以达到特征扰动和数据扩增的目的;利用数据中类别层级生成的知识图建模类别之间的语义关系。其中,图中节点代表类别,节点间的边代表类别之间的关系。再构建GCN对处理后的特征进行训练,从节点中输出包含未见类别的分类器参数,进而实现零样本图像分类。实验结果表明,该方法可以有效地改善零样本图像分类中的时间消耗、分类精度和泛化性能。

基于未知类语义约束自编码的零样本图像分类

为缓解传统零样本图像分类模型中存在的领域偏移问题,提出一种基于未知类语义约束自编码的零样本图像分类模型.首先,利用预训练的ResNet101网络提取所有已知类和未知类图像的视觉特征;其次,通过编码器将提取的图像深度视觉特征从视觉空间映射到语义空间;然后,通过解码器将映射后得到的语义向量重构为视觉特征向量,在语义自编码器的训练过程中,利用未知类图像的聚类视觉中心和未知类语义类原型的分布对齐施加约束,以缓解领域偏移问题;最后,基于经编码器预测得到的测试图像语义向量和各测试类语义类原型之间的相似性,采用最近邻算法实现零样本图像分类.在AwA2和CUB数据集上的实验结果表明,所提出模型具有较高的分类准确度.

零样本图像分类综述:十年进展

零样本图像分类指训练集和测试集在数据的类别上没有交集的情况下进行图像分类.该技术是解决类别标签缺失问题的一种有效手段,因此受到了日益广泛的关注.自提出此问题至今,零样本图像分类的研究已经大致有十年时间.本文系统地对过去十年中零样本图像分类技术的研究进展进行了综述,主要包括以下4个方面.首先介绍零样本图像分类技术的研究意义及其应用价值,然后重点总结和归纳零样本图像分类的发展过程和研究现状,接下来介绍常用的数据集和评价准则,以及与零样本学习相关的技术的区别和联系,最后分析有待深入研究的热点与难点问题,并对未来的发展趋势进行了展望.

基于粒子群算法寻最优属性关联下的零样本语义自编码器

针对零样本图像分类构建共享属性层时造成的信息缺失问题,该文提出一种嵌入属性关联性的补偿方法。通过语义自编码器构建特征到属性的映射,然后以最大后验概率估计在类高斯模型构建的基础上实现零样本图像分类。为弥补SAE对属性关系学习的不足,引入加性因子与乘性因子对属性相关性进行嵌入,并利用粒子群算法搜寻最优的因子参数,实现属性相关性信息的补偿。实验结果表明采取相同映射方法的情况下,基于属性相关性嵌入的零样本图像分类在Pubfig数据集和OSR数据集上的分类效果较之其他方法得到了显著提升。