属性蒸馏的零样本识别方法

零样本识别是计算机视觉领域最具挑战性的任务之一,其关键在于如何从已见类中学到稳定和可迁移的知识。为提高零样本识别的准确率,对零样本识别问题进行了系统研究,并利用知识蒸馏的思想,精心设计了一个简单有效的属性蒸馏分类器。它符合人类认识事物的过程,首先从Vision Transformer大模型中获得全面细致的视觉特征,再运用属性概念蒸馏出物体的属性知识,最后迁移到未见类识别任务中。公开数据集上的实验表明,该方法取得了具有竞争力的结果,其识别准确率虽略低于最新的属性引导算法,但优于其他传统方法,而且识别架构简单具有更快的处理速度。同时,研究也指出了减少属性描述的稀疏性,以及增加多视角高清图像,将有利于提高零样本识别方法的准确率。

基于特征增强模型的广义零样本学习

传统零样本学习旨在通过训练模型实现对未知类别的样本的精确分类,使模型具备对新任务和新环境的适应能力。但广义零样本学习的目标更为艰巨,它不仅要求模型能够辨识并分类未知类别的样本,还需确保对已知类别的样本也能准确无误地归入其对应的类别。由于在实际的训练过程中,我们仅能获得已知类别的样本,这使得零样本学习在分类任务中面临巨大的挑战。为了克服这一难题,我们创新性地提出了特征增强模型(Feature Enhancement Model,简称FE)。该模型不仅具备生成高质量未知类别样本的能力,以弥补训练样本的不足,而且能够构建每个样本的虚拟语义信息。此外,FE模型还配备了特征过滤模块,用于筛选出每个样本的核心特征。最终,模型将这些核心特征、样本本身以及虚拟语义信息相结合,作为最终的特征进行分类。这种方法通过凸显每类样本的独特性,有效地提升了分类的准确性和性能。

增强依存结构表达的零样本跨语言事件论元角色分类

事件论元角色分类是事件抽取中的子任务,旨在为事件中的候选论元分配相应的角色。事件语料标注规则复杂、人力耗费大,在很多语言中缺少相关标注文本。零样本跨语言事件论元角色分类可以利用源语言的丰富语料建立模型,然后直接应用于标注语料匮乏的目标语言端。围绕不同语言的事件文本在依存结构上的表达共性,提出了使用BiGRU网络模块对触发词到候选论元的依存路径信息进行额外编码的方法。本文设计的编码模块能灵活地与当前主流的基于深度学习框架的事件论元角色分类模型相联合。实验结果表明,本文提出的方法能更有效地完成跨语言迁移,提高多个基准模型的分类性能。

基于生成对抗网络和视觉-语义对齐的零样本害虫识别方法

[目的/意义]害虫的精准识别对农作物虫害有效防治具有重大意义。然而,当前的害虫图像识别模型都是针对闭集数据构建的模型,难以对训练集中没有出现过的害虫种类(不可见害虫)进行推理,导致在实际应用过程中遇见不可见类别昆虫时误判现象尤为严重。[方法]针对这一问题,提出了一种适用零样本学习(Zero-Shot Learning,ZSL)和广义零样本学习(Generalized Zero-Shot Learning,GZSL)范式的害虫图像识别方法VSAWGAN,可以实现对可见(训练集中包含的类别)与不可见害虫种类的辨识。该方法基于生成对抗网络(Genera⁃tive Adversarial Network,GAN)生成伪视觉特征,将零样本害虫识别问题转化为传统监督学习任务,且通过引入对比学习来优化生成器的生成质量,添加视觉-语义对齐模块进一步约束生成器,使其能生成更具判别性的特征。[结果与讨论]在自建的一个适用于零样本学习研究的害虫数据集和几个公开数据集对提出方法进行了评估。其中,在多个公开数据上取得了目前最优结果,相比之前方法最大提升达到2.8%;在自建20类害虫数据集上取得了零样本设置下77.4%的识别精度和广义零样本设置下78.3%的调和精度,相比之前方法分别提升了2.1%和1.2%。[结论]所提方法能有效地将害虫的视觉特征泛化到不可见类,实现害虫的零样本识别,有助于提升害虫识别模型的泛化能力,为农作物新虫害的发现与防治提供帮助。

基于多模态特征频域融合的零样本指称图像分割

为了解决语义分割应用到现实世界的下游任务时无法处理未定义类别的问题,提出了指称图像分割任务。该任务根据自然语言文本的描述找到图像中对应的目标。现有方法大多使用一个跨模态解码器来融合从视觉编码器和语言编码器中独立提取的特征,但是这种方法无法有效利用图像的边缘特征且训练复杂。CLIP(contrastive language-image pre-training)是一个强大的预训练视觉语言跨模态模型,能够有效提取图像与文本特征,因此提出一种在频域融合CLIP编码后的多模态特征方法。首先,使用无监督模型对图像进行粗粒度分割,并提取自然语言文本中的名词用于后续任务;接着利用CLIP的图像编码器与文本编码器分别对图像与文本进行编码;然后使用小波变换分解图像与文本特征,可以充分利用图像的边缘特征与图像内的位置信息在频域进行分解并融合,并在频域分别对图像特征与文本特征进行融合,并将融合后的特征进行反变换;最后将文本特征与图像特征进行逐像素匹配,得到分割结果,并在常用的数据集上进行了测试。实验结果证明,网络在无训练零样本的条件下取得了良好的效果,并且具有较好的鲁棒性与泛化能力。

基于Swin Transformer的嵌入式零样本学习算法

零样本学习旨在解决样本缺失情况下的分类问题.以往嵌入式零样本学习算法通常只利用可见类构建嵌入空间,在测试时不可避免会出现过拟合可见类的问题.基于此本文提出了一种基于类别语义相似度的多标签分类损失,该损失可在构建嵌入空间的过程中引导模型同时考虑与当前可见类语义上相似的未见类,进而将语义空间的相似性迁移到最终执行分类的嵌入空间.同时现有零样本学习算法大部分直接使用图像深度特征作为输入,特征提取过程没有考虑语义信息,基于此本文采用Swin Transformer作为骨干网络,输入原始图片利用自注意力机制得到基于语义信息的视觉特征.本文在3个零样本学习基准数据集上进行了大量实验,与目前最先进的算法相比取得了最佳的调和平均精度.

判别性特征引导的零样本三维模型分类算法

基于零样本学习的三维模型分类是三维视觉领域的一个新兴话题,旨在对未经训练的三维模型进行正确分类.针对零样本三维模型分类中存在重视全局而忽视局部,强制约束而无视语义-视觉跨域差异性,导致整体性能低下的问题,提出一种判别性特征引导的零样本三维模型分类算法.首先,以三维模型的多视图表征为输入,自适应地捕获三维模型的局部判别性特征,获得具有良好语义对应性的视觉特征表示;其次,以词向量的形式引入类的语义表示,结合条件生成对抗网络生成类的伪视觉特征;最后,提出语义判别损失和内容感知损失联合监督,从语义到内容共同约束真实视觉特征和伪视觉特征的对齐,鼓励模型学习具有高局部判别性的特征,实现语义-视觉的跨域细粒度对齐.在ZS3D数据集上达到了60.9%的Top-1准确率,超越当前最好方法2.3个百分点,同时在Ali数据集的3个子数据集上也分别取得31.9%,9.9%和16.6%的准确率,均达到了较好的实验效果,验证了该算法的有效性和普适性.

基于零样本学习的枸杞虫害识别

针对农业领域缺少有效的零样本虫害识别与检索方法,本研究提出一种基于零样本学习的枸杞虫害检索与识别方法。首先,通过对原始数据进行深层矩阵分解获得深层次结构特征,获取不同模态数据的特征表示,生成各模态的哈希码。然后结合类别属性信息对生成的哈希码引入线性约束,实现已知类别到新类别之间的知识迁移。最后,对所提出的模型通过直接学习离散哈希码避免了连续松弛方法带来的量化误差,提高了检索精度。在2020年宁夏枸杞虫害图文跨模态检索数据集及Wiki、Pascal VOC这3个公开数据集上的试验结果表明,与现有的基于协同矩阵分解的哈希方法(CMFH)、基于潜在语义的稀疏哈希方法(LSSH)、基于迁移监督知识的哈希方法(TSK)、基于属性的哈希方法(AH)、基于跨模态属性的哈希方法(CMAH)、基于正交投影的哈希方法(CHOP)、离散非对称零样本哈希方法(DAZSH)相比,本研究所提出的方法具有优越性。

原型对齐和域感知的零样本哈希

为了实现对未见类别图像的有效检索,零样本哈希(ZSH)方法通常将类别属性中的监督知识从已见类转移到未见类。然而,获取类别属性需要花费额外的计算资源,并且视觉特征和类别属性之间存在跨模态的异构鸿沟。此外,现有方法忽视了强偏差问题,导致模型错误地将已见类样本识别为未见类,从而降低了检索精度。与此同时,ZSH在保持哈希码和原始数据语义一致性以及实现哈希码的离散优化等方面也面临着挑战。为此,提出一种原型对齐和域感知的ZSH方法,其不依赖类别属性等特殊监督知识,能够节省注释属性的花销同时避免跨模态异构鸿沟的影响。首先计算各类样本在海明空间中的原型,然后通过对齐哈希码和类原型来学习语义一致的哈希码。为了避免松弛策略造成的量化误差,提出一种离散优化算法来求解哈希码的离散约束,并且实现线性的计算复杂度。同时,设计一个域感知策略用于分离源域和目标域样本,以缓解强偏差问题的影响。在a PY、AWA2和Image Net数据集上的实验结果表明,该方法的检索精度相较对比方法中的最优值分别提升了2.6、9.4和14.9个百分点,训练时间也远低于大部分对比方法。

基于多模态联合语义感知的零样本目标检测

零样本目标检测借助语义嵌入作为引导信息,将未见过的物体的视觉特征与类别语义嵌入映射到同一空间,根据其在映射空间的距离进行分类,但由于语义信息获取的单一性,视觉信息缺乏可靠表示,易混淆背景信息和未见过对象信息,使得视觉和语义之间很难无差别对齐。基于此,借助视觉上下文模块捕捉视觉特征的上下文信息,并通过语义优化模块对文本上下文和视觉上下文信息进行交互融合,增加视觉表达的多样化,使模型感知到前景的辨别性语义,从而有效地实现零样本目标检测。在MS-COCO的2个划分数据集上进行实验,在零样本目标检测和广义零样本目标检测的准确率和召回率上取得了提升,结果证明了所提方法的有效性。

基于零样本学习的物体检测网络

作为先进的机器学习方法,零样本学习旨在解决在训练阶段未知物体的分类问题。传统的机器人抓取方法需要训练大量的标记样本以得到模型,进而学习对物体的分类和抓取。然而,这些方法在抓取未知物体时面临一定的困难,其中机器人未曾接触过这些物体,无法在训练数据中学习抓取。因此,零样本学习方法发挥了重要作用,其基本思想是利用已知类别的数据训练视觉-语义交互模型将语义知识扩展到未知类别,以控制机器人对未知类别进行识别与抓取。

基于组合零样本学习的接触网吊弦线缺陷识别

目前现场接触网吊弦缺陷图像严重不足,导致模型特征学习不充分,识别准确率难以得到有效提高,为此提出基于组合零样本学习的接触网吊弦线缺陷识别方法.采用以ResNet-50作为主干网络的视觉特征提取模块提取图像视觉特征;使用预训练的Word2Vec词向量对标签组合图中的节点特征进行初始化,并通过2层图卷积网络学习标签组合图中各节点之间的依赖关系,从而优化组合标签节点的语义特征,改善最终的识别效果;将提取到的视觉特征和优化后的组合标签节点的语义特征相对齐,构建相似度函数计算图像视觉特征与组合标签语义特征之间的相似度得分,并通过交叉熵损失完成图像组合标签的预测.仿真实验结果表明:所提方法对可见类样本的类平均检测准确率为93.5%,对不可见类样本的类平均检测准确率为86.5%.

零样本图像分类方法综述

图像分类作为图像处理的基础,一直是热门的研究话题。传统的图像分类方法需要采用大量专家标记的数据集,成本较大且无法识别未训练的图像类别;零样本图像分类作为迁移学习的一个分支,可以将已有的知识属性迁移到未知类中,从而完成对未知类图像的分类识别,因此降低了训练数据的标记成本,且能在样本稀缺的情况下实现对新事物的分类识别。首先,简单介绍了零样本学习的概念;其次,着重介绍了基于属性预测、基于特征嵌入和基于生成模型的零样本图像分类方法;然后,简要介绍了零样本图像分类的数据集以及评估方法,并对经典模型的实验结果做了比较分析;最后,提出了零样本图像分类方法普遍存在的问题以及相应的解决思路。

结合知识图谱的变分自编码器零样本图像识别

近年来,结合生成模型的零样本算法得到了广泛的研究,但此类方法通常仅使用属性注释,缺少类别语义,而单一信息对类别表征能力不够强,容易产生域偏移,影响知识迁移的效果,进而降低分类结果的准确率。为了解决此问题,提出一种结合知识图谱变分自编码器零样本识别算法(KG-VAE),通过构建联合类别分级结构,类别文本描述和词向量的层次结构化知识图谱作为语义信息库,将知识图谱中丰富的语义知识结合到以变分自编码器为基础的生成模型中,使生成的潜在特征更好保留有效的判定性信息,减小域偏移,促进知识迁移。在四个公开的零样本数据集上进行了实验,对比基准方法CADA-VAE,分类平均准确率有一定的提高;同时利用消融实验证明了知识图谱作为语义辅助信息的有效性。

基于改进TransGAN的零样本图像识别方法

零样本学习算法旨在解决样本极少甚至缺失情况下的图像识别问题。生成式模型通过生成缺失类别的图像,将此问题转化为传统的基于监督学习的图像识别,但生成图像的质量不稳定、容易出现模式崩塌,影响图像识别准确性。为此,通过对TransGAN模型进行改进,提出基于改进TransGAN的零样本图像识别方法。将TransGAN的生成器连接卷积层进行降维,并进一步提取图像特征,使生成图像特征和真实图像特征更加接近,提高特征的稳定性;同时,对判别器加入非线性激活函数,并进行结构简化,使判别器更好地指导生成器,并减小计算量。在公共数据集上的实验结果表明,所提方法的图像识别准确率较基线模型提高了29.02%,且具有较好的泛化性能。

基于迁移学习的零样本故障诊断

针对工业故障诊断中设备故障数据采集困难,目标故障样本少的问题,现有的零样本故障诊断方法仍依赖于故障数据集,本文提出了一种基于迁移学习的零样本故障诊断方法.通过经典的主成分分析算法,构建了一个适用于源域和目标域的判别属性提取器,用于提取源域数据样本潜在的细粒度特征表示,将其作为知识迁移的桥梁.利用源域故障数据获得所有已知故障类的共享细粒度基组,并将其作为知识迁移到目标域故障表示中.从共享细粒度基组学习源域和目标域的判别矩阵,构建各自的判别性特征,最终利用判别性属性实现零样本的故障诊断.基于田纳西-伊斯曼过程(Tennessee Eastrman Process,TEP)数据集,实验对本文方法和其他零样本故障诊断方法进行对比,实验结果验证了本文方法对零样本故障检测的有效性.

融合多Prompt模板的零样本关系抽取模型

Prompt范式被广泛应用于零样本的自然语言处理(NLP)任务中,但是现有基于Prompt范式的零样本关系抽取(RE)模型存在答案空间映射难构造与模板选择依赖人工的问题,无法取得较好的效果。针对这些问题,提出一种融合多Prompt模板的零样本RE模型。首先,将零样本RE任务定义为掩码语言模型(MLM)任务,舍弃答案空间映射的构造,将模板输出的词与关系描述文本在词向量空间中进行比较,以此判断关系类别;其次,引入待抽取关系类别的描述文本的词性作为特征,学习该特征与各个模板之间的权重;最后,利用该权重融合多个模板输出的结果,以此减少人工选取的Prompt模板引起的性能损失。在FewRel(Few-shot Relation extraction dataset)和TACRED(Text Analysis Conference Relation Extraction Dataset)这两个数据集上的实验结果显示,与目前最优的模型RelationPrompt相比,所提模型在不同数据资源设置下,F1值分别提升了1.48~19.84个百分点和15.27~15.75个百分点。可见,所提模型在零样本RE任务上取得了显著的效果提升。

视觉特征对比解耦的广义零样本学习

广义零样本学习通常利用在ImageNet上预训练的深度模型来提取相应的视觉特征,然而预训练模型提取到的视觉特征不可避免地包含和语义无关的信息,这将导致语义—视觉对齐的偏差以及对不可见类的负迁移,从而影响分类结果。为解决上述问题,提出了视觉特征对比解耦的广义零样本学习模型(visual feature contrast decoupling for generalized zero-shot learning,VFCD-GZSL),通过解耦出视觉特征中的语义相关表示来降低冗余信息对分类结果的影响。具体来说,首先用条件变分自编码器生成不可见类的视觉特征。然后通过解耦模块将视觉特征解耦语义相关和语义无关的潜层表示,同时添加总相关惩罚和对比损失来鼓励两者间的相互独立,并用语义关系匹配模型衡量其语义一致性,从而指导模型学习语义相关表示。最后使用特征细化模块细化后的特征和语义相关表示联合学习一个广义零样本学习分类器。在四个数据集上的实验均取得较优的结果,证实了所提方法的有效性。

基于深度条件扩散模型的零样本文本驱动虚拟人生成方法

虚拟人生成技术对于虚拟现实和影视制作等领域有重要意义。针对现有虚拟人生成需要大量数据和制作成本等问题,提出一种基于扩散模型的零样本文本驱动的三维虚拟人生成方法,包括条件人体生成和迭代纹理细化2个阶段。第一阶段,首先利用神经网络初始化三维人体的隐式表示,然后,使用一个基于文本提示的深度条件扩散模型来引导神经隐式场生成用户所需的虚拟人模型。第二阶段,利用扩散模型进行去噪还原,针对第一阶段人体模型提供的纹理先验进行高精度的纹理图推理更新,进而迭代细化虚拟人的纹理表示,生成最终结果。使用该方法,用户可以创建一个生动的具有任意文本描述的虚拟人,而无需使用任何参考照片。实验结果表明,该方法可以在给定的文本提示条件下生成具有真实感的高质量、生动的虚拟人。

基于判别器反馈的零样本图像分类方法

零样本学习(zero-shot learning, ZSL)致力于在训练期间缺乏不可见类数据的情况下,仍能达到对不可见类别分类的目的。目前在生成式方法中,基于联合生成模型VAEGAN的零样本学习是一个研究热点。在此基础上,提出了一个基于判别器反馈VAEGAN(discriminator feedback VAEGAN,DF-VAEGAN)的零样本图像分类方法。该方法在判别器部分引入了一个反馈模块,在训练阶段可以提升模型整体的性能,在特征生成阶段可以结合生成器共同提升特征生成质量,最终通过高质量的合成特征训练分类器,提高分类准确率。本文还通过解码器重建属性特征,并使用循环一致性损失确保生成特征具备语义一致性。传统ZSL和广义零样本(generalized zero-shot learning, GZSL)图像分类实验展示了本文方法在5个经典数据集上均优于现有方法,在零样本图像分类任务中有效增强了特征合成质量和减少了类别间歧义的目标。