基于反向投影的zero-shot learning目标分类算法研究

Zero-shot learning(ZSL)是针对没有训练样本的类别进行分类的问题。传统回归方法的核心是将视觉特征投影到语义空间,没有充分利用视觉特征自身包含的样本信息,同时训练计算量大。提出基于反向投影的ZSL目标分类方法,将类别原型投影到视觉空间,利用视觉特征的语义性学习出映射函数,参数优化过程仅通过解析解就可以获得。在两个基准数据集的实验结果表明,提出的反向投影方法分类结果较传统回归方法和其他现有方法有大幅提升,并且训练时间大大减少,可以更好地推广到未知类别的分类问题上。

Explanatory Multi-Scale Adversarial Semantic Embedding Space Learning for Zero-Shot Recognition

The goal of zero-shot recognition is to classify classes it has never seen before, which needs to build a bridge between seen and unseen classes through semantic embedding space. Therefore, semantic embedding space learning plays an important role in zero-shot recognition. Among existing works, semantic embedding space is mainly taken by user-defined attribute vectors. However, the discriminative information included in the user-defined attribute vector is limited. In this paper, we propose to learn an extra latent attribute space automatically to produce a more generalized and discriminative semantic embedded space. To prevent the bias problem, both user-defined attribute vector and latent attribute space are optimized by adversarial learning with auto-encoders. We also propose to reconstruct semantic patterns produced by explanatory graphs, which can make semantic embedding space more sensitive to usefully semantic information and less sensitive to useless information. The proposed method is evaluated on the AwA2 and CUB dataset. These results show that our proposed method achieves superior performance.

基于视觉-语言预训练模型的零样本迁移学习方法综述

近年来随着人工智能(AI)技术在计算机视觉与自然语言处理等单模态领域表现出愈发优异的性能,多模态学习的重要性和必要性逐渐展现出来,其中基于视觉-语言预训练模型的零样本迁移(ZST)方法得到了国内外研究者的广泛关注。得益于预训练模型强大的泛化性能,使用视觉-语言预训练模型不仅能提高零样本识别任务的准确率,而且能够解决部分传统方法无法解决的零样本下游任务问题。对基于视觉-语言预训练模型的ZST方法进行概述,首先介绍了零样本学习(FSL)的传统方法,并对其主要形式加以总结;然后阐述了基于视觉-语言预训练模型的ZST和FSL的区别及其可以解决的新任务;其次介绍了基于视觉-语言预训练模型的ZST方法在样本识别、目标检测、语义分割、跨模态生成等下游任务中的应用情况;最后对现有的基于视觉-语言预训练模型的ZST方法存在的问题进行分析并对未来的研究方向进行展望。

基于语义-视觉一致性约束的零样本图像语义分割网络

零样本图像语义分割是零样本学习在视觉领域的重要任务之一,旨在分割训练中未见的新类别。目前基于像素级视觉特征生成的方法合成的视觉特征分布和真实的视觉特征分布存在不一致性的问题,合成的视觉特征难以准确反映类语义信息,导致合成的视觉特征缺乏鉴别性;现有的一些视觉特征生成方法为了得到语义特征所表达的区分性信息,需要消耗巨大的计算资源。为此,文中提出了一种基于语义-视觉一致性约束的零样本图像语义分割网络(SVCCNet)。该网络通过语义-视觉一致性约束模块对语义特征与视觉特征进行相互转换,以提高两者的关联度,减小真实视觉特征与合成视觉特征空间结构的差异性,从而缓解合成视觉特征与真实视觉特征分布不一致的问题。语义-视觉一致性约束模块通过两个相互约束的重建映射,实现了视觉特征与类别语义的对应关系,同时保持了较低的模型复杂度。在PASCAL-VOC及PASCAL-Context数据集上的实验结果表明,SVCCNet的像素准确率、平均准确率、平均交并比、调和交并比均优于比较的主流方法。

基于Transformer的零样本食品图像检测

食品检测作为食品计算的一项基本任务,能够对输入的食品图像进行定位和识别,在智慧食堂结算和饮食健康管理等食品应用领域发挥着至关重要的作用。然而在实际场景下,食品类别会不断更新,基于固定类别训练的食品检测器很难对未见过的食品类别进行精准的检测。为了解决这一问题,本文提出了一种零样本食品图像检测方法。首先,构建了一个基于Transformer的食品基元生成器,其中每个基元都包含与食品类别相关的细粒度属性,根据食品的特性,可以有选择地组装这些基元,以合成未见类特征。其次,为了给未见类的视觉特征更多约束,本文提出了一个视觉特征解纠缠的增强组件,将食品图像的视觉特征分解为语义相关特征和语义不相关特征,以此能更好地将食品类别的语义知识转移到其视觉特征。所提出的方法在ZSFooD和UEC-FOOD256两个食品数据集上进行了大量实验和消融研究,在零样本检测(Zero-Shot Detection,ZSD)设置下,未见类别取得了最优的平均精度,分别达到了4.9%和24.1%,在广义零样本检测(Generalized Zero-Shot Detection,GZSD)的设置下,可见类和未见类的调和平均值(Harmonic Mean,HM)分别达到了5.8%和22.0%,证明了所提出方法的有效性。

提示学习研究综述

经过微调的预训练语言模型在各领域任务中均取得了显著的性能。但是,预训练和微调之间在训练数据和目标函数方面存在着巨大差距,阻碍了预训练语言模型对下游任务的有效适应。提示学习的提出缩小了预训练和微调之间的差距,并可以很好地应用到小样本甚至零样本场景中。提示学习的核心思想是将提示模板插入到原始输入中,将下游任务数据转化为自然语言的形式输入到预训练模型中,输出预测结果,然后通过语言表达器将输出映射到相应的标签。系统地梳理了当前提示学习的相关工作,根据提示学习的实现步骤,从提示模板和语言表达器构建两个阶段介绍该类方法的研究进展。将基于提示模板的方法细分为人工构建、自动构建、引入外部知识构建提示和思维提示方法4种;将基于语言表达器的方法细分为人工构建的表达器、基于搜索的表达器、软表达器和引入外部知识构建表达器的方法4种。总结了提示学习在自然语言处理、计算机视觉和多模态领域的主要应用,并对提示学习相关实验进行了分析。最后,概述了提示学习的现状和挑战,展望了提示学习的未来发展方向。

基于生成对抗网络和视觉-语义对齐的零样本害虫识别方法

[目的/意义]害虫的精准识别对农作物虫害有效防治具有重大意义。然而,当前的害虫图像识别模型都是针对闭集数据构建的模型,难以对训练集中没有出现过的害虫种类(不可见害虫)进行推理,导致在实际应用过程中遇见不可见类别昆虫时误判现象尤为严重。[方法]针对这一问题,提出了一种适用零样本学习(Zero-Shot Learning,ZSL)和广义零样本学习(Generalized Zero-Shot Learning,GZSL)范式的害虫图像识别方法VSAWGAN,可以实现对可见(训练集中包含的类别)与不可见害虫种类的辨识。该方法基于生成对抗网络(Genera⁃tive Adversarial Network,GAN)生成伪视觉特征,将零样本害虫识别问题转化为传统监督学习任务,且通过引入对比学习来优化生成器的生成质量,添加视觉-语义对齐模块进一步约束生成器,使其能生成更具判别性的特征。[结果与讨论]在自建的一个适用于零样本学习研究的害虫数据集和几个公开数据集对提出方法进行了评估。其中,在多个公开数据上取得了目前最优结果,相比之前方法最大提升达到2.8%;在自建20类害虫数据集上取得了零样本设置下77.4%的识别精度和广义零样本设置下78.3%的调和精度,相比之前方法分别提升了2.1%和1.2%。[结论]所提方法能有效地将害虫的视觉特征泛化到不可见类,实现害虫的零样本识别,有助于提升害虫识别模型的泛化能力,为农作物新虫害的发现与防治提供帮助。

基于Swin Transformer的嵌入式零样本学习算法

零样本学习旨在解决样本缺失情况下的分类问题.以往嵌入式零样本学习算法通常只利用可见类构建嵌入空间,在测试时不可避免会出现过拟合可见类的问题.基于此本文提出了一种基于类别语义相似度的多标签分类损失,该损失可在构建嵌入空间的过程中引导模型同时考虑与当前可见类语义上相似的未见类,进而将语义空间的相似性迁移到最终执行分类的嵌入空间.同时现有零样本学习算法大部分直接使用图像深度特征作为输入,特征提取过程没有考虑语义信息,基于此本文采用Swin Transformer作为骨干网络,输入原始图片利用自注意力机制得到基于语义信息的视觉特征.本文在3个零样本学习基准数据集上进行了大量实验,与目前最先进的算法相比取得了最佳的调和平均精度.

基于文字局部结构相似度量的开放集文字识别方法

开放集文字识别(Open-set text recognition,OSTR)是一项新任务,旨在解决开放环境下文字识别应用中的语言模型偏差及新字符识别与拒识问题.最近的OSTR方法通过将上下文信息与视觉信息分离来解决语言模型偏差问题.然而,这些方法往往忽视了字符视觉细节的重要性.考虑到上下文信息的偏差,局部细节信息在区分视觉上接近的字符时变得更加重要.本文提出一种基于自适应字符部件表示的开放集文字识别框架,构建基于文字局部结构相似度量的开放集文字识别方法,通过对不同字符部件进行显式建模来改进对局部细节特征的建模能力.与基于字根(Radical)的方法不同,所提出的框架采用数据驱动的部件设计,具有语言无关的特性和跨语言泛化识别的能力.此外,还提出一种局部性约束正则项来使模型训练更加稳定.大量的对比实验表明,本文方法在开放集、传统闭集文字识别任务上均具有良好的性能.

基于深度学习的高超声速飞行器执行器零样本故障辨识

近年来,基于深度学习的故障诊断已经通过大量数据进行了深入的研究.然而,深度学习技术的巨大成功是基于可以获取大量带标签的训练样本的假设.在实际问题中,经常面临数据不平衡、标记的数据太少或没有数据的情况.基于此,本文研究了高超声速飞行器在零样本情况下的故障辨识问题.考虑飞控系统执行器故障,运用深度学习技术来识别特定故障类型(失效故障或卡死故障).“零样本”指的是在故障诊断的深度学习模型构建中,未曾包含或引入任何与目标故障相关的样本数据.因此,该模型必须依赖于其他方法和特征来推断和准确识别这些未知故障,以实现有效的故障辨识.针对这一问题,使用人工定义的故障描述来表征未知故障.具体而言,即利用关系网络学习将已知故障样本与定义的未知故障描述进行比较.进一步,为实现特征提取,结合卷积神经网络及长短期记忆神经网络,构建深度神经网络结构.最后,在Winged-cone(翼椎体)构型的高超声速飞行器上进行零样本故障辨识实验,结果表明在没有目标故障样本的情况下,所设计的算法可以完成对目标故障的诊断工作.

基于零样本学习的枸杞虫害识别

针对农业领域缺少有效的零样本虫害识别与检索方法,本研究提出一种基于零样本学习的枸杞虫害检索与识别方法。首先,通过对原始数据进行深层矩阵分解获得深层次结构特征,获取不同模态数据的特征表示,生成各模态的哈希码。然后结合类别属性信息对生成的哈希码引入线性约束,实现已知类别到新类别之间的知识迁移。最后,对所提出的模型通过直接学习离散哈希码避免了连续松弛方法带来的量化误差,提高了检索精度。在2020年宁夏枸杞虫害图文跨模态检索数据集及Wiki、Pascal VOC这3个公开数据集上的试验结果表明,与现有的基于协同矩阵分解的哈希方法(CMFH)、基于潜在语义的稀疏哈希方法(LSSH)、基于迁移监督知识的哈希方法(TSK)、基于属性的哈希方法(AH)、基于跨模态属性的哈希方法(CMAH)、基于正交投影的哈希方法(CHOP)、离散非对称零样本哈希方法(DAZSH)相比,本研究所提出的方法具有优越性。

判别性特征引导的零样本三维模型分类算法

基于零样本学习的三维模型分类是三维视觉领域的一个新兴话题,旨在对未经训练的三维模型进行正确分类.针对零样本三维模型分类中存在重视全局而忽视局部,强制约束而无视语义-视觉跨域差异性,导致整体性能低下的问题,提出一种判别性特征引导的零样本三维模型分类算法.首先,以三维模型的多视图表征为输入,自适应地捕获三维模型的局部判别性特征,获得具有良好语义对应性的视觉特征表示;其次,以词向量的形式引入类的语义表示,结合条件生成对抗网络生成类的伪视觉特征;最后,提出语义判别损失和内容感知损失联合监督,从语义到内容共同约束真实视觉特征和伪视觉特征的对齐,鼓励模型学习具有高局部判别性的特征,实现语义-视觉的跨域细粒度对齐.在ZS3D数据集上达到了60.9%的Top-1准确率,超越当前最好方法2.3个百分点,同时在Ali数据集的3个子数据集上也分别取得31.9%,9.9%和16.6%的准确率,均达到了较好的实验效果,验证了该算法的有效性和普适性.

语义增强的零样本甲骨文字符识别

甲骨文识别对于了解中国历史和传承中华文化都有重要的价值.目前,人工识别甲骨文需要具备丰富的专家经验并耗费大量的时间,而自动识别甲骨文的方法绝大部分受制于闭集假设,在甲骨文这种陆续发现新字符的现实场景下适用范围受限.为此,有研究者提出零样本甲骨文字符识别,其从视觉匹配的角度出发,将字模图像作为字符类别参考,通过拓片图像与字模图像的相似度匹配实现拓片图像的字符识别,然而其忽略了甲骨文拓片图像样本类内方差大的难点,仍存在因字形多变而容易匹配错误的不足.本文提出了一种两阶段的语义增强零样本甲骨文字符识别方法.第一阶段为域无关的字符语义学习阶段,通过提示学习从甲骨文拓片和字模图像中提取字符语义,解决甲骨文字符缺乏语义的问题.为应对拓片与字模之间的域差异,我们分别设置可学习的域提示信息和字符类别提示信息,通过解耦两者的语义实现更准确的特征提取.第二阶段为语义增强的字符图像视觉匹配阶段,模型通过两个分支分别提取类内共享特征和类间差异特征.第一个分支使用对比学习,将同一字符类别的不同字形视觉特征对齐到字符语义,引导模型关注类内共享特征;第二个分支使用损失函数N-Pair,增强模型对不同字符类别间差异特征的学习.在测试阶段,模型无须语义特征,通过训练中学到的类内相似性和类间差异性特征,实现更准确的拓片与字模匹配,提升零样本识别性能.我们在拓片数据集OBC306和字模数据集SOC5519上进行实验验证,实验结果表明,本文提出的方法在零样本甲骨文识别准确率比基准方法性能提升超过25%.

基于零样本学习的单张SAR图像相干斑滤波方法

相干斑滤波是合成孔径雷达(Synthetic aperture radar,SAR)图像解译重要的预处理步骤。近年来,基于卷积神经网络(Convolutional neural network,CNN)的相干斑滤波方法得到了快速的发展。然而,基于监督学习的滤波方法缺乏无相干斑参考SAR图像作为真值,基于自监督学习的滤波方法大多需要同一场景的多时相SAR图像训练网络,但是这些额外的数据集在实际场景中较难获取。此外,自监督学习方法通常需要较大的训练数据集和较深的网络进行相干斑滤波,导致其计算复杂度较高。因此,本文提出了一种基于零样本学习的单张SAR图像相干斑滤波方法。该方法的核心思想是对待测试的单张SAR图像进行子视分解,选取与待测试SAR图像欧式距离最近的子视图像进行配对,理论上证明了使用配对的子视图像自监督训练网络能达到使用无相干斑参考SAR图像监督训练网络的滤波效果。因此,通过设计自监督损失函数快速训练轻量化相干斑滤波网络,将训练好的网络对待测试SAR图像进行滤波。相较于基于监督学习和自监督学习的相干斑滤波方法,本文所提方法不需要无相干斑参考或多时相SAR图像用于模型训练,也不需要额外训练数据,只需使用任意一个轻量化的CNN即可实现相干斑滤波。在Radarsat-2和ALOS-2实测数据上的实验结果表明,本文所提方法的参数量比对比方法低22倍,能更好的实现对匀质区域相干斑的抑制和图像细节的保护。

基于知识图谱的零样本文档检索伪查询生成

为提高文档检索模型性能,减轻手工标记训练数据的工作量,提出一种基于知识图谱的零样本文档检索伪查询生成方法KGQG。该方法利用知识图谱增强伪查询,将外部信息与伪查询相结合,以生成更丰富、更具信息量的伪查询。实验结果表明,在BEIR基准测试的12个公开数据集中,KGQG方法比经典的稀疏检索模型、稠密检索模型以及最新的基于外部知识扩展的零样本稠密检索模型在归一化折现累计效益(NDCG)指标方面分别提升了4.6、11.88、7.96个百分点。KGQG方法不仅能提高检索性能,而且减少了手动标记训练数据需求,为文档检索模型的未来研究与应用提供了有益参考。

原型对齐和域感知的零样本哈希

为了实现对未见类别图像的有效检索,零样本哈希(ZSH)方法通常将类别属性中的监督知识从已见类转移到未见类。然而,获取类别属性需要花费额外的计算资源,并且视觉特征和类别属性之间存在跨模态的异构鸿沟。此外,现有方法忽视了强偏差问题,导致模型错误地将已见类样本识别为未见类,从而降低了检索精度。与此同时,ZSH在保持哈希码和原始数据语义一致性以及实现哈希码的离散优化等方面也面临着挑战。为此,提出一种原型对齐和域感知的ZSH方法,其不依赖类别属性等特殊监督知识,能够节省注释属性的花销同时避免跨模态异构鸿沟的影响。首先计算各类样本在海明空间中的原型,然后通过对齐哈希码和类原型来学习语义一致的哈希码。为了避免松弛策略造成的量化误差,提出一种离散优化算法来求解哈希码的离散约束,并且实现线性的计算复杂度。同时,设计一个域感知策略用于分离源域和目标域样本,以缓解强偏差问题的影响。在a PY、AWA2和Image Net数据集上的实验结果表明,该方法的检索精度相较对比方法中的最优值分别提升了2.6、9.4和14.9个百分点,训练时间也远低于大部分对比方法。

基于对比学习的零样本对象谣言检测

现有的谣言检测模型通常依赖大规模人工标注的谣言数据集,标注成本高且谣言特征来源于已被辟谣的谣言.为了提高模型对未知谣言的检测能力,提出面向不同对象的谣言检测方法.基于零样本学习,将谣言数据集按照不同的对象划分为样本与内容互不重叠的多个数据集,从而实现零样本对象谣言检测任务;为了表征对象之间的关系构建通义掩码特征,从而设计区分通义掩码特征的代理任务;为了减少数据增强带来的噪声,引入面向对象的信息辅助文本作为特征,并将其与原语义向量进行线性变换.在此基础上,提出面向零样本对象谣言检测的基于代理任务的分层对比学习模型(ZPTHCL),可以通过迁移学习进行谣言检测.在一个基于对象的零样本谣言数据集和Ma-Weibo、Weibo20、Twitter15、Twitter16这4个公开数据集上进行实验,结果表明所提出的对比学习零样本对象谣言检测模型性能更优.

基于变权属性矩阵的变压器零样本故障诊断技术

针对变压器故障数据的稀缺性及数据分布中存在的长尾现象,导致故障诊断准确率低的问题,该文提出一种基于变权属性矩阵的变压器零样本故障诊断技术。首先,采用改进的高效通道注意力网络-堆栈式自编码器(IECANet-SAE)网络构建特征提取模块,自适应地提取油中气体数据的关键特征信息;其次,利用基于潜在狄利克雷分布的主题建模方法构建变权属性矩阵;最后,提出基于神经网络的朴素贝叶斯(NNB)方法学习已知故障特征信息与属性矩阵的空间映射关系,建立零样本故障诊断模型并依靠模型实现未知故障类型诊断。应用IEC TC 10故障数据库及典型故障数据对所提方法加以验证。试验结果表明,所提出的方法具有更好的诊断效果,且在零样本条件下故障诊断平均准确率高达83%,平均诊断时间达0.18 s。

基于抽象语法树特征迁移的软件漏洞检测方法(AST-FMVD)

深度学习在漏洞检测的应用取得了显著的进展。现有漏洞检测算法需要大量的标记数据,通过有监督的方法构建检测模型,在多语言环境中,由于语言的多样性和标记训练样本的缺乏,检测模型可能存在泛化性问题,特别是在小样本领域中可能表现不佳。为了解决这一困境,迁移学习可以作为一种解决方案,迁移学习的核心思想是以“举一反三”为核心的算法框架,将某个领域的知识迁移到另一个领域的学习中,从而打破样本数据的制约。该文提出了一种基于特征迁移的漏洞检测方法。通过语义相似性对代码的语法树节点信息进行聚类,可以快速并准确地构建好不同语言之间的节点映射关系,同时在语法树的映射过程中引入上下文感知技术帮助解决歧义或模糊的语法结构,提高解析性能。该方法实现检测样本从未知领域变换到已知领域,利用在原有领域构建的深度学习模型,可以将新领域任务迁移到已知领域,最终解决跨域的知识迁移的应用,并将该方法取名为AST-FMVD。最后通过Java的漏洞检测模型对含有特定漏洞文件的进行检测,实现模型在Python领域中的迁移应用,证明了AST-FMVD的可行性,并通过实验证明AST-FMVD可以实现源域中的训练模型在目标领域仍可以保证原模型良好的检测水平。

基于类混合高斯映射的归纳式广义零样本识别

在广义零样本识别研究中,分类器对可见类别的偏倚以及在高维向低维特征映射过程中产生的信息丢失是传统算法常见的两大问题。为了解决上述问题,基于高斯混合分布模型的思想,结合共同学习的设计理念,提出一种加权多通道结构,不仅能够通过建立通道学习速率差异化实现通道间有监督的共同学习,而且可以通过类多高斯分布的计算拟合生成特征的真实分布特性,增强网络在隐藏空间的特征映射能力。针对三个常用数据库CUB、AWA2和SUN进行测试后,实验结果表明,基于多通道和生成对抗网络建立的类混合高斯映射网络模型针对上述三个数据库调和指标H分别提高了1.4、1.56和0.47,验证了这种加权多通道结构实现的类混合高斯映射模型在广义零样本图像识别领域的有效性。