基于视觉-语言预训练模型的零样本迁移学习方法综述

近年来随着人工智能(AI)技术在计算机视觉与自然语言处理等单模态领域表现出愈发优异的性能,多模态学习的重要性和必要性逐渐展现出来,其中基于视觉-语言预训练模型的零样本迁移(ZST)方法得到了国内外研究者的广泛关注。得益于预训练模型强大的泛化性能,使用视觉-语言预训练模型不仅能提高零样本识别任务的准确率,而且能够解决部分传统方法无法解决的零样本下游任务问题。对基于视觉-语言预训练模型的ZST方法进行概述,首先介绍了零样本学习(FSL)的传统方法,并对其主要形式加以总结;然后阐述了基于视觉-语言预训练模型的ZST和FSL的区别及其可以解决的新任务;其次介绍了基于视觉-语言预训练模型的ZST方法在样本识别、目标检测、语义分割、跨模态生成等下游任务中的应用情况;最后对现有的基于视觉-语言预训练模型的ZST方法存在的问题进行分析并对未来的研究方向进行展望。

零样本深度学习驱动的杨树叶片表型检测方法研究

叶片表型检测是感知杨树生长状态的重要手段之一,叶片颜色、姿态、纹理等形态结构表型信息可揭示植株所受胁迫的程度。其中,单个叶片分割是计算、统计其表型参数的基础。当前流行的AI算法已可满足叶片分割任务的性能需求,然而常规深度学习模型训练需要大量人工标签,制约了其发展和应用。本研究提出一种融合零样本学习和迁移学习的杨树叶片实例分割方法:运用视觉大模型GroundingDINO检索杨树苗图像中的叶片,获取对应的边界框;使用Segment Anything 2模型(segment anything model v2,SAM2)分割图像中全部对象,得到对应的掩膜(mask);将GroundingDINO模型生成的边界框作为提示,辅助SAM2过滤出叶片类别的掩膜;利用迁移学习策略,将AI生成的叶片掩膜作为标签信息,训练轻量化的YOLOv8-Segment模型。此外,构建独立测试集用于评估模型分割精度,选择交并比阈值为50%的平均精度(average precision using 50%intersection over union threshold,AP_(50))和平均交并比(mean intersection over union,mIoU)作为性能指标。结果表明,基于“Leaf”这一检索词,GroundingDINO与SAM2的组合(权重约810 MB)可实现高性能的杨树叶片分割,AP_(50)为0.936,mIoU为0.778。通过过滤异常尺寸的提示边界框,AP_(50)提升至0.942。迁移学习得到的YOLOv8-Segment模型权重仅6.5 MB,AP_(50)为0.888,大幅精简模型的同时保障了精度。本研究涉及的叶片分割模型构建过程均无须人工标注,实现了高效率、低成本的杨树叶片实例分割,可为杨树叶片计数和叶面积计算等后续表型分析应用提供技术支持。

基于Swin Transformer的嵌入式零样本学习算法

零样本学习旨在解决样本缺失情况下的分类问题.以往嵌入式零样本学习算法通常只利用可见类构建嵌入空间,在测试时不可避免会出现过拟合可见类的问题.基于此本文提出了一种基于类别语义相似度的多标签分类损失,该损失可在构建嵌入空间的过程中引导模型同时考虑与当前可见类语义上相似的未见类,进而将语义空间的相似性迁移到最终执行分类的嵌入空间.同时现有零样本学习算法大部分直接使用图像深度特征作为输入,特征提取过程没有考虑语义信息,基于此本文采用Swin Transformer作为骨干网络,输入原始图片利用自注意力机制得到基于语义信息的视觉特征.本文在3个零样本学习基准数据集上进行了大量实验,与目前最先进的算法相比取得了最佳的调和平均精度.

基于零样本学习的枸杞虫害识别

针对农业领域缺少有效的零样本虫害识别与检索方法,本研究提出一种基于零样本学习的枸杞虫害检索与识别方法。首先,通过对原始数据进行深层矩阵分解获得深层次结构特征,获取不同模态数据的特征表示,生成各模态的哈希码。然后结合类别属性信息对生成的哈希码引入线性约束,实现已知类别到新类别之间的知识迁移。最后,对所提出的模型通过直接学习离散哈希码避免了连续松弛方法带来的量化误差,提高了检索精度。在2020年宁夏枸杞虫害图文跨模态检索数据集及Wiki、Pascal VOC这3个公开数据集上的试验结果表明,与现有的基于协同矩阵分解的哈希方法(CMFH)、基于潜在语义的稀疏哈希方法(LSSH)、基于迁移监督知识的哈希方法(TSK)、基于属性的哈希方法(AH)、基于跨模态属性的哈希方法(CMAH)、基于正交投影的哈希方法(CHOP)、离散非对称零样本哈希方法(DAZSH)相比,本研究所提出的方法具有优越性。

基于零样本学习和自编码器的调制信号识别研究

针对深度学习模型在信号调制识别应用中无法有效识别未知调制方式的问题,提出了一种基于零样本学习和自编码器的信号调制识别模型,用于信号调制开集识别。通过自编码器提取调制信号的特征,引入交叉熵损失、中心损失和重构损失使得不同调制信号的特征能够良好分离,进一步根据特征空间的分布进行调制信号的开集识别。此外,利用解码器重构信号并加入训练,有效提升了模型识别率。实验结果表明,模型能够在提升已知类识别率的前提下对未知类进行区分,且对未知类的分类效果优于传统的开集识别方法,其中未知类识别率达到80%,已知类识别率稳定在95%左右。

基于零样本学习的单张SAR图像相干斑滤波方法

相干斑滤波是合成孔径雷达(Synthetic aperture radar,SAR)图像解译重要的预处理步骤。近年来,基于卷积神经网络(Convolutional neural network,CNN)的相干斑滤波方法得到了快速的发展。然而,基于监督学习的滤波方法缺乏无相干斑参考SAR图像作为真值,基于自监督学习的滤波方法大多需要同一场景的多时相SAR图像训练网络,但是这些额外的数据集在实际场景中较难获取。此外,自监督学习方法通常需要较大的训练数据集和较深的网络进行相干斑滤波,导致其计算复杂度较高。因此,本文提出了一种基于零样本学习的单张SAR图像相干斑滤波方法。该方法的核心思想是对待测试的单张SAR图像进行子视分解,选取与待测试SAR图像欧式距离最近的子视图像进行配对,理论上证明了使用配对的子视图像自监督训练网络能达到使用无相干斑参考SAR图像监督训练网络的滤波效果。因此,通过设计自监督损失函数快速训练轻量化相干斑滤波网络,将训练好的网络对待测试SAR图像进行滤波。相较于基于监督学习和自监督学习的相干斑滤波方法,本文所提方法不需要无相干斑参考或多时相SAR图像用于模型训练,也不需要额外训练数据,只需使用任意一个轻量化的CNN即可实现相干斑滤波。在Radarsat-2和ALOS-2实测数据上的实验结果表明,本文所提方法的参数量比对比方法低22倍,能更好的实现对匀质区域相干斑的抑制和图像细节的保护。

基于对比学习的零样本对象谣言检测

现有的谣言检测模型通常依赖大规模人工标注的谣言数据集,标注成本高且谣言特征来源于已被辟谣的谣言.为了提高模型对未知谣言的检测能力,提出面向不同对象的谣言检测方法.基于零样本学习,将谣言数据集按照不同的对象划分为样本与内容互不重叠的多个数据集,从而实现零样本对象谣言检测任务;为了表征对象之间的关系构建通义掩码特征,从而设计区分通义掩码特征的代理任务;为了减少数据增强带来的噪声,引入面向对象的信息辅助文本作为特征,并将其与原语义向量进行线性变换.在此基础上,提出面向零样本对象谣言检测的基于代理任务的分层对比学习模型(ZPTHCL),可以通过迁移学习进行谣言检测.在一个基于对象的零样本谣言数据集和Ma-Weibo、Weibo20、Twitter15、Twitter16这4个公开数据集上进行实验,结果表明所提出的对比学习零样本对象谣言检测模型性能更优.

基于特征增强模型的广义零样本学习

传统零样本学习旨在通过训练模型实现对未知类别的样本的精确分类,使模型具备对新任务和新环境的适应能力。但广义零样本学习的目标更为艰巨,它不仅要求模型能够辨识并分类未知类别的样本,还需确保对已知类别的样本也能准确无误地归入其对应的类别。由于在实际的训练过程中,我们仅能获得已知类别的样本,这使得零样本学习在分类任务中面临巨大的挑战。为了克服这一难题,我们创新性地提出了特征增强模型(Feature Enhancement Model,简称FE)。该模型不仅具备生成高质量未知类别样本的能力,以弥补训练样本的不足,而且能够构建每个样本的虚拟语义信息。此外,FE模型还配备了特征过滤模块,用于筛选出每个样本的核心特征。最终,模型将这些核心特征、样本本身以及虚拟语义信息相结合,作为最终的特征进行分类。这种方法通过凸显每类样本的独特性,有效地提升了分类的准确性和性能。

基于提示学习的生物恐怖威胁信息指纹零样本文本分类技术

近年来,生物恐怖威胁已成为国家安全的重大挑战,准确快速地识别生物恐怖威胁信息并对其进行分类成为亟待解决的关键问题。然而,传统的文本分类技术在应对生物恐怖威胁时面临数据稀缺和威胁因子复杂的问题。为此,本文提出了一种基于提示学习的零样本文本分类方法,设计了基于掩码策略的MaskBERT模型,并集成了提示插入模块和提示匹配模块。该方法利用预训练语言模型的知识,无须依赖外部知识库,成功实现了文本与类别的有效匹配,提高了分类的准确性和语义丰富性。在生物恐怖威胁信息指纹数据集上进行的对比实验和消融实验表明,本文提出的模型在准确率、召回率和F1值上分别达93.4%、92.3%和92.1%。相较于传统文本分类模型BERT、FPT-BERT、DepRNN、CPFT、CNN-BERT、SN-FT和HGAT,本模型对不同生物恐怖威胁信息的文本分类准确率更高,表明其具有良好的分类性能,能够准确而全面地识别生物恐怖威胁信息。

基于零样本学习的物体检测网络

作为先进的机器学习方法,零样本学习旨在解决在训练阶段未知物体的分类问题。传统的机器人抓取方法需要训练大量的标记样本以得到模型,进而学习对物体的分类和抓取。然而,这些方法在抓取未知物体时面临一定的困难,其中机器人未曾接触过这些物体,无法在训练数据中学习抓取。因此,零样本学习方法发挥了重要作用,其基本思想是利用已知类别的数据训练视觉-语义交互模型将语义知识扩展到未知类别,以控制机器人对未知类别进行识别与抓取。

基于多标签零样本学习的滚动轴承故障诊断

近年来,数据驱动的方法在滚动轴承故障诊断领域发展迅速,但面对工程实际中没有历史记录的故障类型,仍存在故障特征学习不充分、误诊率高等不足。针对上述问题,提出了多标签零样本学习(multi-label zero-shot learning,MLZSL)故障诊断方法。首先,使用短时傅里叶变换(short-time Fourier transform,STFT)对可见类和未见类样本进行预处理,将得到的时频图像输入残差深度可分离卷积神经网络(residual depthwise separable convolutional neural network,RDSCNN)进行特征提取,再使用可见类故障特征训练属性学习网络,依靠属性学习网络预测未见类故障样本的属性向量,最终实现对未见类故障的诊断。设计了零样本条件下的故障诊断试验,结果表明MLZSL能将可见类故障属性迁移到未见类,并有效诊断未见类故障。

一种基于融合重构的子空间学习的零样本图像分类方法

图像分类是计算机视觉中一个重要的研究子领域.传统的图像分类只能对训练集中出现过的类别样本进行分类.然而现实应用中,新的类别不断涌现,因而需要收集大量新类别带标记的数据,并重新训练分类器.与传统的图像分类方法不同,零样本图像分类能够对训练过程中没有见过的类别的样本进行识别,近年来受到了广泛的关注.零样本图像分类通过语义空间建立起已见类别和未见类别之间的关系,实现知识的迁移,进而完成对训练过程中没有见过的类别样本进行分类.现有的零样本图像分类方法主要是根据已见类别的视觉特征和语义特征,学习从视觉空间到语义空间的映射函数,然后利用学习好的映射函数,将未见类别的视觉特征映射到语义空间,最后在语义空间中用最近邻的方法实现对未见类别的分类.但是由于已见类和未见类的类别差异,以及图像的分布不同,从而容易导致域偏移问题.同时直接学习图像视觉空间到语义空间的映射会导致信息损失问题.为解决零样本图像分类知识迁移过程中的信息损失以及域偏移的问题,本文提出了一种图像分类中基于子空间学习和重构的零样本分类方法.该方法在零样本训练学习阶段,充分利用未见类别已知的信息,来减少域偏移,首先将语义空间中的已见类别和未见类别之间的关系迁移到视觉空间中,学习获得未见类别视觉特征原型.然后根据包含已见类别和未见类别在内的所有类别的视觉特征原型所在的视觉空间和语义特征原型所在的语义空间,学习获得一个潜在类别原型特征空间,并在该潜在子空间中对齐视觉特征和语义特征,使得所有类别在潜在子空间中的表示既包含视觉空间下的可分辨性信息,又包含语义空间下的类别关系信息,同时在子空间的学习过程中利用重构约束,减少信息损失,同时也缓解了域偏移问题.最后零样本分类识别阶段,在不同的空间下根据最近邻算法对未见类别样本图像进行分类.本文的主要贡献在于:一是通过对语义空间中类别间关系的迁移,学习获得视觉空间中未见类别的类别原型,使得在训练过程中充分利用未见类别的信息,一定程度上缓解域偏移问题.二是通过学习一个共享的潜在子空间,该子空间既包含了图像视觉空间中丰富的判别性信息,也包含了语义空间中的类别间关系信息,同时在子空间学习过程中,通过重构,缓解知识迁移过程中信息损失的问题.本文在四个公开的零样本分类数据集上进行对比实验,实验结果表明本文提出的零样本分类方法取得了较高的分类平均准确率,证明了本文方法的有效性.

基于跨域对抗学习的零样本分类

零样本学习旨在识别具有少量、甚至没有训练样本的未见类,这些类与可见类遵循不同的数据分布.最近,随着深度神经网络在跨模态生成方面的成功,使用合成的样本对未见数据进行分类取得了巨大突破.现有方法通过共享生成器和解码器,联合传统生成对抗网络和变分自编码器来实现样本的合成.然而,由于这2种生成网络产生的数据分布不同,联合模型合成的数据遵循复杂的多域分布.针对这个问题,提出跨域对抗生成网络(CrossD-AGN),将传统生成对抗网络和变分自编码器有机结合起来,基于类级语义信息为未见类合成样本,从而实现零样本分类.提出跨域对抗学习机制,引入2个对称的跨域判别器,通过判断合成样本属于生成器域分布还是解码器域分布,促使联合模型中的生成器解码器不断优化,提高样本合成能力.在多个真实数据集上进行了广泛的实验,结果表明了所提出方法在零样本学习上的有效性和优越性.

基于典型相关分析和距离度量学习的零样本学习

零样本学习是一类特殊的图像分类问题,是指测试数据的类别在训练数据中没有出现的情况.为了更好地描述语义特征空间中图像特征和语义特征的距离关系,本文将距离度量学习引入零样本学习任务.具体而言,首先利用典型相关分析将样本的图像特征和相应类别的语义特征映射至公共特征空间;然后,利用距离度量学习衡量图像特征和语义特征之间的距离;最后,使用最近邻分类器进行分类.通过在流行的Aw A和CUB数据集中的实验,证明了所提方法的有效性和鲁棒性.

基于间接域适应特征生成的直推式零样本学习方法

近年来,零样本学习备受机器学习和计算机视觉领域的关注.传统的归纳式零样本学习方法通过建立语义与视觉之间的映射关系,实现类别之间的知识迁移.这类方法存在着可见类和未见类之间的映射域漂移(projection domain shift)问题,直推式零样本学习方法通过在训练阶段引入无标定的未见类数据进行域适应,能够有效地缓解上述问题并提升零样本学习精度.然而,通过实验分析发现,这种直接在视觉空间同时进行语义映射建立和域适应的直推式零样本学习方法容易陷入“相互制衡”问题,从而无法充分发挥语义映射和域适应的最佳性能.针对上述问题,提出了一种基于间接域适应特征生成(feature generation with indirect domain adaptation,FG-IDA)的直推式零样本学习方法.该方法通过串行化语义映射和域适应优化过程,使得直推式零样本学习的这两大核心步骤能够在不同特征空间分别进行最佳优化,从而激发其潜能提升零样本识别精度.在4个标准数据集(CUB,AWA1,AWA2,SUN)上对FG-IDA模型进行了评估,实验结果表明,FG-IDA模型不仅展示出了相对其他直推学习方法的优越性,同时还在AWA1,AWA2和CUB数据集上取得了当前最优结果(the state-of-the-art performance).此外还进行了详尽的消融实验,通过与直接域适应方法进行对比分析,验证了直推式零样本学习中的“相互制衡”问题以及间接域适应思想的先进性.

语义增强图像-文本预训练模型的零样本三维模型分类

目前,基于对比学习的图像-文本预训练模型(CLIP)在零样本3维模型分类任务上表现出了巨大潜力,然而3维模型和文本之间存在巨大的模态鸿沟,影响了分类准确率的进一步提高。针对以上问题,该文提出一种语义增强CLIP的零样本3维模型分类方法。该方法首先将3维模型表示成多视图;然后为了增强零样本学习对未知类别的识别能力,通过视觉语言生成模型获得每张视图及其类别的语义描述性文本,并将其作为视图和类别提示文本之间的语义桥梁,语义描述性文本采用图像字幕和视觉问答两种方式获取;最后微调语义编码器将语义描述性文本具化为类别的语义描述,其拥有丰富的语义信息和较好的可解释性,有效减小了视图和类别提示文本的语义鸿沟。实验表明,该文方法在ModelNet10和ModelNet40数据集上的分类性能优于现有的零样本分类方法。

基于语义-视觉一致性约束的零样本图像语义分割网络

零样本图像语义分割是零样本学习在视觉领域的重要任务之一,旨在分割训练中未见的新类别。目前基于像素级视觉特征生成的方法合成的视觉特征分布和真实的视觉特征分布存在不一致性的问题,合成的视觉特征难以准确反映类语义信息,导致合成的视觉特征缺乏鉴别性;现有的一些视觉特征生成方法为了得到语义特征所表达的区分性信息,需要消耗巨大的计算资源。为此,文中提出了一种基于语义-视觉一致性约束的零样本图像语义分割网络(SVCCNet)。该网络通过语义-视觉一致性约束模块对语义特征与视觉特征进行相互转换,以提高两者的关联度,减小真实视觉特征与合成视觉特征空间结构的差异性,从而缓解合成视觉特征与真实视觉特征分布不一致的问题。语义-视觉一致性约束模块通过两个相互约束的重建映射,实现了视觉特征与类别语义的对应关系,同时保持了较低的模型复杂度。在PASCAL-VOC及PASCAL-Context数据集上的实验结果表明,SVCCNet的像素准确率、平均准确率、平均交并比、调和交并比均优于比较的主流方法。

基于语义空间信息映射加强的零样本学习方法

基于语义空间的类别描述信息进行零样本学习的难点是语义特征和图像特征之间存在偏差。对此提出一种基于语义空间信息映射加强的零样本学习方法。在词向量训练时进行数据增强,并将语义空间输出词向量连接全连接层进行语义分析加强并生成语义特征向量。图像使用VGG16卷积神经网络模型提取图像特征向量,结合语义特征向量进行余弦相似度匹配,基于对比损失得到改进的损失函数。实验结果表明,与使用属性特征进行零样本学习的方法对比,该方法的正确率提升了5.5%。

零样本图学习综述

深度学习方法的提出使得机器学习研究领域得到了巨大突破,但是却需要大量的人工标注数据来辅助完成.在实际问题中,受限于人力成本,许多应用需要对从未见过的实例类别进行推理判断.为此,零样本学习(zeroshot learning, ZSL)应运而生.图作为一种表示事物之间联系的自然数据结构,目前在零样本学习中受到了越来越多的关注.本文对零样本图学习方法进行了系统综述.首先概述了零样本学习和图学习的定义,并总结了零样本学习现有的解决方案思想.然后依据图的不同利用方式对目前零样本图学习的方法体系进行了分类.接下来讨论了零样本图学习所涉及到的评估准则和数据集.最后指明了零样本图学习进一步研究中需要解决的问题以及未来可能的发展方向.

基于组合零样本学习的接触网吊弦线缺陷识别

目前现场接触网吊弦缺陷图像严重不足,导致模型特征学习不充分,识别准确率难以得到有效提高,为此提出基于组合零样本学习的接触网吊弦线缺陷识别方法.采用以ResNet-50作为主干网络的视觉特征提取模块提取图像视觉特征;使用预训练的Word2Vec词向量对标签组合图中的节点特征进行初始化,并通过2层图卷积网络学习标签组合图中各节点之间的依赖关系,从而优化组合标签节点的语义特征,改善最终的识别效果;将提取到的视觉特征和优化后的组合标签节点的语义特征相对齐,构建相似度函数计算图像视觉特征与组合标签语义特征之间的相似度得分,并通过交叉熵损失完成图像组合标签的预测.仿真实验结果表明:所提方法对可见类样本的类平均检测准确率为93.5%,对不可见类样本的类平均检测准确率为86.5%.