基于多尺度Scale-Unet的单样本图像翻译

随着生成对抗网络(GAN)的发展,基于单样本的无监督图像到图像翻译(UI2I)取得了重大进展。然而,以前方法无法捕获图像中的复杂纹理并保留原始内容信息。为解决这个问题,提出了一种基于尺度可变U-Net结构(Scale—Unet)的新型单样本图像翻译结构SUGAN。所提出的SUGAN使用Scale—Unet作为生成器,利用多尺度结构和渐进方法不断改进网络结构,以从粗到细地学习图像特征。同时,提出了尺度像素损失scale-pixel来更好地约束保留原始内容信息,防止信息丢失。实验表明,与SinGAN、TuiGAN、TSIT、StyTR2等公共数据集Summer■Winter、Horse■Zebra上的方法相比,该方法生成图像的SIFID值平均降低了30%。所提方法可更好地保留图像内容信息,同时生成详细逼真的高质量图像。

基于双指导扩散模型的单样本图像域自适应

为了避免现有的单样本图像域自适应算法在反转重建过程中丢失内容信息的现象,提出一种利用CLIP(contrastive language-image pretraining)和ViT(vision transformer)双指导扩散模型去噪、实现内容对齐的单样本图像域自适应算法。首先设计一种基于扩散模型的域反转算法,将位于目标域的图像通过预训练的扩散模型反转到源域,从而获得了内容相同但域信息不同的图像对。其次,将图像对映射到CLIP模型隐空间中,通过内容主导和域主导的2个方向分别顾及内容信息和域信息;同时,将图像对映射到ViT模型隐空间中,通过对比学习的方式分别约束内容信息和域信息。最后,使用条件化指导的去噪方式,实现任意源域图像到目标域的转换。此外,该算法也适用于未见域间转换和多属性编辑的任务。定性和定量的实验结果证明,该算法相对于其他先进算法在多个性能指标上提升2%~27%。

基于改进DPGN的少样本图像分类算法研究

DPGN(distribution propagation graph network)是基于深度学习的少样本图像分类算法,在数据稀疏的条件下可以顺利完成图像分类,但其分类的准确率仍需进一步提升。以DPGN算法为研究对象,提出SFOD_DPGN(SinAM_FRN_layer_ODConv_DM&EMD_distribution propagation graph network)算法。在骨干神经网络Resnet12的残差块中融入注意力机制;将Resnet12网络中批量归一化与ReLu激活函数搭配使用的方式改为滤波器响应归一化与阈值线性单元激活函数搭配使用的方式;在分类器模块中选用全维动态卷积替换普通卷积;使用马氏距离和推土机距离替换L2距离度量函数。在CUB-200-2011数据集上的实验表明,在5way-1shot和5way-5shot分类任务下,SFOD_DPGN算法比DPGN算法的准确率提升约7.97%和2.66%。

面向电力缺陷场景的小样本图像生成方法

由于电力缺陷数据稀缺,目前大多数缺陷检测方法都无法有效地对电力缺陷情况进行准确的检测。为此,使用小样本图像生成方法,基于改进的LoFGAN(局部融合生成对抗网络),设计基于上下文信息的小样本图像生成器,提高缺陷检测网络对细节特征的提取能力;引入基于LC-散度的正则化损失来优化图像生成模型在有限数据集上的训练效果。实验表明,小样本图像生成方法能够为电力场景缺陷情况生成有效且多样的缺陷数据,所提模型能够有效解决电力缺陷场景数据稀缺的问题。

基于聚类优化学习的少样本图像分类

少样本图像分类的目标是在训练少量标记训练数据的基础上实现新类别图像的分类,然而这一目的在现有条件下很难实现。因此,目前的少样本学习方法主要借鉴迁移学习的思想,其核心是利用情景训练式的元训练构建先验知识,从而解决未知新任务。然而,研究工作表明,相较于复杂的少样本学习方法,具有强大特征表示的嵌入模型学习方法更为简单、有效。受此启发,提出一种新的基于直推式聚类优化学习的少样本图像分类方法。该方法首先利用样本数据的内部特征结构信息实现每个类别的综合表示;然后优化每个类别的中心,形成更具区别性的特征表示,从而有效增加不同类别之间的特征差异。大量实验结果表明,所提的基于直推式聚类优化学习的少镜头图像分类方法有效提高了各种训练条件下的图像分类精度。

最小生成树分割下小样本图像纹理提取研究

图像的纹理特征是图像的重要视觉特征,对于小样本图像的纹理特征提取时,存在纹理信息提取精度不佳、纹理信息提取错误等问题,严重影响了图像纹理提取的效果。为了有效解决以上问题,提出最小生成树分割下小样本图像纹理提取方法。采用Shearlet变换和多尺度Retinex方法对小样本图像实行增强处理,以提高其可识别性和区分度。利用最小生成树分割方法,对小样本图像分割处理;通过Gabor滤波器实现小样本图像的纹理提取。实验结果表明,所提方法能够有效地提取出小样本图像的纹理特征,其提取精度在97%以上,且图像增强效果佳。

小样本图像分类的注意力全关系网络

传统的基于深度学习的图像分类方法在大样本分类任务中具有较好的分类效果,但在小样本分类任务中却存在较大的挑战,为此,小样本图像分类获得了研究人员的广泛关注.基于度量的方法是解决小样本图像分类的一种简单有效方法,它利用可学习的映射函数将分类任务中的所有样本映射到一个特征空间中,然后基于某种度量标准对查询特征进行分类.由于分类任务中不同类的两个图像有可能包含较多的相似性区域,导致特征空间中某些查询特征与异类的类原型特征的距离较近,较难学习到大的分类边界.为了解决上述问题,本文提出了注意力全关系网络(Total Relation Network with Attention,TRNA),该网络通过计算特征对的全关系和特征对的注意力来实现大边界的特征空间.具体地,在计算出所有的查询特征和类原型后,提出的网络利用特征对全关系拼接操作将特征空间中的任意两个特征在通道方向上进行拼接得到特征对矩阵,然后利用特征对注意力机制将特征对矩阵中不同类间难区分的特征对挑选出来并给予大的权重,最后将特征对矩阵输入卷积网络和全连接网络得到一个相似得分矩阵.实验结果表明本文的方法与关系网络相比,在数据集mini-ImageNet、Stanford-Dogs、Stanford-Cars、CUB-200-2011的1-shot和5-shot分类任务中分别有2.67%和1.71%、8.31%和3.92%、14.99%和8.00%、4.41%和4.42%的性能提升.

多尺度注意力与领域自适应的小样本图像识别

小样本图像识别是计算机视觉中的关键问题。针对小样本情况下度量学习方法的类别原型不准确、泛化能力差问题,本文采用以下措施来提高小样本图像识别准确率:第一、为减缓样本稀缺问题,利用掩膜自编码器进行图像扩充,提高样本复杂度。第二、设计多尺度注意力模块,突出类别相关特征,解决类别原型偏差大的问题。第三、提出领域自适应模块,引入间隔损失函数,优化嵌入函数的表征能力,实现新类样本的精确表征,增强模型的泛化能力。通过在多个公开数据集上进行实验表明,本文方法可以有效提升小样本图像识别准确率。

零样本图像分类方法综述

图像分类作为图像处理的基础,一直是热门的研究话题。传统的图像分类方法需要采用大量专家标记的数据集,成本较大且无法识别未训练的图像类别;零样本图像分类作为迁移学习的一个分支,可以将已有的知识属性迁移到未知类中,从而完成对未知类图像的分类识别,因此降低了训练数据的标记成本,且能在样本稀缺的情况下实现对新事物的分类识别。首先,简单介绍了零样本学习的概念;其次,着重介绍了基于属性预测、基于特征嵌入和基于生成模型的零样本图像分类方法;然后,简要介绍了零样本图像分类的数据集以及评估方法,并对经典模型的实验结果做了比较分析;最后,提出了零样本图像分类方法普遍存在的问题以及相应的解决思路。

基于多重并联图神经网络的小样本图像分类算法

小样本学习(few-shot learning,FSL)中,由于样本量过少,导致了特征多样性的降低。为了弥补特征多样性的降低,提出通过提高模型的特征提取能力,以获得更为充分的特征数量。利用多重并联图神经网络来进行多重特征提取,使模型更充分地提取图像特征,从而提升小样本图像分类任务的分类准确率。所提出的多重特征提取方法在5-way1-shot设置下将基线的分类准确率提高了2.02%,在5-way 5-shot设置下将基线的分类准确率提高了1.98%。

基于混合属性的零样本图像分类

对于具有相似属性的类别而言,在有限维度的语义属性下,基于属性的零样本图像分类器难以对它们进行正确区分.考虑到语义属性描述类别的有限性,在直接属性预测(Direct Attribute Prediction,DAP)模型的基础上,提出一种基于混合属性的零样本图像分类模型(Hybrid Attribute-Based DAP,HA-DAP).首先,对样本的底层特征进行稀疏编码并利用编码后的非语义属性来辅助现有的语义属性;将非语义属性与语义属性构成混合属性并将其作为DAP模型的属性中间层,利用属性预测模型的思想进行混合属性分类器的训练;最后,根据预测的混合属性以及属性与类别之间的关系进行测试样本类别标签的预测.在OSR、Pub Fig以及Shoes数据集上的实验结果表明,HA-DAP的分类性能优于DAP,不仅能够取得较高的零样本图像分类精度,而且还获得了较高的AUC值.

一种基于融合重构的子空间学习的零样本图像分类方法

图像分类是计算机视觉中一个重要的研究子领域.传统的图像分类只能对训练集中出现过的类别样本进行分类.然而现实应用中,新的类别不断涌现,因而需要收集大量新类别带标记的数据,并重新训练分类器.与传统的图像分类方法不同,零样本图像分类能够对训练过程中没有见过的类别的样本进行识别,近年来受到了广泛的关注.零样本图像分类通过语义空间建立起已见类别和未见类别之间的关系,实现知识的迁移,进而完成对训练过程中没有见过的类别样本进行分类.现有的零样本图像分类方法主要是根据已见类别的视觉特征和语义特征,学习从视觉空间到语义空间的映射函数,然后利用学习好的映射函数,将未见类别的视觉特征映射到语义空间,最后在语义空间中用最近邻的方法实现对未见类别的分类.但是由于已见类和未见类的类别差异,以及图像的分布不同,从而容易导致域偏移问题.同时直接学习图像视觉空间到语义空间的映射会导致信息损失问题.为解决零样本图像分类知识迁移过程中的信息损失以及域偏移的问题,本文提出了一种图像分类中基于子空间学习和重构的零样本分类方法.该方法在零样本训练学习阶段,充分利用未见类别已知的信息,来减少域偏移,首先将语义空间中的已见类别和未见类别之间的关系迁移到视觉空间中,学习获得未见类别视觉特征原型.然后根据包含已见类别和未见类别在内的所有类别的视觉特征原型所在的视觉空间和语义特征原型所在的语义空间,学习获得一个潜在类别原型特征空间,并在该潜在子空间中对齐视觉特征和语义特征,使得所有类别在潜在子空间中的表示既包含视觉空间下的可分辨性信息,又包含语义空间下的类别关系信息,同时在子空间的学习过程中利用重构约束,减少信息损失,同时也缓解了域偏移问题.最后零样本分类识别阶段,在不同的空间下根据最近邻算法对未见类别样本图像进行分类.本文的主要贡献在于:一是通过对语义空间中类别间关系的迁移,学习获得视觉空间中未见类别的类别原型,使得在训练过程中充分利用未见类别的信息,一定程度上缓解域偏移问题.二是通过学习一个共享的潜在子空间,该子空间既包含了图像视觉空间中丰富的判别性信息,也包含了语义空间中的类别间关系信息,同时在子空间学习过程中,通过重构,缓解知识迁移过程中信息损失的问题.本文在四个公开的零样本分类数据集上进行对比实验,实验结果表明本文提出的零样本分类方法取得了较高的分类平均准确率,证明了本文方法的有效性.

一种粒子群优化融合特征的零样本图像分类算法

针对目标类语义属性描述的局限性,提出一种基于自适应加权融合特征的零样本图像分类算法。首先,随机初始化融合权重,利用神经网络融合文本的语义词向量特征和语义属性;然后,利用粒子群算法优化特征融合的权重;最后,把加权融合的特征作为零样本图像分类的迁移知识。实验结果表明,基于自适应加权融合的零样本图像分类算法在动物属性数据集(AWA)上测试的准确率达到88.9%,验证了该方法的有效性。同时与融合特征算法相比,亦提高了零样本图像分类模型的稳定性。

基于共享特征相对属性的零样本图像分类

在利用相对属性学习实现零样本图像分类中,现有的方法并没有考虑属性与类别之间的关系,为此该文提出一种基于共享特征相对属性的零样本图像分类方法。该方法采用多任务学习的思想来共同学习类别分类器和属性分类器,获得一个低维的共享特征子空间,挖掘属性与类别之间的关系。同时,利用共享特征来学习属性排序函数,得到基于共享特征的相对属性模型,解决了相对属性学习过程中丢失属性与类别关系的问题。另外,将基于共享特征的相对属性模型用于零样本图像分类中,有效提高了零样本图像分类的识别率。实验数据集上的结果表明,该方法具有较高的相对属性学习性能和零样本图像分类精度。

按改进的匹配算法的岩石样本图像三维重建

为了提高岩石样本图像三维重建的准确率和重建效率,提出了基于改进的匹配算法的三维重建方法。该方法采用"回"字型分块思想,有效地提高了ORB算法中BRIEF特征描述符的学习效率,从而改善了ORB算法的匹配效果;再利用向量场一致(VFC)算法对改进的ORB算子所得的匹配对进行误匹配剔除。实验结果表明,该方法不仅能够保证岩石样本图像三维重建的精度,而且在速度上也具有较大提升。

基于重构对比的广义零样本图像分类

广义零样本图像分类中常使用生成模型重构视觉信息或语义信息用于再进一步学习.然而,基于变分自编码器的方法对重构样本利用不够充分,表示性能欠缺.因此,文中提出基于重构对比的广义零样本图像分类模型.首先,使用两个变分自编码器将视觉信息和语义信息编码为同维度的低维隐向量,再将隐向量分别解码到两种模态.然后,使用投影模块投影视觉信息与语义模态的隐向量重构的视觉模态信息.最后,对投影后的特征进行重构对比学习.在保持变分自编码器重构性能的基础上增强编码器重构的判别性能,提高预训练特征在广义零样本图像分类任务上的应用能力.在4个标准数据集上的实验证实文中模型的有效性.

零样本图像分类综述

面对人工标注大量样本费时费力,一些稀有类别样本难于获取等问题,零样本图像分类成为计算机视觉领域的一个研究热点。首先,对零样本学习,包括直推式零样本学习和归纳式零样本学习进行了简单介绍;其次,重点介绍了基于空间嵌入零样本图像分类方法和基于生成模型零样本图像分类方法以及它们的子类方法,并对这些方法的机制、优缺点和适用场景等进行了分析和总结;然后,简单介绍了零样本图像分类常用数据集和评估方法,并对典型零样本图像分类方法进行了性能比较;接着,指出了现有零样本图像分类中存在的领域漂移、枢纽点和语义鸿沟等问题及相应的解决思路;最后,对零样本图像分类未来发展趋势和研究热点,如判别性区域的准确定位、生成高质量不可见类视觉特征、广义零样本图像分类等进行了探讨。

改进胶囊网络的小样本图像分类算法

为了解决胶囊网络不能对复杂的小样本图像进行有效分类的问题,提出一种将Darknet进行改进融入胶囊网络的分类模型。首先将Darknet改进为同时包含浅层与深层特征提取器的模型,浅层特征提取器采用5×5的卷积核以捕捉长距离的边缘轮廓特征,深层特征提取器采用3×3的卷积核以捕捉更深层的语义特征,再将图像的浅层边缘特征与深层语义特征进行融合,以保留图像的有效特征;接着利用胶囊网络对图像有效特征进行向量化处理,解决特征空间表征能力缺失的问题;最后在损失函数中加入L2正则化项,避免模型的过拟合问题。实验结果表明,在小样本数据集上,该模型相比胶囊网络、DCaps模型分类准确率分别提升28.51个百分点和24.40个百分点,相比ResNet50、Xception等卷积神经网络分别提升21.57个百分点和18.02个百分点,显示该方法对复杂小样本图像分类性能提升明显;同时在大样本数据集上,该模型的分类性能也获得了一定程度的提升。

基于张量特征的小样本图像快速分类方法

解决小样本图像分类问题最直接的方式是进行数据增强,但目前适用于小样本图像分类的数据增强方法大都存在模型复杂、推理时间长的问题.提出一个张量特征生成器,通过生成新的张量特征在特征空间对小样本图像进行数据增强.基于张量特征生成器,提出一个适用于小样本图像的快速分类方法(Tensor Feature-based Faster Classification Network,TFFCN),该方法网络结构简单,利用残差网络提取图像的张量特征,通过张量特征生成器对小样本图像进行数据增强,从而训练得到一个满意的分类器对查询集图像进行分类,解决了模型推理时间长的问题.为了验证提出模型的有效性,选用公开数据集miniImageNet,CUB以及CIFAR-FS,对分类性能和推理时间进行对比实验.实验结果表明,TFFCN的分类性能优于目前流行的数据增强方法,并且,和改进前的模型相比能有效减少模型的推理时间,采用ResNet18和ResNet12为主干特征提取网络时,随着生成的张量特征数量的增加,最高可减少49%和24%的推理时间,能更快速地完成小样本图像分类任务.

基于样本对元学习的小样本图像分类方法

本文针对小样本图像分类问题,提出一种基于样本对的元学习(Pairwise-based Meta Learning,PML)方法.利用传递迁移学习对预训练好的Resnet50模型进行微调,得到一个更适应小样本任务的特征编码器,将该特征编码器作为元学习模型的初始特征编码器来训练模型,进一步增强了元学习模型的泛化能力;同时,本文还基于支持集与查询集样本之间的相似性提出元损失函数(Meta Loss,ML),其考虑了特征空间中查询集所有样本的相互关系,以此来缩小正样本类内距离,增加正负样本类间距离,从而提高分类精度.实验结果表明,本文的方法在1-shot、5-shot任务上分别达到了77.65%、89.65%的分类精度,较最新的元学习方法Meta-baseline分别提高7.38%、5.65%.