采用特征图增强原型的小样本图像分类方法

在基于度量学习的小样本图像分类方法中,由于标注样本的稀缺,仅用支持集样本得到的类原型往往难以代表整个类别的真实分布;同时,同类样本间也可能在多个方面存在较大差异,较大的类内差异可能使样本特征偏离类别中心。针对上述可能严重影响图像分类性能的问题,提出一种采用特征图增强原型的小样本图像分类方法(FMEP)。首先,用余弦相似度从查询集样本特征图中选择部分相似特征加入类原型中,得到更具代表性的特征图增强原型;其次,对相似的查询集样本特征进行聚合,缓解类内差异大导致的问题,使同类样本的特征分布更接近;最后,用在特征空间中与真实类别分布都更接近的特征图增强原型和聚合查询特征进行相似度比较得到更优的分类结果。所提方法在MiniImageNet、TieredImageNet、CUB-200和CIFAR-FS等常用的小样本图像分类数据集上进行了实验,结果表明所提方法获得了比基线模型更优的分类性能,同时也优于同类型的小样本图像分类方法。

面向电力生产精细化风险解译的高度相似防护工具智能检测技术研究

电力生产通常面临高低电压、强弱电流等复杂工作环境转换,不同作业场景有严格的防护工具使用标准,因此,研究生产作业过程防护工具的精细辨识对保障人员安全及电网安全意义重大。已有研究可实现安全帽、工作服等基础着装类检测,而实际生产中存在大量形态高度相似的实体防护工具,如绝缘手套与线手套、绝缘杆与验电杆等。为此,该文提出一种基于深度代表性度量学习的相似防护工具智能检测方法。将目标类别特征学习转换为以差异化表达不同目标特征距离为目的的嵌入式空间特征学习,得到表征不同目标的深度代表性特征向量,通过计算未知目标与代表性特征向量的距离进行类别判断,最后以现场图像进行试验验证。试验结果表明:所提方法实现了对形态相似防护工具的特征差异表达和精准辨识,相比于常见目标检测模型具有更优越的辨识性能,从而提高电力生产安全风险辨识的精细化水平。

基于元度量学习的小样本输电线路图像部件缺陷分类方法

对巡检图像缺陷准确分类是输电线路自动巡检领域中的关键技术之一。针对因缺陷类别图片数量少而导致传统深度学习方法容易出现过拟合与精度低的问题,提出了一种基于元度量学习的小样本输电线路图像部件缺陷分类方法。首先,搭建了基于小样本学习的图像分类网络,采用基于深度残差结构的卷积层来增强网络特征表达能力。然后,在度量模块中引入基于皮尔森相似度的k-近邻算法与局部特征描述符重加权机制,以提高网络分类能力。最后,为验证所提方法的有效性,利用巡检图像构成的数据集对本文方法和其他基于元度量学习的小样本分类方法进行实验对比分析。结果表明:该文提出的方法在分类性能上有明显优势。同时,本文算法的平均准确率在每类缺陷的测试样本仅有15张图片的情况下达到80.24%。

基于深度度量学习的茶叶相似性评价方法

在眉茶拼配过程中,为了客观定量的评价试拼小样与标准样之间的相似性,该研究提出了一种基于深度度量学习的相似性评价方法,采用7种等级的眉茶标准样作为训练集,并在标准样中加入不同含量半成品茶构建具有不同相似性的测试集。采集茶样的高光谱数据并获取光谱特征与图像特征,分别以光谱数据、图像数据、图谱融合数据3种数据类型作为模型的输入。为了构建距离特征空间,该研究提出了基于三元组损失的深度特征提取网络,并设计了Center Anchor Triplet Loss损失函数,通过样本在特征空间的距离,表征相似程度,达到定性判断相似性和定量度量相似度的目的。结果表明:图谱融合数据结合Center Anchor Triplet Loss的方法精度最高,相似性判断准确率为98.89%,相似度度量准确率为100%。该研究采用未经训练的独立样本评价模型,可以获得较好的结果,说明算法具有较好的泛化能力。研究结果为眉茶的相似性评价提供了理论依据。

基于度量的小样本分类方法研究综述

小样本学习旨在让机器像人类一样通过对少量样本的学习达到对事物认知和概括的能力.基于度量的小样本学习方法希望学习一个低维嵌入空间,直接对比查询集合和支持类之间的相似性,分类测试样本.文中针对基于度量的小样本学习方法,尝试从这类方法需要解决的关键问题、类表示学习和相似性度量入手,梳理相关文献.与已有相关综述不同,文中只针对基于度量的小样本学习方法进行更详尽全面的分类,而且从关键问题角度进行分类.最后总结目前代表性工作在常用的图像分类任务数据集上的实验结果,分析现有方法存在的问题,并展望未来工作.

多级注意力特征网络的小样本学习

针对目前基于度量学习的小样本方法存在特征提取尺度单一,类特征学习不准确,相似性计算依赖标准度量等问题,该文提出多级注意力特征网络。首先对图像进行尺度处理获得多个尺度图像;其次通过图像级注意力机制融合所提取的多个尺度图像特征获取图像级注意力特征;在此基础上使用类级注意机制学习每个类的类级注意力特征。最后通过网络计算样本特征与每个类的类级注意力特征的相似性分数来预测分类。该文在Omniglot和MiniImageNet两个数据集上验证多级注意力特征网络的有效性。实验结果表明,相比于单一尺度图像特征和均值类原型,多级注意力特征网络进一步提高了小样本条件下的分类准确率。

联合结构相似性与类信息的图像分类

针对卷积神经网络训练收敛速度慢的问题,提出了一种加权的联合结构相似性和类信息监督训练的方法。首先,针对小图像,设计一个能有效提取图像高级别信息的卷积神经网络。其次,建立加权的联合结构相似性和类信息损失函数训练卷积神经网络。最后,通过mnist手写数字和cifar10图像分类实验验证所设计网络的有效性。实验结果表明,所设计的网络在mnist手写数字和cifar10数据集上的图像分类错误率分别为0.33%和11%。在未进行扩增mnist数据集的前提下,所设计的网络的性能超过了该数据集上所有单网络的性能;在cifar10数据集上,所设计的网络能以较少的计算量获得较高的图像分类准确率。同时,联合结构相似性和类信息损失的监督训练能加快网络的训练速度。

基于多特征融合的多尺度服装图像精准化检索

为了充分挖掘服装图像从全局到局部的多级尺度特征,同时发挥深度学习与传统特征各自在提取服装图像深层语义特征和底层特征上的优势,从而实现聚焦服装本身与服装全面特征的提取,提出基于多特征融合的多尺度服装图像精准化检索算法.首先,为了不同类型特征的有效融合,本文设计了基于特征相似性的融合公式FSF(Feature Similarity Fusion).其次,基于YOLOv3模型同时提取服装全局、主体和款式部件区域构成三级尺度图像,极大减弱背景等干扰因素的影响,聚焦服装本身.之后全局、主体和款式部件三级尺度图像分别送入三路卷积神经网络(Convolutional Neural Network,CNN)进行特征提取,每路CNN均依次进行过服装款式属性分类训练和度量学习训练,分别提高了CNN对服装款式属性特征的提取能力,以及对不同服装图像特征的辨识能力.提取的三路CNN特征使用FSF公式进行特征融合,得到的多尺度CNN融合特征则包含了服装图像从全局到主体,再到款式部件的全面特征.然后,加入款式属性预测优化特征间欧氏距离,同时抑制语义漂移,得到初步检索结果.最后,由于底层特征可以很好的对CNN提取的深层语义特征进行补充,故引入传统特征对初步检索结果的纹理、颜色等特征进行约束,通过FSF公式将多尺度CNN融合特征与传统特征相结合,进一步优化初步检索结果的排序.实验结果表明,该算法可以实现对服装从全局到款式部件区域多尺度CNN特征的充分提取,同时结合传统特征有效优化排序结果,提升检索准确率.在返回Top-20的实验中,相比于FashionNet模型准确率提升了16.4%."

基于改进的VGG16模型的副热带高压相似识别及应用评估

台风预报除常规方法外,查找历史相似作为预报和决策的参考依据是常用手段,但从海量历史台风中检索相似费时费力。提出了一种基于改进的视觉几何组模型VGG16的副热带高压(以下简称副高)相似检索方法,进行基于副高相似的历史相似台风查询。通过对1979—2020年台风季19736个对应时次的副高图像提取、数据增强、模型学习和优化,并以学习感知图像块相似度(learned perceptual image patch similarity,LPIPS)作为副高相似的度量指标,最终建立了改进的VGG16模型。试验结果表明,使用该模型可以找出较为相似的历史台风,模型检索得到的排名第一的历史相似台风与目标台风相似度高达92.55%,该方法可为台风预报业务人员提供了积极参考。同时,该模型相较于传统的人工识别,识别时间较短、检索效率高,可在业务及科研中推广应用。

基于相似性度量的肺结节图像检索算法

为了克服肺部病变CT表现复杂,极易造成医生误诊的缺点,提出了一种基于相似性度量的医学图像检索算法并用于肺癌的诊断研究,该相似性度量保持了图像的语义相关和视觉相似.首先,根据相似性度量理论构建距离度量学习算法学习一个马氏距离;然后,根据学习的马氏距离度量,提出新的医学图像检索算法,并将提出的算法应用于肺癌的诊断研究.实验结果证明了该检索算法在肺癌诊断应用中的可行性和有效性.

基于深度反向投影的感知增强超分辨率重建模型

以SRCNN(super-resolution convolutional neural network)模型为代表的超分辨率重建模型通常都有很高的PSNR(peak signal to noise ratio)和SSIM(structural similarity)值,但其在视觉感知上并不令人满意,而以SRGAN为代表的拥有高感知质量的GAN(generative adversarial networks)模型却很容易产生大量的伪细节,这表现在其PSNR和SSIM值通常都较低。针对上述问题,提出了一种基于深度反向投影的感知增强超分辨率重建模型。该模型采用双尺度自适应加权融合特征提取模块进行特征提取,然后通过深度反向投影进行上采样,最终由增强模块增强后得到最终输出。模型采用残差连接与稠密连接,有助于特征的共享以及模型的有效训练。在指标评价上,引入了基于学习的LPIPS(learned perceptual image patch similarity)度量作为新的图像感知质量评价指标,与PSNR、SSIM一起作为模型评价指标。实验结果表明,模型在测试数据集上PSNR、SSIM、LPIPS的平均值分别为27.84、0.7320、0.1258,各项指标均优于对比算法。

基于三维矫正和相似性学习的无约束人脸验证

针对无约束条件下的人脸图像样本少、面部姿态变化大、被遮挡以及背景复杂等问题,提出一种结合三维人脸矫正与相似性学习相结合的人脸验证算法(sub-SL)。首先,通过三维人脸矫正方法对人脸图像进行姿态矫正,将图像中的人脸矫正为标准正面脸;其次,裁剪该正面脸的脸部相关区域,去除复杂的图像背景;最后,利用基于个体子空间的相似性学习方法对图像对之间的相似度进行度量,完成人脸验证。实验采用了几个以LFW(Labeled Faces in the Wild)数据库为基础的经过预处理操作(例如人脸矫正、裁剪等)后建立起来的数据库。在基于局部三值模式(LTP)的特征提取方法并且训练图像对数为625的实验中,sub-SL算法的识别率比利用马氏距离进行度量学习的算法sub-ML以及结合了马氏距离与相似性学习的度量学习算法sub-SML分别高出了15. 6%和8. 4%。实验结果表明,sub-SL算法能够有效提高无约束条件下人脸识别的准确率。

利用双通道卷积神经网络的图像超分辨率算法

目的图像超分辨率算法在实际应用中有着较为广泛的需求和研究。然而传统基于样本的超分辨率算法均使用简单的图像梯度特征表征低分辨率图像块,这些特征难以有效地区分不同的低分辨率图像块。针对此问题,在传统基于样本超分辨率算法的基础上,提出双通道卷积神经网络学习低分辨率与高分辨率图像块相似度进行图像超分辨率的算法。方法首先利用深度卷积神经网络学习得到有效的低分辨率与高分辨率图像块之间相似性度量,然后根据输入低分辨率图像块与高分辨率图像块字典基元的相似度重构出对应的高分辨率图像块。结果本文算法在Set5和Set14数据集上放大3倍情况下分别取得了平均峰值信噪比(PSNR)为32.53 d B与29.17 d B的效果。结论本文算法从低分辨率与高分辨率图像块相似度学习角度解决图像超分辨率问题,可以更好地保持结果图像中的边缘信息,减弱结果中的振铃现象。本文算法可以很好地适用于自然场景图像的超分辨率增强任务。