基于高分辨率类激活映射算法的弱监督目标实时检测

受益于深度学习的发展,目标检测技术在各类视觉任务中得到广泛关注。然而,获取目标的边框标注需要高昂的时间和人工成本,阻碍了目标检测技术在实际场景中的应用。为此,该文在仅使用图像类别标签的基础上,提出一种基于高分辨率类激活映射算法的弱监督目标实时检测方法,降低网络对目标实例标注的依赖。该方法将目标检测细划分为弱监督目标定位和目标实时检测两个子任务。在弱监督定位任务中,该文利用对比层级相关性传播理论设计了一种新颖的高分辨率类激活映射算法(HR-CAM),用于获取高质量目标类激活图,生成目标伪检测标注框。在实时检测任务中,该文选取单镜头多盒检测器(SSD)作为目标检测网络,并基于类激活图设计目标感知损失函数(OA-Loss),与目标伪检测标注框共同监督SSD网络的训练过程,提高网络对目标的检测性能。实验结果表明,该文方法在CUB200和TJAB52数据集上实现了对目标准确高效的检测,验证了该文方法的有效性和优越性。

面向SAR目标识别深度网络可理解的类激活映射方法

随着深度学习方法在合成孔径雷达(SAR)图像解译领域的广泛应用,SAR目标识别深度网络可理解性问题逐渐受到学者的关注。类激活映射(CAM)作为常用的可理解性算法,能够通过热力图的方式,直观展示对识别任务起作用的显著性区域。然而作为一种事后解释的方法,其只能静态展示当次识别过程中的显著性区域,无法动态展示当输入发生变化时显著性区域的变化规律。该文将扰动的思想引入类激活映射,提出了一种基于SAR背景杂波特性类激活映射方法(SCC-CAM),通过对输入图像引入同分布的全局扰动,逐步向SAR识别深度网络施加干扰,使得网络判决发生翻转,并在此刻计算网络神经元输出激活值的变化程度。该方法既能解决添加扰动可能带来的扰动传染问题,又能够动态观察和度量目标识别网络在识别过程中显著性区域的变化规律,从而增强深度网络的可理解性。在MSTAR数据集和OpenSARShip-1.0数据集上的试验表明,该文提出的算法具有更加精确的定位显著性区域的能力,相比于传统方法,在平均置信度下降率、置信度上升比例、信息量等评估指标上,所提算法具有更强的可理解性,能够作为通用的增强网络可理解性的方法。

基于改进类激活映射的织物疵点检测

为实现弱监督条件下的织物疵点检测,提出一种基于改进类激活映射(Class activation mapping,CAM)的疵点检测方法。在卷积神经网络中加入SE模块,并将深层和浅层卷积层进行结合,以此提高网络的分类性能;为了提高疵点定位的准确性,将两种分辨率的类激活图进行融合来生成改进的类激活图。实验结果表明,该算法对无疵点、孔、污渍和纱疵四个类别织物图像的识别准确率达到了96.88%,并且在数据集只有图像级标注的情况下,实现了织物疵点的定位。

多茶类CNN图像识别的数据增强优化及类激活映射量化评价

我国茶叶种类繁多,识别难度大。卷积神经网络(Convolutionalneuralnetwork,CNN)图像识别具有客观性、适应复杂图片背景且可移植于移动端的优势。但当前茶叶CNN图像识别缺乏对数据增强优化和识别准确性客观评价的研究,限制了模型识别的鲁棒性和泛化能力。采集29种常见茶类共6 123张图像构建数据集,对比了10种图像数据增强方法的ResNet-18(Residual network-18)训练效果;为了客观评价模型识别区域的准确性,构建了2个梯度加权类激活映射(Gradient-weighted class activation mapping,Grad-CAM)量化评价指标(IOB和MPI)。结果表明,网格擦除(Ratio=0.3)、分辨率扰动和HSV(Hue,Saturation,Value)颜色空间扰动是较优的数据增强方法,准确率(Accuracy)、损失值(Loss)、IOB和MPI等4个指标综合表现较优。进一步通过消融实验,得到了最佳的数据增强方法组合—水平镜像翻转+网格擦除(Ratio=0.3)+HSV颜色空间扰动,其模型测试准确率达到了99.82%、损失值仅有0.64,且IOB、MPI指标也表现较优,体现了较好的图像识别区域准确性。本研究对茶叶图像数据增强方法进行了优化,训练得到了高鲁棒性的多茶类CNN图像识别模型,构建的量化指标IOB和MPI也解决了CAM识别区域准确性客观评价的问题。

基于对比层级相关性传播的由粗到细的类激活映射算法研究

以卷积神经网络为代表的深度学习算法高度依赖于模型的非线性和调试技术,在实际应用过程中普遍存在黑箱属性,严重限制了其在安全敏感领域的进一步发展。为此,该文提出一种由粗到细的类激活映射算法(CF-CAM),用于对深度神经网络的决策行为进行诊断。该算法重新建立了特征图和模型决策之间的关系,利用对比层级相关性传播理论获取特征图中每个位置对网络决策的贡献生成空间级的相关性掩码,找到影响模型决策的重要性区域,再与经过模糊化操作的输入图像进行线性加权重新输入到网络中得到特征图的目标分数,从空间域和通道域实现对深度神经网络进行由粗到细的解释。实验结果表明,相较于其他方法该文提出的CF-CAM在忠实度和定位性能上具有显著提升。此外,该文将CF-CAM作为一种数据增强策略应用于鸟类细粒度分类任务,对困难样本进行学习,可以有效提高网络识别的准确率,进一步验证了CF-CAM算法的有效性和优越性。

融合类激活映射和视野注意力的皮肤病变分割

在皮肤镜图像分割问题中,分割精度受多重因素影响,包括图像对比度、病变大小及异物干扰等,为提高分割精度,解决病变边界分割不准等问题,提出一种改进的DeepLab V3+网络。该改进网络一方面生成原图像的类激活映射,融入到网络的编码器中作先验信息,为网络提供准确的定位信息并消除部分干扰因素;另一方面,在空洞空间金字塔模块中融合视野注意力机制,实现局部跨视野交互;同时将Dice损失和排序损失相结合作为本网络的损失函数,使网络更关注硬像素的误差,优化分割模型。分别在ISIC-2017和PH2数据集上对所提模型评估,其Jaccard指数(JA)分别达到82.6%和89.2%,准确率分别达到95.2%和96.5%,实验结果表明所提模型分割敏感度更高,综合分割性能较其他先进网络有所提升。

基于类激活映射的可解释性方法在农作物检测识别中的发展现状与趋势

深度学习模型被广泛应用于农作物检测和识别领域,其优势在于通过构建不同的功能感知层而优化模型,能够自动提取输入数据的特征,实现端到端地学习。但是该模型中未知的数据处理过程导致模型缺乏可解释性,成为阻碍深度学习应用的主要因素。为克服深度学习模型可解释性不足的缺陷,研究者提出了基于类激活映射的可解释性方法。概述了类激活映射算法Grad-CAM在农作物病害分类和检测、农作物虫害检测识别、农作物品种分类、目标农作物检测以及其他应用上的研究进展,说明了类激活映射算法具有能够可视化任意结构卷积神经网络的优点,分析了类激活映射算法存在解释精细度不高、梯度不稳定、缺乏评估标准以及应用背景单一的不足,提出了构建既具有高准确率又具有可解释性的模型、构建新型解释算法、建立可解释性算法统一的评估标准和保证可解释性算法正确性的发展趋势。

一种结合类激活映射的半监督图像分类方法

半监督学习要求无标记数据集远大于标记数据集,然而无标记数据集中包含的复杂无关信息又会对模型训练造成负面影响.针对此问题,本文提出了一种基于增强的均值教师模型的半监督图像分类方法.首先根据类激活映射的工作机制,构建一个具有类激活映射功能的网络;然后将无标记数据集输入结合类激活映射的目标初定位网络,得到目标初定位图;最后将标记图像和目标初定位图像组成训练数据集,训练得到半监督图像分类器.本文设置了标记数据占比、骨干网络、数据集的对比实验,结果表明,本文算法在Top1和Top5上的表现优于现有算法,说明了本文算法的可行性和有效性.

基于时频Grad-CAM的调制识别网络可解释分析

针对时频深度学习调制识别方法存在可解释性差的问题,提出一种基于时频梯度加权类激活映射(GradCAM)的调制识别网络可解释框架.该框架通过时频Grad-CAM可视化深度模型中隐含层的关键特征,从视觉上解释网络隐含层提取的时频深度特征对于正确与错误识别中的作用,揭示低信噪比环境下网络性能下降的内在机理,并通过量化和排序网络中每层不同卷积核的贡献值来判断网络的冗余程度.仿真实验结果验证了基于时频Grad-CAM的调制识别网络可解释性框架的有效性;可解释分析结果表明,在低信噪比环境下,网络特征提取区域有大量噪声存在,且本文所测试的调制识别网络冗余程度较为严重.

面向SAR图像目标分类的CNN模型可视化方法

卷积神经网络(CNN)在合成孔径雷达(SAR)图像目标分类任务中应用广泛。由于网络工作机理不透明,CNN模型难以满足高可靠性实际应用的要求。类激活映射方法常用于可视化CNN模型的决策区域,但现有方法主要基于通道级或空间级类激活权重,且在SAR图像数据集上的应用仍处于起步阶段。基于此,该文从神经元特征提取能力和网络决策依据两个层面出发,提出了一种面向SAR图像的CNN模型可视化方法。首先,基于神经元的激活值,对神经元在其感受野范围内的目标结构学习能力进行可视化,然后提出一种通道-空间混合的类激活映射方法,通过对SAR图像中的重要区域进行定位,为模型的决策过程提供依据。实验结果表明,该方法给出了模型在不同设置下的可解释性分析,有效拓展了卷积神经网络在SAR图像上的可视化应用。

面向CNN的类激活映射算法研究

类激活映射(CAM)是卷积神经网络(CNN)解释中的一种直观的方法,通常由CNN的最后一个卷积层生成,可以突出显示输入图片中目标类的不同区域。之前的CAM方法只依赖于最后的卷积层,生成的解释图只能显示模糊的物体位置信息。提出了一种新的方法即分层加权类激活映射方案(SL-CAM),通过加权合并CNN浅层到深层的信息来生成类激活图。由浅层特征图及其对应的梯度生成的激活图包含详细、准确但噪声大的位置信息;而由深层特征图生成的激活图包含噪声少但模糊的位置信息。在LSVRC2012 Val上的实验表明,SL-CAM多项指标上均优于Grad-CAM、Grad-CAM++和Score-CAM。

类激活映射指导数据增强的细粒度图像分类

细粒度图像分类任务的关键在于获取精细的局部特征,为了充分利用数据价值,提出一种面向视觉注意力的数据增强方法,基于类激活映射图(class activation mapping,CAM)生成具有针对性的扩充图像,进而帮助细粒度分类.根据CAM对输入图像进行注意力区域裁剪和放大;构造一个流场网格对原图进行采样以夸张该区域,裁剪与夸张后的2种扩充数据能够引导模型学习更细微的特征差异;遮挡图像关键区域,从而促使模型学习其他有效特征.该方法只需要图像级标签,无需边界框和部位标注,可以在不引入其他辅助网络的情况下直接进行端到端训练.在3个公开数据集CUB-200-2011,FGVC-Aircraft和Stanford Cars上的实验结果表明,模型特征提取能力得到有效提升,且Top-1准确率指标优于部分现有先进算法.

基于改进R-FCN算法与类激活图的销钉类缺陷细粒度检测

销钉类缺陷常见于输电线路无人机巡检图像中,因图像占比小、缺陷特征不明显等原因,其检测精度低于其他类缺陷。针对该问题,采用基于区域的全卷积神经网络(region-based fully convonlutional networks,R-FCN)算法建立目标检测网络,分析混淆矩阵,确定算法改进策略。首先,通过网格化拆分实现高清晰度图像的预处理;其次,构建类别平衡的大间隔Softmax损失函数,平衡样本数量,增大类间方差,改善网络检测精度;最后,通过类激活映射的方法生成金具级类激活图,提取螺栓背景信息,实现2类易混淆螺栓的细粒度分类。在无人机巡检图像数据集中进行测试,比较所提改进算法与其他经典算法的检测结果,验证了改进R-FCN算法对销钉类缺陷的检测能力。

基于多光谱多尺度类激活映射的弱监督缺陷分割

光伏电池外观缺陷种类多、大小和形状差异较大,标注成本高,这为缺陷分割任务带来困难。为了提高光伏电池外观缺陷的分割性能,文中提出一种基于多光谱多尺度类激活映射的弱监督深度学习网络模型(MMCAM-Net)。首先,提出了多光谱深度学习网络结构,实现了光谱信息的多通道融合,增强了MMCAM-Net网络的精细化特征提取能力;其次,设计了多尺度网络结构,实现缺陷信息的高级特征和低级特征融合,增强了MMCAM-Net的缺陷全局与局部信息提取能力;最后,使用图像级标签的数据集来训练MMCAM-Net,实现了光伏电池表面缺陷的弱监督分割。实验结果表明,该网络模型的缺陷分割平均IoU提高了15%-20%,取得了较好的效果。

基于深层卷积随机配置网络的电熔镁炉工况识别方法研究

为解决电熔镁炉工况识别模型泛化能力和可解释性弱的缺陷,提出一种基于深层卷积随机配置网络(Deep convolutional stochastic configuration networks,DCSCN)的可解释性电熔镁炉异常工况识别方法.首先,基于监督学习机制生成具有物理含义的高斯差分卷积核,采用增量式方法构建深层卷积神经网络(Deep convolutional neural network,DCNN),确保识别误差逐级收敛,避免反向传播算法迭代寻优卷积核参数的过程.定义通道特征图独立系数获取电熔镁炉特征类激活映射图的可视化结果,定义可解释性可信度评测指标,自适应调节深层卷积随机配置网络层级,对不可信样本进行再认知以获取最优工况识别结果.实验结果表明,所提方法较其他方法具有更优的识别精度和可解释性.

基于掩码一致性机制的弱监督图像语义分割研究

语义分割是一项广泛应用于无人驾驶、缺陷检测等场景的计算机视觉技术,但像素级的细粒度标注需要极大的标注成本,所以如何利用易获取的图像级标签进行弱监督语义分割是长期以来的研究重点。相较于仅依靠类激活映射图(class activation maps,CAM)实现像素级分割,提出掩码一致性机制(masked consistency mechanism,MCM)来提供额外的监督信号,以此来缩小全监督和弱监督之间的差距。在全监督语义分割中,网络对图像每一块的掩码预测都具有一致的像素级分割监督,因此在ViT(vision transformer)中屏蔽掉一部分图像块,并要求仅依靠保留的图像块生成的类激活映射图与依靠完整图像生成的类激活映射图一致,以此为网络训练提供额外的自监督信号。在PASCAL VOC 2012和MS COCO上进行的实验表明,本文方法在使用相同监督水平的情况下优于最先进的方法。

DRSTN:深度残差软阈值化网络

在采用深度残差等神经网络模型解决图像分类任务时,特征提取过程损失的一些重要特征会影响模型的分类性能。神经网络“端到端”的学习模式带来的黑盒问题,也会限制其在诸多领域的应用和发展。另外,神经网络模型往往需要较长的训练时间。为了提高深度残差网络模型的分类效果和训练效率,引入了模型迁移方法和软阈值化方法,提出了DRSTN(Deep Residual Soft Thresholding Network)网络,并对此网络结构进行微调,生成了不同版本的DRSTN网络。DRSTN网络的性能得益于3个方面的有机整合:1)通过梯度加权类激活映射(Gradients-weighted Class Activation Mapping,Grad-CAM)方法对网络的特征提取进行可视化,根据可视化结果挑选进一步优化的模型;2)基于模型迁移,研究人员不必全新地搭建模型,可以直接在已有的模型上进行优化,能够节省大量训练时间;3)软阈值化作为非线性变换层嵌入到深度残差网络体系结构中,以消除样本中不相关的特征。实验结果表明,在相同训练条件下,DRSTN_KS(3*3)_RB(2:2:2)网络在CIFAR-10数据集上的分类精度相比SKNet-18,ResNet18和ConvNeXt_tiny网络分别提高了15.5%,8.8%和10.9%;该网络也具有一定的泛化性,在MNIST和Fashion MNIST数据集上能够达到快速的迁移效果,分类精度分别达到99.06%和93.15%。

基于深度学习的DRFM信号识别

针对数字射频存储器(DRFM)产生信号与源信号之间无法有效区分的问题,运用基于小波变换的同步压缩变换将时域的雷达信号转换为时频图,运用深度学习强大的图像识别能力,实现了基于深度学习的源信号与DRFM信号识别,从而解决了在雷达信号处理中无法有效区分回波信号和DRFM欺骗信号以及在雷达干扰识别中基于DRFM的欺骗干扰难以识别的问题。为了验证深度学习过程的可靠性,通过神经网络可解释性算法对训练结果进行了验证和分析。实验结果表明,相比于识别原始信号,识别DRFM信号神经网络需要用到更多的特征,神经网络判断准确率达到了96.33%,识别精度良好。

融合多层次决策信息的视觉解释方法

视觉解释方法是深度神经网络可解释领域的热门研究课题,但现有方法未能有效利用多层次决策信息导致视觉解释效果差。针对此问题,提出一种融合多层次决策信息的视觉解释方法。挖掘特征图中高细粒度局部层次的决策信息生成一组与决策结果相关性强的加权特征图,采用定序分组方式对其合并,获取一组低冗余度掩码;采取模糊边界和积分方法对掩码进行处理,基于全局层次的决策贡献并行计算分组掩码重要度分数,提高了算法对全局决策信息的敏感性和算法速度。通过消融实验确定了算法的最优参数组合,并在ImageNet数据集上与现有的先进视觉解释方法进行了定性和定量比较。实验结果表明:该方法通过结合多层次决策信息,在置信度测试和定位测试中取得了更好的视觉解释结果,且耗时达到68 ms。

面向智能航道巡检的水面目标检测算法

为解决多场景复杂内河背景下水面目标检测存在环境噪声大、水面目标分布情况繁杂、特征微小模糊等问题,提出一种融合多尺度特征和注意力机制,增强类激活映射的水面目标检测算法,称UltraWS水面目标检测算法。在典型检测网络上设计空间注意力模块与多头策略,融合多尺度特征,提高对微小目标的检测能力。其次,提出UltraLU模块增强类激活映射,减小环境因素与分布因素对检测目标的影响。最后,设计对模型进行Tucker张量分解,实现模型轻量化,增强模型的可解释性与推理速度。实验结果表明,所提出的UltraWS算法提高了对背景噪声的抗干扰能力,更好捕捉微小目标,满足边缘化部署的检测速度和准确率均衡性需求。在WSODD数据集上,算法的mAP值取得了最高的84.5%,相较于其他主流方法存在较大提升。基于提出的算法建立航道安全巡检体系与评估方法,有利于推动内河智慧航运的发展。