基于Grad-CAM与KL损失的SSD目标检测算法

鉴于Single Shot Multibox Detector(SSD)算法对中小目标检测时会出现漏检甚至错检的情况,提出一种改进的SSD目标检测算法,以提高中小目标检测的准确性.运用Gradient-weighted Class Activation Mapping(Grad-CAM)技术对检测过程中的细节作可视化处理,并以类激活图的形式呈现各检测层细节,分析各检测层的类激活图发现SSD算法中待检测目标的错检以及中小目标的漏检现象与回归损失函数相关.据此,采用Kullback-Leibler(KL)边框回归损失策略,利用Non Maximum Suppression(NMS)算法输出最终预测框.实验结果表明,改进算法相较于已有检测算法具有更高的准确率以及稳定性.

基于深度学习的DRFM信号识别

针对数字射频存储器(DRFM)产生信号与源信号之间无法有效区分的问题,运用基于小波变换的同步压缩变换将时域的雷达信号转换为时频图,运用深度学习强大的图像识别能力,实现了基于深度学习的源信号与DRFM信号识别,从而解决了在雷达信号处理中无法有效区分回波信号和DRFM欺骗信号以及在雷达干扰识别中基于DRFM的欺骗干扰难以识别的问题。为了验证深度学习过程的可靠性,通过神经网络可解释性算法对训练结果进行了验证和分析。实验结果表明,相比于识别原始信号,识别DRFM信号神经网络需要用到更多的特征,神经网络判断准确率达到了96.33%,识别精度良好。

DRSTN:深度残差软阈值化网络

在采用深度残差等神经网络模型解决图像分类任务时,特征提取过程损失的一些重要特征会影响模型的分类性能。神经网络“端到端”的学习模式带来的黑盒问题,也会限制其在诸多领域的应用和发展。另外,神经网络模型往往需要较长的训练时间。为了提高深度残差网络模型的分类效果和训练效率,引入了模型迁移方法和软阈值化方法,提出了DRSTN(Deep Residual Soft Thresholding Network)网络,并对此网络结构进行微调,生成了不同版本的DRSTN网络。DRSTN网络的性能得益于3个方面的有机整合:1)通过梯度加权类激活映射(Gradients-weighted Class Activation Mapping,Grad-CAM)方法对网络的特征提取进行可视化,根据可视化结果挑选进一步优化的模型;2)基于模型迁移,研究人员不必全新地搭建模型,可以直接在已有的模型上进行优化,能够节省大量训练时间;3)软阈值化作为非线性变换层嵌入到深度残差网络体系结构中,以消除样本中不相关的特征。实验结果表明,在相同训练条件下,DRSTN_KS(3*3)_RB(2:2:2)网络在CIFAR-10数据集上的分类精度相比SKNet-18,ResNet18和ConvNeXt_tiny网络分别提高了15.5%,8.8%和10.9%;该网络也具有一定的泛化性,在MNIST和Fashion MNIST数据集上能够达到快速的迁移效果,分类精度分别达到99.06%和93.15%。

深度学习在内镜下内痔诊断及危险分级中的应用

目的建立内镜下内痔诊断及危险分级的深度学习模型,探讨人工智能辅助内镜下内痔诊疗的可行性。方法收集该院内镜中心的肛齿状线上倒镜图片,分为内痔组和正常组(A任务);根据LDRf分级标准,将内痔组进一步分为Rf0组、Rf1组和Rf2组(B任务)。选取基于卷积神经网络(CNN)框架的Xception、ResNet和EfficientNet,以及基于Transformer框架的ViT和ConvMixer等5个神经网络,建立针对A、B两项计算机视觉任务的深度学习模型。模型评价指标包括准确率、召回率、精确度、F1值和读片时间。将深度学习模型的读片表现与两位不同年资内镜医生进行比较。结果5种深度学习模型在A与B任务测试集中皆展现出较好的准确性。其中,最优模型为ConvMixer,准确性最高(0.961和0.911),其次为EfficientNet(0.956和0.901),均优于高年资内镜医生(0.952和0.881)和低年资内镜医生(0.913和0.832)。同时,所有深度学习模型在验证集中读片用时均<10 s,速度快于内镜医生(均>300 s)。此外,笔者采用梯度加权分类激活映射(Grad-CAM)方法突出图像中对模型判断较重要的区域。结论建立的内痔诊断及危险分级的深度学习模型,其表现优于内镜医生。基于深度学习的计算机视觉模型可辅助内镜医师进行内痔诊断和分级,展现出潜在的临床应用前景。

基于ResNet的可解释性计算机视觉模型在内镜下内痔评估中的应用

目的为克服深度学习模型黑盒不可解释的缺点,本研究旨在探讨可解释性计算机视觉模型在内镜下内痔诊断及危险分级中的应用。方法收集苏州大学附属第一医院内镜中心的肛齿状线上倒镜图片,分为内痔组和正常组;根据LDRf分级标准,对内痔组进一步分级为Rf0、Rf1及Rf2三组。针对有无内痔、红色征、糜烂、血栓及活动性出血,构建基于ResNet50V2的可解释化模型,并利用江苏大学附属金坛医院内镜中心的内镜图片进行外部验证。使用准确性、敏感性、特异性以及F1值等指标对比可解释化模型与传统深度学习黑盒模型的表现,并与两位不同年资内镜医生进行比较。结果ResNet可解释化模型的准确性为0.957、敏感性为0.978、特异性为0.974,F1值为0.958,其准确性高于黑盒模型的0.938,高年资内镜医生的0.933及低年资医生的0.907。此外,模型采用Grad-CAM方法突出图像中对模型推理依据的区域。结论本研究通过收集内镜下肛齿状线上倒镜图像,构建可解释化计算机视觉模型并进行外部验证,提示该模型在内镜下内痔诊断与评级中表现优于传统深度学习黑盒模型。该模型在未来临床内镜诊疗中具有良好应用前景。

基于深度学习的内镜肠道准备评分模型的建立

目的基于深度学习算法构建内镜肠道准备评分的计算机视觉模型。方法收集苏州大学附属第一医院消化内镜中心(600张)及HyperKvasir数据库(1794张)的内镜图片共2394张,根据Boston肠道准备量表完成肠道清洁度评分(0~3分,四分类),按6∶2∶2随机分为训练集(1439张)、验证集(478张)和测试集(477张)。选取3种深度学习网络(DenseNet169、DenseNet121、EfficientNet B3),利用迁移学习方式训练肠道准备分类模型,并采用测试集的混淆矩阵等指标评价模型分类能力,与高、低年资医师的分类能力进行对比。结果成功构建3个基于深度学习的肠道准备分类模型。各模型的分类准确度均较高,平均分类准确度为0.897,近似于低年资内镜医师(0.914),低于高年资内镜医师(0.941)的分类表现。其中,DenseNet169模型表现最好,分类准确度(0.914)及平均精确度(0.892)均为最高。此外,采用梯度加权分类激活映射算法,用热力图形式对模型的分类推理进行可视化呈现。结论运用深度学习算法构建的内镜肠道准备分类模型具有可行性,可通过多中心研究扩大样本来源进一步提高模型的分类及泛化能力。

基于声成像与卷积神经网络的轴承故障诊断方法及其可解释性研究

常用的振动诊断技术一般采用接触式测量,在测量受限的场合具有一定的局限性。该研究提出一种具有非接触测量优势的基于声成像与卷积神经网络的滚动轴承声学故障诊断方法。首先,利用传声器阵列获取滚动轴承辐射的空间声场;然后,用波叠加法进行声成像,重建后的声像能够描述声场的空间分布信息;最后,建立卷积神经网络(convolutional neural network,CNN),使用不同轴承运行状态下的声像样本对CNN模型进行训练用于故障诊断。同时,针对深度学习模型的诊断结果缺乏可解释性的问题,采用梯度加权类激活图(gradient-weighted class activation map,Grad-CAM)算法对卷积神经网络在基于声像的轴承故障诊断中的可解释性进行了研究。轴承试验台的声阵列数据验证了所提方法的有效性及优越性。

基于梯度加权类激活热力图的卷积神经网络故障诊断模型鲁棒性分析

深度学习近年来在故障诊断领域受到广泛应用,但基于深度学习的故障诊断模型缺乏工程上的物理解释性,难以保证其故障诊断结果的稳定性。以轴承为例,建立了以小波时频图像为故障诊断依据的卷积神经网络模型(convolutional neural network,CNN),提出了一种基于梯度加权类激活热力图(gradient-weighted class activation map,Grad-CAM)的网络模型鲁棒性分析方法,并利用美国凯斯西储大学(Case Western Reserve University,CWRU)轴承数据集进行验证。首先,将故障直径轴承数据以不同方式混合并训练大、小多个模型。其次,利用Grad-CAM方法,建立时频区域与故障模式之间的联系。最后,利用其他工况下的轴承故障数据,以及含噪数据进行测试,并根据结果结合模型最注重的时频区域进行分析。结果表明,基于深度学习的轴承故障诊断模型在参数较少时更加注重低频区域,并能使其具有更好的鲁棒性。

基于可解释卷积神经网络的胚胎血管新生时间模式研究

理解血管网络新生的时间模式,有助于生物体发育机制研究和肿瘤等疾病的生理病理研究。提出以可解释卷积神经网络(CNN)研究鸡胚胎卵黄膜的血管新生时间模式的方法。基于CNN建立受精3 d后(3dpf)和4 d后(4dpf)的鸡胚胎血管网络图像的分类模型,以梯度加权的类激活映射(Grad-CAM)技术解释发育过程中血管网络形态拓扑的变化模式,并以此分类模型分析3dpf^4dpf之间血管新生的时间特性。实验共计观察17枚受精卵,结果显示最优模型区分3dpf与4dpf的血管图像的准确率达到98.62%。通过Grad-CAM技术对不同时期血管图像的特征进行可视化,发现3dpf^4dpf的发育过程主要表现为毛细血管网的生长发育。这些鸡胚胎卵黄膜在3dpf^4dpf时间段内,前12 h血管新生较为剧烈,随后趋于平稳。这些结果可为血管新生研究提供新的技术手段,并辅助血管新生机制、肿瘤发病机理和器官衰老过程等的相关研究。

基于脑电空间域表征可视化的情感识别研究

鉴于情感脑电蕴含丰富的空间模式特征,提出一种基于二维空间域表征可视化的情感识别方法。首先,提取多通道脑电Gamma频段的微分熵(Differential Entropy,DE)特征并根据导联位置映射至9×9的二维空间进行拓扑重构,使用三次插值方法进一步提高空间域特征图的分辨率;然后,针对性地设计了一种深度残差网络(Residual Network,ResNet)模型作为情感脑电解码器对情感脑电信号(Electroencephalogram,EEG)进行深层抽象特征的自动提取和端到端分类;最后,通过梯度加权类激活映射(Gradient-weighted Class Activation Mapping,Grad-CAM)方法对输入特征图进行可解释性分析,依据热力图分布定位对特定情感状态识别具有较大贡献的空间脑区。在SEED数据集上进行了相关情感识别实验,三种情感类别分类平均准确率为94.88%,达到了较先进的性能。

基于深度学习的癫痫脑电信号分类

有效地分析处理癫痫脑电信号并对其准确分类可以进一步完善癫痫检测问题。因此,各种深度学习方法逐渐应用到该问题中,如使用BiLSTM模型对癫痫脑电的一维时间序列数据进行处理。为进一步提高癫痫脑电分类的准确率,本文将癫痫脑电的一维时间序列数据转换为二维图像,使用EfficientNetV2模型来实现癫痫检测的二分类。同时,引入梯度加权类激活映射(Gradient⁃weighted class activation mapping,Grad⁃CAM)对二维图像分类进行可视化分析。对德国伯恩大学脑电癫痫脑电信号数据集的预处理版本进行分类实验,EfficientNetV2模型的准确率达到了98.69%,优于BiLSTM模型。结果表明,EfficientNetV2模型可以有效通过二维脑电图像实现癫痫脑电分类,而且分类准确率更高。

基于CNN的键盘电磁信息泄漏识别检测方法

针对键盘电磁信息安全问题,分析了PS/2键盘的工作原理以及信号特征,提出一种基于深度学习的检测方法。该方法针对键盘设备的电磁泄漏信号特征,对卷积神经网络(CNN)结构进行了适应性调整;结合改进的梯度加权类激活映射方法,实现了对键盘电磁信息的智能识别和精准定位。对4个按键的电磁信号进行测试,分类准确率达到了98%;在噪声环境下的分类准确率也达到了81%。将梯度加权类激活映射方法及其改进方法对键盘电磁信息的定位效果进行了对比,实验结果证明改进后的方法定位效果更佳。

基于类激活映射的可解释性方法在农作物检测识别中的发展现状与趋势

深度学习模型被广泛应用于农作物检测和识别领域,其优势在于通过构建不同的功能感知层而优化模型,能够自动提取输入数据的特征,实现端到端地学习。但是该模型中未知的数据处理过程导致模型缺乏可解释性,成为阻碍深度学习应用的主要因素。为克服深度学习模型可解释性不足的缺陷,研究者提出了基于类激活映射的可解释性方法。概述了类激活映射算法Grad-CAM在农作物病害分类和检测、农作物虫害检测识别、农作物品种分类、目标农作物检测以及其他应用上的研究进展,说明了类激活映射算法具有能够可视化任意结构卷积神经网络的优点,分析了类激活映射算法存在解释精细度不高、梯度不稳定、缺乏评估标准以及应用背景单一的不足,提出了构建既具有高准确率又具有可解释性的模型、构建新型解释算法、建立可解释性算法统一的评估标准和保证可解释性算法正确性的发展趋势。

基于高光谱成像技术的陈皮年份快速鉴别

陈皮具有较好的经济价值与药用价值,但目前市场上假冒伪劣、以次充好的现象严重。尤其是陈皮陈化年份作为衡量陈皮品质的重要指标,采用人工检测方法准确率与效率较低。为此,本文采用高光谱成像技术结合深度学习方法,建立陈皮陈化年份的快速无损鉴别方法。采集4类不同陈化年份的480个陈皮样本的近红外高光谱数据(波长范围为935.61~1720.23 nm),并采用轻量化卷积网络1D-Rep网络建立分类模型。在此网络基础上,提出基于多层梯度加权类激活映射(M-Grad-CAM)的特征波段选择方法,并建立特征波段分类模型。该方法综合加权多个Rep-block层的梯度生成波段重要性曲线,从而实现融合波段领域相关性与远程相关性的波段重要性指示。为验证方法有效性,采用基于偏最小二乘判别分析(PLS-DA)、随机森林(RF)、支持向量机(SVM)等机器学习方法获得的特征波段作为对比方法。结果表明,1D-Rep全波段光谱模型准确率达到98.55%。在特征波段建模的情况下,采用M-Grad-CAM选取特征波长,基于前9个特征波段建立分类模型准确率可超过90%,在20个特征波段时达到96.82%,准确率显著优于其他对比模型。本研究采用高光谱成像技术,可有效对不同年份的陈皮进行无损鉴别,并为开发便携检测仪器提供方法和理论依据。

基于Deeplab-MV3的三七垄间导航线提取算法研究

针对田间路径语义分割算法在复杂场景中识别准确率低、时滞大,现有的导航线提取算法在三七种植场景中适用性差的问题,本文以改进的轻量化Deeplab-MV3模型识别垄径区域,并提出一种结合分段外接框质心生成导航定位点和多段三次B样条曲线的导航中线提取方法,实现对三七垄径导航线的准确高效提取.在三七田间数据集上训练模型并通过梯度加权类激活映射法分析Deeplab-MV3的各部分模块改进的有效性,测试集上模型垄间识别的平均交并比为74.80%,像素准确率为94.53%,参数量为3.086×10~6,模型推理速度为55.44帧/s,满足部署到移动设备的识别准确性和模型轻量化要求.开展三七垄间导航线提取实验,结果表明本文算法的平均像素偏差为5.32像素,误差占比的平均偏差为0.91%,偏航角平均偏差为1.27°,相较于使用Canny算子边缘提取的中点的导航线拟合法的导航精度有所提高.实验结果可为复杂道路田间环境的导航线提取以及农机导航设备提供研究基础.