DRSTN:深度残差软阈值化网络

在采用深度残差等神经网络模型解决图像分类任务时,特征提取过程损失的一些重要特征会影响模型的分类性能。神经网络“端到端”的学习模式带来的黑盒问题,也会限制其在诸多领域的应用和发展。另外,神经网络模型往往需要较长的训练时间。为了提高深度残差网络模型的分类效果和训练效率,引入了模型迁移方法和软阈值化方法,提出了DRSTN(Deep Residual Soft Thresholding Network)网络,并对此网络结构进行微调,生成了不同版本的DRSTN网络。DRSTN网络的性能得益于3个方面的有机整合:1)通过梯度加权类激活映射(Gradients-weighted Class Activation Mapping,Grad-CAM)方法对网络的特征提取进行可视化,根据可视化结果挑选进一步优化的模型;2)基于模型迁移,研究人员不必全新地搭建模型,可以直接在已有的模型上进行优化,能够节省大量训练时间;3)软阈值化作为非线性变换层嵌入到深度残差网络体系结构中,以消除样本中不相关的特征。实验结果表明,在相同训练条件下,DRSTN_KS(3*3)_RB(2:2:2)网络在CIFAR-10数据集上的分类精度相比SKNet-18,ResNet18和ConvNeXt_tiny网络分别提高了15.5%,8.8%和10.9%;该网络也具有一定的泛化性,在MNIST和Fashion MNIST数据集上能够达到快速的迁移效果,分类精度分别达到99.06%和93.15%。

基于深度学习的DRFM信号识别

针对数字射频存储器(DRFM)产生信号与源信号之间无法有效区分的问题,运用基于小波变换的同步压缩变换将时域的雷达信号转换为时频图,运用深度学习强大的图像识别能力,实现了基于深度学习的源信号与DRFM信号识别,从而解决了在雷达信号处理中无法有效区分回波信号和DRFM欺骗信号以及在雷达干扰识别中基于DRFM的欺骗干扰难以识别的问题。为了验证深度学习过程的可靠性,通过神经网络可解释性算法对训练结果进行了验证和分析。实验结果表明,相比于识别原始信号,识别DRFM信号神经网络需要用到更多的特征,神经网络判断准确率达到了96.33%,识别精度良好。

基于深度学习的癫痫脑电信号分类

有效地分析处理癫痫脑电信号并对其准确分类可以进一步完善癫痫检测问题。因此,各种深度学习方法逐渐应用到该问题中,如使用BiLSTM模型对癫痫脑电的一维时间序列数据进行处理。为进一步提高癫痫脑电分类的准确率,本文将癫痫脑电的一维时间序列数据转换为二维图像,使用EfficientNetV2模型来实现癫痫检测的二分类。同时,引入梯度加权类激活映射(Gradient⁃weighted class activation mapping,Grad⁃CAM)对二维图像分类进行可视化分析。对德国伯恩大学脑电癫痫脑电信号数据集的预处理版本进行分类实验,EfficientNetV2模型的准确率达到了98.69%,优于BiLSTM模型。结果表明,EfficientNetV2模型可以有效通过二维脑电图像实现癫痫脑电分类,而且分类准确率更高。

基于脑电空间域表征可视化的情感识别研究

鉴于情感脑电蕴含丰富的空间模式特征,提出一种基于二维空间域表征可视化的情感识别方法。首先,提取多通道脑电Gamma频段的微分熵(Differential Entropy,DE)特征并根据导联位置映射至9×9的二维空间进行拓扑重构,使用三次插值方法进一步提高空间域特征图的分辨率;然后,针对性地设计了一种深度残差网络(Residual Network,ResNet)模型作为情感脑电解码器对情感脑电信号(Electroencephalogram,EEG)进行深层抽象特征的自动提取和端到端分类;最后,通过梯度加权类激活映射(Gradient-weighted Class Activation Mapping,Grad-CAM)方法对输入特征图进行可解释性分析,依据热力图分布定位对特定情感状态识别具有较大贡献的空间脑区。在SEED数据集上进行了相关情感识别实验,三种情感类别分类平均准确率为94.88%,达到了较先进的性能。

基于CNN的键盘电磁信息泄漏识别检测方法

针对键盘电磁信息安全问题,分析了PS/2键盘的工作原理以及信号特征,提出一种基于深度学习的检测方法。该方法针对键盘设备的电磁泄漏信号特征,对卷积神经网络(CNN)结构进行了适应性调整;结合改进的梯度加权类激活映射方法,实现了对键盘电磁信息的智能识别和精准定位。对4个按键的电磁信号进行测试,分类准确率达到了98%;在噪声环境下的分类准确率也达到了81%。将梯度加权类激活映射方法及其改进方法对键盘电磁信息的定位效果进行了对比,实验结果证明改进后的方法定位效果更佳。

基于Sigmoid的轴承多任务故障诊断

深度学习方法在旋转机械的故障诊断领域应用广泛,效果良好。但值得注意的是,大部分模型局限于分类几种故障,是一种简单的单任务分类。提出一种基于卷积神经网络的多任务分类模型,同时诊断故障类型和程度。采用Grad-CAM(Gradient-weighted Class Activation Mapping,梯度类激活映射)方法可视化深度模型中隐含层的关注信号的特征,定位模型感兴趣的信号段,从视觉上解释深度学习模型区分类别的关键特征。采用公开的轴承数据集验证方法的有效性,为进一步探讨深度学习模型的可解释性提供新思路。

基于深度学习的t-fMRI脑状态解码

针对传统方法在解码大脑状态中由特征提取带来的可重复性差和耗时问题,采用基于3D卷积神经网络(3D-CNN)模型对任务态功能磁共振成像(t-fMRI)进行分类,从不同数据粒度分别采用梯度加权类激活映射(GradCAM)算法和导向梯度加权类激活映射(Guided Grad-CAM)算法探索分类结果与大脑不同脑区的功能相关性。采用4种不同t-f MRI数据验证算法的有效性,结果显示:3D-CNN分类模型准确度达97.8%,特征可视化能够准确映射到分类结果对应的功能脑区,且可有效解码大脑任务状态。

基于可解释卷积神经网络的胚胎血管新生时间模式研究

理解血管网络新生的时间模式,有助于生物体发育机制研究和肿瘤等疾病的生理病理研究。提出以可解释卷积神经网络(CNN)研究鸡胚胎卵黄膜的血管新生时间模式的方法。基于CNN建立受精3 d后(3dpf)和4 d后(4dpf)的鸡胚胎血管网络图像的分类模型,以梯度加权的类激活映射(Grad-CAM)技术解释发育过程中血管网络形态拓扑的变化模式,并以此分类模型分析3dpf^4dpf之间血管新生的时间特性。实验共计观察17枚受精卵,结果显示最优模型区分3dpf与4dpf的血管图像的准确率达到98.62%。通过Grad-CAM技术对不同时期血管图像的特征进行可视化,发现3dpf^4dpf的发育过程主要表现为毛细血管网的生长发育。这些鸡胚胎卵黄膜在3dpf^4dpf时间段内,前12 h血管新生较为剧烈,随后趋于平稳。这些结果可为血管新生研究提供新的技术手段,并辅助血管新生机制、肿瘤发病机理和器官衰老过程等的相关研究。

基于Deeplab-MV3的三七垄间导航线提取算法研究

针对田间路径语义分割算法在复杂场景中识别准确率低、时滞大,现有的导航线提取算法在三七种植场景中适用性差的问题,本文以改进的轻量化Deeplab-MV3模型识别垄径区域,并提出一种结合分段外接框质心生成导航定位点和多段三次B样条曲线的导航中线提取方法,实现对三七垄径导航线的准确高效提取.在三七田间数据集上训练模型并通过梯度加权类激活映射法分析Deeplab-MV3的各部分模块改进的有效性,测试集上模型垄间识别的平均交并比为74.80%,像素准确率为94.53%,参数量为3.086×10~6,模型推理速度为55.44帧/s,满足部署到移动设备的识别准确性和模型轻量化要求.开展三七垄间导航线提取实验,结果表明本文算法的平均像素偏差为5.32像素,误差占比的平均偏差为0.91%,偏航角平均偏差为1.27°,相较于使用Canny算子边缘提取的中点的导航线拟合法的导航精度有所提高.实验结果可为复杂道路田间环境的导航线提取以及农机导航设备提供研究基础.