DRSTN:深度残差软阈值化网络

在采用深度残差等神经网络模型解决图像分类任务时,特征提取过程损失的一些重要特征会影响模型的分类性能。神经网络“端到端”的学习模式带来的黑盒问题,也会限制其在诸多领域的应用和发展。另外,神经网络模型往往需要较长的训练时间。为了提高深度残差网络模型的分类效果和训练效率,引入了模型迁移方法和软阈值化方法,提出了DRSTN(Deep Residual Soft Thresholding Network)网络,并对此网络结构进行微调,生成了不同版本的DRSTN网络。DRSTN网络的性能得益于3个方面的有机整合:1)通过梯度加权类激活映射(Gradients-weighted Class Activation Mapping,Grad-CAM)方法对网络的特征提取进行可视化,根据可视化结果挑选进一步优化的模型;2)基于模型迁移,研究人员不必全新地搭建模型,可以直接在已有的模型上进行优化,能够节省大量训练时间;3)软阈值化作为非线性变换层嵌入到深度残差网络体系结构中,以消除样本中不相关的特征。实验结果表明,在相同训练条件下,DRSTN_KS(3*3)_RB(2:2:2)网络在CIFAR-10数据集上的分类精度相比SKNet-18,ResNet18和ConvNeXt_tiny网络分别提高了15.5%,8.8%和10.9%;该网络也具有一定的泛化性,在MNIST和Fashion MNIST数据集上能够达到快速的迁移效果,分类精度分别达到99.06%和93.15%。

软阈值时序卷积网络在冷水机组传感器故障诊断中的应用

为了提高冷水机组传感器的故障诊断性能,提出了一种基于软阈值时序卷积网络的编码-解码器重构模型(ST-TCN),并建立基于该模型的传感器故障诊断方法。采用时序卷积网络(TCN)充分挖掘冷水机组传感器的时间相关性、热力学物理量间的数据相关性以及动态响应差异性特征。在TCN的残差块中引入软阈值自适应模块剔除冗余信息,降低噪声干扰。依托ST-TCN模型“端到端”的网络结构优势,将绝对重构残差向量与故障阈值向量进行比较,直接定位故障传感器。在实际压缩式冷水机组平台上采集传感器数据进行实验,结果表明,软阈值自适应模块能有效地增强网络模型的重构能力,从而提高故障传感器的诊断性能。以压缩机吸气温度传感器T1为例,ST-TCN的平均偏差故障识别率比改进前提升了45.9%;与其他故障诊断方法相比,所提的最新框架获得了较高的偏差故障识别率。

DRSN与集成融合的OFDM辐射源个体识别方法

针对在低信噪下通信辐射源识别率低的问题,提出一种DRSN(Deep Residual Shrinkage Networks)与集成融合的OFDM辐射源个体识别方法。首先,从OFDM发射机产生信号的原理出发,对可能产生OFDM发射机指纹差异的来源进行分析,对相邻帧OFDM信号做相干积累,有效提升OFDM信号的信噪比,通过截取OFDM前导信号,减少因传输内容差异所带来的影响,对OFDM前导信号进行功率累加和双谱对角切片信号处理,构建OFDM前导信号的多域数据集;随后,将OFDM前导信号多域数据分别送入具有自动软阈值化去噪和具有跨层连接结构防止梯度消失的DRSN网络进行训练,有效减少噪声对发射机指纹信号的干扰和避免阈值设置不佳所带来识别效果不佳的问题,并且在DRSN网络训练时采用5折交叉验证的策略,防止网络训练中出现过拟合的现象,利用Stacking集成学习思想实现3个DRSN网络初级预测结果的融合;最后,将融合结果作为次级数据送入逻辑回归LR(Logistic Regression)次级线性分类器,利用ECOC(Error Correcting Output Code)策略将多分类任务转为二分类任务,对样本类别进行编码,当测试样本经过二分类器获得一组预测类别编码后,通过计算样本类别编码与预测类别编码之间的欧式距离,根据最小欧式距离所属类别来确定最终分类结果。在公开数据集上的实验结果表明:对比其他深度学习的方法,信噪比为5 dB和0 dB时,DRSN与集成融合的OFDM辐射源识别的准确率分别为97%和95.88%,并且具有较低的复杂度,能够验证在低信噪比下该方法的有效性。

基于双阶段特征提取网络的ECG降噪分类算法

临床采集到的标准12导联心电图常含有噪声,影响了心电信号分类结果的准确度,为此提出了一种基于双阶段特征提取网络的心电图(ECG)降噪分类算法。首先,在空间特征提取阶段,由深度耦合软阈值化去噪方法的残差收缩网络从输入的12导联标准心电信号中提取空间特征;其次,在时间特征提取阶段,由长短期记忆网络与注意力机制结合继续从心电信号中提取时间特征;最后,通过全连接网络层融合提取到的空间特征与时间特征,输出9个类别的概率预测分布。在CPSC2018数据集上与其他同类型先进分类算法进行了对比实验,验证所提算法的效果,实验结果表明:提出的分类算法在对9类ECG信号进行分类时平均F1分数达到0.854,在各项指标上表现更优。此外,实验证明所提算法在含噪数据中的表现也优于其他主流网络,充分证明了所提算法对于含噪心电信号的降噪分类性能,该算法也可应用于其他类似含噪声生理信号的分析和处理。

短时傅里叶变换结合DRSN的滚动轴承故障诊断研究

针对滚动轴承在复杂噪声环境下故障分类困难等问题,文章提出一种短时傅里叶变换(STFT)和深度残差收缩网络(DRSN)相结合的轴承故障诊断方法。首先利用短时傅里叶变换对滚动轴承原始振动信号进行时域频域处理得到信息更丰富的故障时频图样本,分为训练集和测试集;将软阈值模块引入到深度残差网络残差块中,其中的残差连接和软阈值模块能够滤除噪声并提取样本特征中的有效信息,输出到分类器上完成端对端的高准确率轴承故障分类。为验证所提方法的可行性,将该方法与其他模型作对比,实验结果表明,该方法在强噪声干扰下能表现出较高的分类性能,稳定性优于其他模型。

基于DRSN的通信信号调制方式识别方法

针对现有的通信信号调制方式识别方法在低信噪比(Signal to Noise Ratio, SNR)条件下存在的识别率较低、调制类型较少和信道类型不够丰富等问题,提出了一种基于深度残差收缩网络(Deep Residual Shrinkage Network, DRSN)的通信信号调制方式识别方法。根据调制识别领域的特点,构建改进的深度残差收缩网络模型,充分利用该网络的注意力机制和软阈值化进行降噪处理,提高模型在低SNR条件下的调制识别能力。实验结果表明,相比残差网络(Residual Network, ResNet)、卷积长短时深度神经网络(Convolutional Long-short-term Deep Neural Network, CLDNN)和卷积门控循环深度神经网络(Convolutional Gated recurrent Deep Neural Network, CGDNN)模型,所提方法在低SNR和5种信道类型条件下对26种调制信号的识别中有效地降低了噪声的影响,在4 dB以上时识别率达到了91.70%,10 dB时识别率在98%以上,取得了较好的识别表现。

基于改进深度残差收缩网络的旋转机械故障诊断

旋转机械振动信号在多层深度学习过程中会出现退化和过拟合现象,同时含噪数据样本也会使模型故障诊断正确率偏低,数据样本不平衡会引起模型训练具有倾向性,针对以上一系列问题,提出了一种基于改进型深度残差收缩网络(DRSN)的旋转机械故障诊断方法。首先,对多故障、长时间序列数据样本进行了矩阵化处理,得到了模型容易接受的多维度灰度图故障样本;针对旋转机械从正常状态到故障状态的机械老化过程,采用了多点随机采样方法,构建了全寿命周期数据样本,用于后续的故障诊断;然后,在卷积神经网络(CNN)的基础上,通过引入残差项、注意力机制和焦点损失函数,构建起了多层深度残差收缩网络,对旋转机械进行了故障诊断(其中,残差项降低了训练过程中样本数据的特征损失,避免了模型的退化和过拟合;注意力机制和软阈值化自动设置噪声阈值,降低了噪声对故障诊断精度的影响;焦点损失函数修正了模型训练的倾向性,提高了模型训练效率和灵敏性);最后,利用滚动轴承数据库样本对模型的性能进行了实例验证。研究结果表明:DRSN模型在训练过程中没有出现明显的退化现象,能够始终保持较高的训练效率和故障诊断精度,有效避免了噪声干扰,在不平衡数据集上修正了模型训练的倾向性。与其他模型相比较,DRSN多层模型的平均故障诊断精度提高约1%~6%。

基于深度残差收缩网络的信号调制类型识别

针对信号调制类型识别问题,提出一种基于深度残差收缩网络(DRSN)的识别方法。算法将原始的IQ两路时域信号数据直接输入网络,利用DRSN来学习时域序列中的调制特征以识别信号调制类型。与现有算法相比,该算法的网络输入为原始时域序列数据,特征提取和识别均在网络中进行,避免了人工特征提取的不完备性;借助DRSN的软阈值化和注意力机制,可有效抑制噪声干扰,从而提高网络从含噪声环境中提取有用特征的能力。仿真实验验证该算法的有效性和优越性。

基于残差收缩网络的关系抽取算法

针对关系抽取中句子内部单词干扰产生的噪声问题,提出了一种基于软阈值模块的残差收缩网络的改进算法。首先,在残差网络的各个特征通道训练阈值,该阈值具备两个特点,一是其绝对值不能过大,过大将会剔除有效信息;二是该阈值对于不同的输入训练有不同的结果。然后,根据软阈值化的特性,将通道特征中小于阈值的部分删除,大于阈值的部分减小,相较于直接删除负面特性,软阈值可以保存负面特性中有用的信息。最后,额外加入注意力模块优化模型,该模块可以降低远程监督中错误标签问题对实验的影响。选取分段卷积神经网络(PCNN)、双向长短期记忆神经(BiLSTM)网络和普通残差网络(ResNet)作为基线模型进行对比实验,实验结果表明,所提模型的精确率-召回率曲线包含了基线模型的曲线,且F1值相较于基准模型分别提高了6.0个百分点、3.9个百分点和1.4个百分点,验证了加入软阈值化的网络模型可以通过减少句内噪声的方式提高关系抽取的准确性。

基于CWD和残差收缩网络的调制方式识别方法

针对低信噪比时莱斯信道下特征提取准确性难以保证、识别准确率偏低等问题,提出一种基于Choi-Williams分布(Choi-Williams distribution,CWD)和深度残差收缩网络(deep residual shrinkage network,DRSN)的通信辐射源信号调制方式识别方法。利用CWD将时域复信号转换为二维时频矩阵,对深度残差网络添加软阈值化得到DRSN,将时频矩阵样本用于对DRSN的训练,最终构建不同信噪比下的调制方式识别网络。仿真实验表明,基于RadioML2016.10a数据集,利用部分先验信息的情况下,该分类识别方法具有较高的识别准确率和噪声鲁棒性。在0 dB时,对11类信号的总体识别准确率达到了89.95%;在2 dB以上时,总体识别准确率均超过91%,优于其他深度学习识别方法。

基于深度残差收缩网络的辐射源个体识别方法

辐射源个体识别是电子对抗领域中的重要技术,通过识别设备间不同细微特征从而达到区分非法设备与合法设备的目的。针对辐射源个体间指纹特征差异细微且在噪声干扰下提取特征较少的问题,提出了一种基于深度残差收缩网络的辐射源个体识别方法。该方法首先将I/Q图特征数据进行拼接,利用数据增强技术进行样本扩充,进而构建了深度残差收缩网络识别模型,最后对构建的模型进行ADS-B辐射源个体识别训练并进行识别效果评估。仿真结果表明,本文构建的深度残差收缩网络通过消除数据噪声的优势,对数据增强后的20类ADS-B辐射源个体在0 dB的低信噪比条件下总体识别准确率达到98.2%,其性能较相同层数的Resnet网络提高了1.3%,并明显优于现有其他方法。

基于深度残差收缩网络的滚动轴承故障诊断

滚动轴承的准确故障诊断是确保机械设备安全可靠运行的必要手段。针对多故障、长时间序列的滚动轴承振动信号,提出了一种基于深度残差收缩网络(DRSN)模型的故障诊断方法。首先,根据采集到的滚动轴承数据构造故障样本,针对多种故障类型下的长时间序列的振动信号,按照一定尺寸将长时间序列矩阵化,构成多故障类型的灰度图故障样本。从正常到故障的滚动轴承性能退化过程,通过多个采样点的随机采样,构造全寿命周期的故障样本用于故障诊断。其次,在多层深度学习模型基础上,将残差收缩网络模块加入到卷积神经网络(CNN)中构建深度残差收缩网络模型用于故障诊断,其中通过将残差项加入到网络中训练解决了多层网络模型的模型退化问题,利用软阈值化实现了样本降噪。最后,为了验证所提方法的有效性,采集了滚动轴承的多故障时间序列样本和全寿命周期故障样本用于故障诊断。实例验证的结果表明:所提深度残差收缩网络模型在处理含噪声样本时仍具有良好的鲁棒性,多层网络模型下没有明显的网络退化,能够保持较高的故障诊断正确率。在处理2种轴承故障数据集时,与其他模型相比,所提方法训练误差更低,平均故障诊断正确率提高1%~6%。

基于深度残差收缩注意力网络的雷达信号识别方法

针对低信噪比条件下雷达信号识别率低,以及分类网络不具备识别样本库新添加信号类型的局限,提出了一种基于深度残差收缩注意力网络的雷达信号识别方法。通过网络将一维雷达信号映射到32维向量空间。网络中的残差连接能有效强化特征的传播能力,解决网络过深无法训练的问题;注意力机制的引入,不仅构建掩码支路充当主干支路的特征选择器,还能够帮助网络自适应地选择合适的阈值进行软阈值化,从而减少网络中噪声或者冗余信息的影响,提高网络对噪声的鲁棒性。训练过程中排序表损失(ranked list loss,RLL)和分类损失函数共同指导网络训练。RLL能够有效克服传统度量学习损失函数忽略类内特征的问题,分类损失函数能够弥补度量损失优化下对样本整体分布不敏感的问题。实验表明,该方法在提高低信噪比雷达信号识别准确率的同时仍具有识别样本库新添加信号类型的能力。

基于改进UNet++模型的葡萄黑腐病病斑分割和病害程度分级

为了解决葡萄病害图像边缘分割模糊和发病初期分割难的问题,基于PlantVillage数据集中的葡萄黑腐病图像,提出一种基于改进UNet++的葡萄黑腐病病斑分割模型。该模型在提取图像特征时:一方面,采用自适应软阈值化方法消除噪声影响,提高葡萄病斑边缘的分割精度;另一方面,采用长、短连接结合的方式构建UNet++中的跳跃式连接结构,降低模型的计算复杂度。同时,在模型的横向输出层中融合多尺度特征,增强病斑的语义信息,进一步提高目标分割精度。在该模型的损失函数中,将Dice损失函数和交叉熵损失函数进行线性加权组合,以解决病斑像素面积与叶片面积不平衡的问题。采用五折交叉验证进行模型训练与测试。结果显示,本文模型的像素准确率达到98.433%,平均交并比达到92.056%,病斑交并比为81.230%,Dice系数为0.941,均优于传统的UNet++模型。采用病斑占叶面积的比例对病害程度进行分级。结果表明,本文模型对病害等级的划分准确率达97.41%。该模型能精确实现对葡萄黑腐病病斑边缘和小病斑的分割,以及病害程度分级,具有良好的稳健性。

融合注意力机制的电机故障检测系统设计

针对传统电机故障检测方法需要依据专家经验进行手工特征信息提取以及卷积神经网络对相似故障类型的分辨率低等缺点,提出了一种DenseNet模型的改进结构.首先对电机信号进行滤波及预处理,将一维波形信号转换成二维频谱能量图,然后通过对DenseNet的部分卷积模块增加旁路模块进行信号的软阈值化,可以在网络训练学习时自动对信号进行降噪处理,得到足够的分类特征信息,避免了手工特征信息提取的繁琐及不确定性.最后,将改进后的模型用于电机故障类型的实时检测,并与其他几种算法进行对比,结果表明,所提出的算法特征信号分类明确、误检率低,对故障的识别准确率可以达到99.49%.

深度残差收缩网络下的定位与行为联合识别

基于WiFi信道状态信息(channel state information,CSI)的人体感知方法在许多物联网场景得到了应用,但现有大部分基于CSI人体感知的系统仅进行定位或行为识别其中一项工作,而物联网的发展对两者能同时识别提出了新的要求。针对这一问题,提出一种基于深度残差收缩网络的定位与行为联合识别方法。通过普通商用WiFi设备获取两种场景(暗室、会议室和走廊)的CSI数据,将预处理后的数据输入结合了深度残差收缩网络的学习模型,进行12个位置与和6种日常行为(站起、坐下、跳跃、深蹲、跌倒、捡起)的联合任务识别。实验结果显示,针对在暗室、会议室和走廊三种场景下的室内定位的平均识别率达到97.29%,行为识别的平均识别率达到90.02%。能够实现定位与行为的高精度联合识别。

基于ST-TCN的太阳能光伏组件故障诊断方法

实地调研并收集电站光伏组件常见的故障类型,并对光伏组件在不同工作状况下的电流特征曲线进行分析,发现光伏组件的电流数据叠加了复杂的表现特征和高噪声。为能精准诊断光伏组件的故障类型,提出一种软阈值化的时序卷积神经网络(Soft Thresholding Temporal Convolutional Network,ST-TCN)光伏组件故障诊断模型。ST-TCN网络使用多个残差模块的膨胀卷积层、ReLU层、Dropout层提取电流数值特征和时序特征,再使用残差模块的软阈值化对所提取的特征降噪,最终使用全连接层对残差模块提取的特征进行故障诊断分类。实验结果表明,ST-TCN网络不仅结构简单,收敛速度快,而且故障诊断准确率高,达到92.99%。

基于改进时间卷积网络的空气质量预测研究

针对空气质量数据包含的噪声较大、冗余因素过多而导致空气质量预测精度较低的问题,提出了一种收缩的时间卷积网络模型(Shrinking Temporal Convolutional Network, STCN)。模型利用时间卷积网络(Temporal Convolutional Network, TCN)的空洞因果卷积,保证较长的历史信息输入及未来信息的保密;利用深度残差收缩网络中特殊注意力机制和软阈值化的思想对TCN中的残差模块进行了改进,解决了因输入样本中的冗余信息不同导致的重要信息权重分散问题。实验结果表明,该方法能够有效地克服数据中噪声较大、冗余因素过多的问题,相较于LSTM、TCN等算法,该方法的准确率提高了1%~7%。

针对油井长时程基于深度残差收缩网络的模型故障诊断

目前,大多数的故障检测都是针对故障发生时的这一段时间来进行检测的。当这种方法被用于检测多种故障类型时,其准确性往往会下降。针对上述问题的多故障、长时间序列的油井电参数信号,提出了一种基于深度残差收缩网络(DRSN)模型的故障诊断方法。首先,将采集到的油井长时间序列的电参数信号,按照一定尺寸将其矩阵化。其次,通过将深度残差收缩网络模型应用于故障诊断中,首先是将残差项加入到CNN中解决深度网络的模型退化问题,再通过软阈值化进行样本降噪。最后,为了验证所提方法的有效性,将采集到油井时间序列的数据用于改模型中用于故障诊断。实验结果表明:通过验证该文所提的方法有效性和可行性,表明该诊断方法在油井的故障诊断中有较好的表现和远大前景。

基于集成学习的乐声分离方法

针对频域乐声分离方法缺失相位信息,时域端到端方法无法充分利用时频表示中的声学信息的问题,提出了一种基于集成学习的乐声分离方法。通过在频域U型卷积神经网络(U-Net)的编码块和解码块之间引入卷积块注意力模块(convolutional block attention module,CBAM),从通道和空间两方面调整权重,增强模型特征提取能力;通过提出一种时域端对端分离模型ST-Demucs(soft threshold-Demucs),在编码层中添加全连接子网络和软阈值化层,有选择性地提取特征,抑制冗余噪声;最后,通过软投票的策略对两种模型的分离结果进行融合,弥补频域模型相位缺失弊端,得到更加接近纯净音频的目标音源波形图。在MUSDB18数据集上的实验结果表明:改进后的频域网络模型的信号失真比提升了0.33 dB,时域网络模型的信号失真比提升了0.31 dB,经过集成后,信号失真比得到了进一步提高,提出的基于集成学习的乐声分离方法在分离性能上优于相关单个模型。