基于残差神经网络的马里亚纳海沟地形反演

为提高利用重力异常数据反演马里亚纳海沟地形的精度,基于残差深度神经网络(residual deep neural network,RDNN)方法和重力异常等数据反演了马里亚纳海沟的1′×1′海底地形,通过实测检核点水深对RDNN模型的精度进行评估,并和重力地质法(gravity-geology method,GGM)模型结果进行对比。结果表明RDNN较GGM对马里亚纳海沟地形反演更为精细,实测水深检核表明RDNN模型均方根误差为128.98 m,优于GGM模型的150.14 m,且RDNN与船测检核水深也有更好一致性,RDNN深度学习模型为利用重力异常数据反演高精度海底地形提供了参考和依据。

基于深度残差神经网络的GNSS接收机干扰抑制方案

在各种压制式和欺骗式干扰随机存在的全球卫星导航系统(Global navigation satellite system,GNSS)复杂应用环境下,传统先估计干扰信号参数再抵消的干扰抑制方法需要针对不同类型的干扰设计专门的参数估计和抵消算法,设计工作量大且缺乏通用性。为此本文提出了一种基于深度残差神经网络的干扰抑制方案。首先,针对典型的GNSS干扰类型搭建和训练了相应的残差神经网络,实现从受扰接收信号中直接提取有用卫星信号。然后,结合干扰分类识别结果,将对一维接收信号进行短时傅里叶变换(Short⁃time fourier transform,STFT)预处理后的时频谱二维信号送入与干扰类型相对应的残差网络,网络输出消除了干扰信号影响的有用卫星信号的时频二维谱。该方案无需对不同类型的干扰采用不同的参数估计和干扰抵消方法,对各类压制干扰和欺骗信号均采用相同的处理流程。实验结果表明相比于先估计干扰信号参数再进行抵消的干扰抑制方案,所提方案对各种GNSS干扰类型均具有较好的抑制效果,具备一定的通用性。

基于深度残差卷积神经网络的高分辨率遥感影像道路提取

道路是城市基础设施的重要组成部分,准确提取道路信息可以帮助城市规划者更好地进行城市交通规划、道路建设和维护管理。高分辨率遥感影像道路提取中的断线严重影响道路结构的完整,降低了平均路径长度相似度,本文提出基于深度残差卷积神经网络的高分辨率遥感影像道路提取方法。首先,引入了直方图均衡化增强技术,对高分辨率遥感影像道路特征进行预处理,增强高分辨率遥感影像道路特征;然后,基于深度残差卷积神经网络构建了深度残差卷积神经网络模型,利用随机梯度下降进行深度残差卷积神经网络模型训练,获取高分辨率遥感影像道路特征提取结果;最后,利用骨架法提取高分辨率遥感影像中的道路骨架,采用K-means聚类算法判别断点之间的特征,实现高分辨率遥感影像道路提取。实验结果表明,本文方法提取的道路形态比较完整,Io U指数和F1指数较高,可满足高分辨率遥感影像道路高精度提取需求。

基于格拉姆角场和迁移深度残差神经网络的滚动轴承故障诊断

针对应用传统卷积神经网络进行故障诊断时存在的过拟合现象及传统灰度图编码存在的时间信息损失等问题,提出一种基于格拉姆角场图像编码和迁移深度残差神经网络相结合的滚动轴承故障诊断方法。依据格拉姆角场图像编码方法对时间序列编码映射的唯一性,将原始振动信号转化为格拉姆角差场图和格拉姆角和场图,并将在ImageNet上预训练好的ResNet18模型参数,迁移到以格拉姆角场图作为输入的ResNet18中,进行不同故障模式下格拉姆角场图的特征提取和分类,从而达到故障诊断的目的。分析结果表明,所提方法相比于传统灰度图编码,更能突出不同故障模式的内在特征,与传统卷积神经网络模型相比,提出的方法具有更高的识别精度,达到99.30%,且具有更快的收敛速度和更强的鲁棒性。

基于深度残差卷积神经网络的高光谱图像超分辨方法

针对传统的稀疏表示方法的不足,提出一种基于深度残差卷积神经网络的单高光谱图像超分辨率方法,无需对应多光谱图像.研究挖掘低分辨率遥感图像和高分辨率遥感图像之间的非线性关系,构建深度残差卷积神经网络,串联多个残差块,并去除一些不必要的模块.充分挖掘自然图像和高光谱图像之间的相似性,利用自然图像样本训练卷积神经网络,进一步利用迁移学习将训练好的网络模型引入到高分辨率遥感图像超分辨问题上,解决训练样本缺乏问题.经实际的遥感数据超分辨实验结果表明,所提出的方法具有良好的性能,能得到较好的超分辨效果.

基于深度时空残差卷积神经网络的课堂教学视频中多人课堂行为识别

针对课堂教学场景遮挡严重、学生众多,以及目前的视频行为识别算法并不适用于课堂教学场景,且尚无学生课堂行为的公开数据集的问题,构建了课堂教学视频库以及学生课堂行为库,提出了基于深度时空残差卷积神经网络的课堂教学视频中实时多人学生课堂行为识别算法。首先,结合实时目标检测和跟踪,得到每个学生的实时图片流;接着,利用深度时空残差卷积神经网络对每个学生行为的时空特征进行学习,从而实现课堂教学场景中面向多学生目标的课堂行为的实时识别;此外,构建了智能教学评估模型,并设计实现了基于学生课堂行为识别的智能教学评估系统,助力教学质量的提升,以实现智慧教育。通过在课堂教学视频数据集上进行实验对比与分析,验证了提出的课堂教学视频中实时多人学生课堂行为识别模型能够达到88.5%的准确率,且所构建的基于课堂行为识别的智能教学评估系统在课堂教学视频数据集上也已取得较好的运行效果。

深度神经网络在滚动轴承故障诊断中的应用

为了对滚动轴承发生的故障类型进行诊断,从而提升设备的安全性,提出了一种基于深度残差神经网络的智能故障诊断方法,并使用多传感器融合技术对深度残差神经网络进行了改进,使得诊断模型的识别精度和鲁棒性得到进一步提高.首先,通过多传感器技术来获取丰富的设备运行状态信息,然后利用时频分析方法短时傅里叶变换提取原始振动信号的初级特征信息,最后利用深度残差网络的强大学习能力,进一步提取初级特征信息中的高级特征信息,并识别设备的故障类型,从而实现滚动轴承的故障诊断.为了验证所提出方法的有效性,使用滚动轴承实验数据对方法进行了测试,同时与基于深度卷积神经网络和单传感器故障诊断模型进行对比,研究结果表明,提出的智能方法不仅能对故障进行准确识别,而且具有相当良好的泛化能力和抗噪能力,其故障精度达到了100%,在单传感器或多传感器受到强噪声干扰时,分别实现诊断精度至少为93.78%和82.54%.

一种改进残差深度网络的多目标分类技术

由于受场景、视角、光照、尺度变化以及局部变形等因素的影响,对重叠目标、拥挤目标、小目标的识别精度较低,提出了一种改进多支路的残差深度卷积神经网络来提高多目标识别的准确度;在第一个卷积残差块layer1后保留恒等映射的同时,增加一个1×1的短接分支尽可能多的保留原始特征;再平行嵌入一个修改激活函数ReLU6的空间_通道注意力机制模块(CBAM);融合以上3个特征图;融合后的特征层着重关注空间和通道中比较显著的信息,从而增强特征图的特征表达能力,以至于卷积神经网络(CNN)获得更多的判别特征,从而大大提高物体识别精度;在FashionMNIST和Cifar10两个数据集的对比性实验显示改进的resnet50算法是准确性-速度较为折中的目标识别模型。

基于DRSN-CW-LSTM网络的锂电池荷电状态预测

由于电池荷电状态(state of charge,SOC)无法直接测量,且传统的SOC估算方法精度低。为了提升锂离子电池SOC估算精度,对比了不同深度学习网络模型应用于SOC估算的效果,并提出了一种基于DRSN-CW-LSTM网络的锂离子电池SOC估算方法。该方法基于长短期记忆网络(long-short-term memory,LSTM)和逐通道不同阈值的深度残差收缩网络(deep residual shrinkage networks with channel-wise thresholds,DRSN-CW),利用锂离子电池电压、电流、温度、容量等数据信息在深度残差收缩网路中进行特征提取,通过LSTM进一步拟合时间序列数据趋势,实现锂离子电池在使用周期内SOC的预测。在DRSN-CW网络的残差收缩模块中可以实现自适应噪声数据处理功能,消除锂离子电池数据流质量对SOC预测的负面影响。利用锂电池公共数据集训练所提出的网络,对比了3种神经网络模型在该两组数据集上的预测效果。实验结果表明,所提出的深度学习模型在两组公开数据集上的MAE和RMSE均值都控制在5%以内,相比其他3种深度学习模型有更好的抗噪性能和预测性能,且估算精度高。

基于深度残差卷积神经网络的心电信号心律不齐识别

心电图(ECG)信号在采集过程中容易受内部和外部噪声干扰,而且不同患者的ECG信号形态特征差异较大,即使同一患者在不同时间和环境下其ECG信号也会有差异,因此ECG信号特征检测与识别在心脏病远程实时监测与智能诊断中具有一定难度。基于此,本研究提出将小波自适应阈值去噪和深度残差卷积神经网络算法用于多种心律不齐的信号识别过程中。其中,使用小波自适应阈值技术完成ECG信号滤波,并设计了包含多个残差块(residual block)结构的20层卷积神经网络(CNN),即深度残差卷积神经网络(DR-CNN),对5大类心律不齐ECG信号进行了识别。然后,本文采用残差块局部神经网络结构单元构建DR-CNN,缓解了深层网络的收敛难、调优难等问题,克服了CNN随着网络层数增加而导致的退化问题;进一步引入批标准化(batch normalization)技术,保证了网络的平滑收敛。按照美国医疗器械促进协会(AAMI)的心搏分类标准,使用麻省理工学院和波士顿贝丝以色列医院(MIT-BIH)心律不齐数据库中94 091个ECG心搏信号(2个导联),完成了心律不齐多分类、室性异位搏动(Veb)和室上性异位搏动(Sveb)等分类识别实验。实验结果表明,本文所提出的方法在ECG信号多分类、Veb和Sveb识别中的准确率分别达到了99.034 9%、99.498 0%和99.334 7%。在相同的数据集和实验平台下,DR-CNN在分类准确率、特异性和灵敏度上均优于相同结构复杂度的CNN、深度多层感知机等传统算法。DR-CNN算法提高了心律不齐智能诊断的精度,该方法与可穿戴设备、物联网和无线通信技术相结合,可以将心脏病的预防、监测和诊断延伸到家庭、养老院等院外场景,从而提高心脏病患者的救治率,并且有效地节约医疗资源。

Shearlet域深度残差CNN用于沙漠地震信号去噪

由于沙漠地震信号中含有较强的随机噪声,从而给沙漠地震数据的处理和解释带来了很大的困难。针对上述问题,提出了一种基于Shearlet变换的深度残差卷积神经网络(ST-CNN:Deep Residual Convolutional Neural Network for Shearlet Transform)模型,实现沙漠地震信号的随机噪声压制。在训练阶段,将沙漠地震信号经Shearlet分解后的系数作为输入,将随机噪声经Shearlet分解后的系数作为标签,通过卷积神经网络(CNN:Convolutional Neural Network)学习输入和标签之间的映射关系;在测试阶段,利用此映射关系即可从沙漠地震信号系数中预测出噪声系数,并间接地获得有效信号系数,最后通过Shearlet反变换获得有效信号。通过与传统的Shearlet硬阈值去噪算法对比,发现该算法可把沙漠地震信号的信噪比从-4. 48 d B提高到14. 15 d B,具有更好的去噪效果。

基于频谱图与时序成像的非侵入式负荷监测方法

针对在多种电器设备同时运行的场景下,当前非侵入式负荷监测方法存在分解困难的问题,本文提出了基于频谱图与时序成像的非侵入式负荷监测方法。首先进行负荷分解,利用频谱图变换原理将多种电器设备的聚合电流转换成频谱图矩阵,并通过词嵌入将频谱图矩阵变换到高维;然后通过k-均值聚类算法得到单个电器设备的频谱图矩阵并反变换为相应的时序电流;其次,进行负荷分类,将负荷分解得到的各类电器设备的时序电流转换为图像进行分类,分类模型为训练完成的深度神经网络模型。最后,利用公开数据集进行实验,结果表明所提方法具有较好的分解和分类效果。

采用空间和通道激励注意力机制优化ResNet-50的CFRP/TC4叠层材料钻削刀具磨损状态监测

针对碳纤维增强复合材料(CFRP)与钛合金组成的叠层材料在制备装配孔时存在刀具磨损严重的问题,提出了一种空间和通道激励注意力机制(scSE)优化深度残差神经网络(ResNet-50)的刀具磨损监测方法。开展钻削实验,采集钻削过程中的力和温度信号,信号经连续小波变换转换为小波尺度谱。搭建ResNet-50网络结构,从空间和通道双维度对卷积提取的特征图进行权重标定。研究结果表明,scSE可以从空间和通道两个维度做到增强有用特征,抑制无用特征,经scSE优化的网络结构识别准确度达到96.15%。

基于Res-CA模型的电能质量扰动分类研究

电能质量扰动(PQDs)可能会引发电力设备故障,导致能源浪费。使用传统的机器学习方法识别多种类型的PQDs往往需要人工设计不同的特征提取器或分类器,耗时费力。而采用深度学习模型能够同时处理多种类型的扰动,具有较强的适应性。文章将深度残差神经网络ResNet18与坐标注意力(CA)模块相结合,构建了一个用于PQDs分类任务的Res-CA模型。首先,通过ResNet18骨干网络提取时间嵌入特征,然后采用CA模块进一步捕获重要性更高的深层时间特征,最后通过Softmax分类器实现PQDs信号类型的识别。在20 dB和30 dB两种信噪比条件下对16种PQDs信号进行实验,实验结果表明:Res-CA网络可以有效地对PQDs信号进行分类,在两种信噪比下的识别准确率分别为99.41%和99.78%。

多源信息深度融合的行星齿轮箱故障诊断方法

行星齿轮箱运行工况复杂,振动激励源多,仅依靠单一征兆域会导致故障诊断结果不确定性高。为此,对行星齿轮箱多通道多征兆域深层特征信息进行融合,提出基于多源信息深度融合的行星齿轮箱故障诊断方法。首先构建多个深度残差卷积神经网络(Deep Residual Convolution Neural Network,DRCNN)分别对行星齿轮箱多通道多征兆域信息进行特征学习以建立局部特征空间与故障空间的映射;其次提取各子DRCNN所学习到的各征兆域深层故障特征以构建全局特征空间的证据体集;最后利用随机森林(Random Forest,RF)对证据体集进行融合以从不同角度充分利用多源故障特征信息,建立起全局特征空间与故障空间的映射,得到诊断结果。所提方法将特征自动提取与信息融合有效统一为整体,增强了方法的智能化与自适应能力。多工况下行星齿轮箱故障诊断实验结果表明所提方法诊断不确定度小、精确度高,能够有效对行星齿轮箱故障进行诊断。

改进ResNet的电能质量分类算法

针对电能质量种类过多造成的难以分类问题,本文提出了一种改进ResNet(G-ResNet)的电能质量的分类方法。使用格拉姆角场将序列信号转换为格拉姆矩阵,将矩阵叠加后作为深度学习网络模型的输入张量,在ResNet网络中加入通道注意力机制与空间注意力机制,提高模型对局部信号的注意力,使用优化后的ResNet网络对数据进行分类。实验结果表明,所提出的分类方法能够有效地进行分类,比其他分类方法的分类准确率提升了34%,具有一定的应用价值。

改进DRSN的抽油机轴承故障诊断系统

传统油田抽油机维护主要靠人工巡检,油田开采又处于高负荷、强噪声的环境,导致油田抽油机轴承工况监测难度较大。针对抽油机轴承故障诊断存在准确率低、抗噪声性能弱和效率低、成本高的问题,提出一种基于改进深度残差收缩神经网络(DRSN)模型的多信息诊断抽油机轴承故障的方法。首先,根据抽油机轴承从正常状态到故障状态的性能退化过程,通过多采样点随机采样获得初步数据,将预处理的现场采集抽油机轴承多信息数据样本作为网络输入。然后,通过改进DRSN模型,引入跳跃连接使得梯度信息能直接从深层反向跨越传递到浅层,避免了梯度消失问题,使得网络更易于优化,同时软阈值化和注意力机制的加入,使得网络模型可以根据数据集的噪声含量设定不同的阈值,降低噪声干扰并提高诊断准确率。最后,通过实验对比改进DRSN模型与传统神经网络模型的训练结果,发现改进DRSN模型训练误差更低,诊断响应速度更快,平均故障诊断准确率提高3%~8%。

基于Res-DNN的端到端MIMO系统信号检测算法

深度学习可通过提取无线通信数据的内在特征提升信号检测效果。针对MIMO系统信号检测存在的性能与复杂度的折中问题,提出一种基于深度学习的端到端MIMO系统信号检测方案。基于残差深度神经网络的编码器和解码器分别替代无线通信系统的发送端和接收端,将它们看作一个整体通过端到端的方式进行训练。编码器首先对输入数据进行特征提取,进而建立通信模型并传入迫零检测器进行初步检测,最终通过解码器重构得出检测信号。仿真结果表明,所提检测方案优于同类型算法,并且在牺牲一定时间复杂度的情况下,检测性能明显优于MMSE检测算法。

基于DTL与DC-ResNet的非侵入式多标签负荷识别方法

针对目前负荷识别中存在的人工挖掘特征困难的问题,同时为了进一步提升识别精度,提出了一种基于深度转换学习(DTL)与双通道深度残差神经网络(DC-ResNet)的非侵入式多标签负荷识别方法。首先运用改进的DTL从原始的负荷数据中自动提取有效的负荷特征,可以达到降维的效果。然后将负荷数据按时间滑窗生成特征图作为DC-ResNet的输入,利用卷积核自动提取时间尺度上的有效特征。DC-ResNet的一条通道用于提取大类特征预测负荷的开关状态,另一条通道用于提取小类特征预测负荷的运行模式,综合两条通道的输出可以得到最后的多标签分类结果。实验结果表明,经DTL提取后的负荷数据更易被识别,DC-ResNet在总体和单一设备的识别上都具有更好的效果,而且模型所需的训练时间较短。

迁移学习支持下的土地利用/土地覆被分类

针对土地利用/土地覆被分类中小规模数据集无法使用深度学习方法自动分类的问题,提出了利用精简深度残差神经网络(Resnet-50)进行迁移学习的土地利用/土地覆被自动分类算法。首先,使用Sentinel-1卫星提供的遥感数据制作数据集;然后,对Resnet-50中每层的卷积模板数量进行压缩并在其后级联自适应网络得到精简残差网络;最后,利用Image Net数据集预训练精简残差网络,并将网络模型迁移到Sentinel-1数据集对网络参数进行微调,最终实现小数据集上土地利用/土地覆被的高精度自动分类。试验结果表明该算法在SAR数据集上的分类精度高达95.15%,验证了算法的可行性。