基于残差修正CNN-BiLSTM的空中目标航迹短期预测算法

针对因深度学习自身局限性和递归预测策略产生的累积误差,导致航迹预测精度不高的问题,提出了一种基于残差修正CNN-BiLSTM的空中目标航迹短期预测算法。首先,引入卷积模块用于提取航迹数据之中具有潜在关联的空间位置特征,利用双向长短时记忆网络提取航迹数据中的时序特征,并实现对空中目标的实时单步预测和多步超前预测;其次,引入整合移动平均自回归为残差修正模型,对实时单步预测产生的残差建模,计算混合神经网络模型多步超前预测时的残差值;最后,将混合神经网络模型和残差修正模型的输出结果进行融合,得到最终的航迹预测值。实验结果表明,该算法大大降低了神经网络因自身局限性产生的误差和因递归策略预测产生的累积误差,能够显著提高空中目标航迹短期预测的精度。

基于迁移学习与残差网络的快递包裹X光图像识别

针对快递包裹违禁物品识别存在种类繁多、依赖人力和X光图像获取难度大等问题,为提高快递包裹违禁物品识别的效率和准确度,本研究提出一种迁移学习与残差网络相结合的快递包裹X光图像识别方法(TL-ResNet18)。首先构建了相似度高的源领域数据集和目标领域数据集;其次,选用ResNet18作为预训练模型,调整初始化参数结构,并将ResNet18学习到的内容作为初始化参数迁移到目标领域,实现快递包裹X光图像分类;最后,将相同数据集作为三种模型的输入并对结果进行对比。实验结果表明,TL-ResNet18模型的局部微调和全局微调的识别准确率分别为93.5%、95.0%,相比于ResNet18模型提高了7%、8.5%,且精确度、召回率和F1值都优于ResNet18模型,该方法性能更优,且不受小型数据集对深层网络训练的限制,有利于快递包裹X光图像识别的智能化发展。

融合改进自编码器和残差网络的入侵检测模型

互联网中存在大量隐私数据,因此防止网络入侵成为保护网络安全的关键问题。为提高网络入侵检测的准确率并解决其收敛慢问题,设计一种改进的堆叠自动编码器和残差网络(ISAE-ResNet)入侵检测模型。融合栈式自编码器和残差网络,首先将预处理后的数据输入到改进的栈式自编码器中,该栈式自编码器由2个副编码器和1个主编码器组成,数据经过副编码器和主编码器训练后重构出新的特征来防止过拟合问题;然后将解码层的权重捆绑到编码层进行优化,使模型参数减半来进行降维,提高模型的收敛速度;最后将处理过的数据输入到改进的残差网络中,并基于改进的ResNet网络设计一种加入软阈值函数的残差模块,通过降低数据中的噪声来提高模型准确率。在CIC-IDS-2017数据集上的实验结果表明,该模型准确率为98.67%,真正例率为95.93%,误报率为0.37%,损失函数值快速收敛至0.042,在准确率、真正例率、误报率和收敛速度方面均超过对比入侵检测模型,具有较高的有效性和可行性。

多尺度残差密集注意力网络图像超分辨率重建

目的使用单一尺度卷积网络提取低分辨率(low-resolution,LR)图像特征会造成大量图像高频特征丢失,为了获取更多高频特征,重建更清晰的超分辨率图像,方法提出一种基于多尺度残差密集注意力网络(multi-scale residual dense attention network)的单幅图像超分辨率重建算法。首先,使用卷积网络从低分辨率图像中提取浅层特征并将其作为后续网络各级输入;其次,采用各级多尺度残差密集注意力块(multi-scale residual dense attention block)处理前级网络图像特征并从中提取图像高频特征,多尺度残差密集网络善于提取更丰富的图像特征,并融入注意力机制,增强网络对高频区域特征的关注;然后,将网络各级提取不同深度的图像特征进行全局特征融合;最后,融合后的特征经上采样输出重建的超分辨率图像。结果放大因子为4时,网络在SET5,SET14,BSDS100,URBAN100和MANGA109数据集上测试,峰值信噪比分别为31.97,28.58,27.57,25.85,29.79 dB;网络中基本模块分别由多尺度残差密集注意力块、残差块和密集块替换提取特征,以峰值信噪比作为模块性能评估标准,多尺度残差密集注意力块表现更优异。结论该网络结合多尺度残差密集网络能够获取更丰富图像高低频信息,融入注意力机制有效对网络中高频信息进行提取,能重建纹理更清晰的超分辨率图像。

广告点击率预估的逐层残差交互网络

网络广告费的收取通常是以用户的点击次数来计算的,因此如何准确地预估点击率(CTR)是广告公司十分关心的问题.当前先进水平的方法集中在构建各种高阶特征交互模型来预估CTR,但是高阶特征交互会丢失低阶信息,尤其是丢失原始特征的信息.为此,本文提出一个新的逐层残差交互网络,它在每次交互时都考虑原始特征的引导作用,被命名为逐层残差交互网(LRIN).LRIN强调高阶特征交互应该建立在原始特征逐层交互的基础上.n阶特征交互由原始特征与n-1阶特征通过元素积运算得到.进而,本文引入了多尺度方法来设计注意力网络.受逐层交互的影响,注意力网络也被设计成多层,称之为逐层注意力网络.为了将二者结合起来,本文提出将逐层残差交互网络的输出作为逐层注意力网络的权重,由此形成了一种新的双网络训练模型.在多个benchmark数据集上的实验结果表明,LRIN的性能比当前先进的方法在Criteo数据集上平均提高1.24%,在Avazu数据集上平均提高2.16%,在MovieLens-1M数据集上平均提高了1.3%,在Book-Crossing数据集上平均提高了1.27%.

注意力残差网络结合LSTM的EEG情绪识别研究

基于脑电信号的情感识别已成为情感计算和人机交互领域的一个重要挑战。由于脑电信号中具有时间、空间、频率维度信息,采用结合注意力残差网络与长短时记忆网络的混合网络模型(ECA-ResNet-LSTM)对脑电信号进行特征提取与识别。首先,提取时域分段后脑电信号不同频带微分熵特征,将从不同通道中提取出的微分熵特征转化为四维特征矩阵;然后通过注意力残差网络(ECA-ResNet)提取脑电信号中空间与频率信息,并引入注意力机制重新分配更相关频带信息的权重,长短时记忆网络(LSTM)从ECA-ResNet的输出中提取时间相关信息。实验结果表明:在DEAP数据集唤醒维和效价维二分类准确率分别达到了97.15%和96.13%,唤醒-效价维四分类准确率达到了95.96%,SEED数据集积极-中性-消极三分类准确率达到96.64%,相比现有主流情感识别模型取得了显著提升。

基于深度残差网络的走滑断层智能识别方法——以塔里木盆地富满油田为例

走滑断层精细识别是断控缝洞型碳酸盐岩油气藏勘探开发的关键环节之一,但走滑断层的水平位移在垂直断层走向的地震剖面上不易识别,为此,提出了一种基于深度残差网络的走滑断层智能识别方法。该方法的网络模型由特征提取子网络、结构提取子网络和去噪卷积子网络3个子网络构成。特征提取子网络提取地震与断层预测映射的残差特征,结构提取子网络提取边界结构的残差映射实现断层解释的目标,去噪卷积子网络去除网络累计生成的噪声。网络在预测时采用了多层输出融合技术和迁移学习的方式,能有效避免高频特征信息的丢失,增强对不同规模断层分类解释的鲁棒性和泛化力。通过对合成记录验证分析可知,该方法对低信噪比地震资料情况下的小断距、弱走滑断层的识别精度高,预测的损失率低,预测断层连续性好,断层边界清晰,且抗噪性较好。塔里木盆地富满地区果勒西区块实际地震资料的应用结果表明,该方法对线性走滑断层、压扭辫状走滑断层和拉张辫状走滑断层等不同性质的走滑断层均有较好的识别效果。

基于深度残差网络的随钻方位电磁波电阻率测井反演方法

随钻方位电磁波电阻率测井可以提供丰富的地下信息,帮助完成储层位置确定和边界探测等任务,但常用的基于物理方程的迭代反演方法计算效率较低,在实时地质导向中受到诸多限制。为此,提出了一种基于深度残差网络的随钻方位电磁波电阻率测井资料智能反演方法。该方法将残差块中的卷积层和池化层替换为全连接层,并使用多头注意力机制来理解输入数据的关联性,以解决非线性回归问题;通过评估模型深度和宽度,并使用贝叶斯超参数调优算法找到随钻电磁波电阻率反演方法中最优的超参数,以提高反演模型的性能。该方法在模型试验中的平均准确率达到98.5%;在实际测井资料的平均准确率达到97.2%,单点反演时间约为0.01 s。研究表明,随钻方位电磁波电阻率测井反演方法能够快速准确地反演测井资料。

局部注意力引导下的全局池化残差分类网络

大部分注意力机制虽然能增强图像特征,但没有考虑局部特征的关联性影响特征整体的问题。针对以上问题,本文提出局部注意力引导下的全局池化残差分类网络(MSLENet)。MSLENet的基线网络为ResNet34,首先改变首层结构,保留图像重要信息;其次提出多分割局部增强注意力机制(MSLE)模块,MSLE模块将图像整体分割成多个小图像,增强每个小图像的局部特征,通过特征组交互的方式将局部重要特征引导到全局特征中;最后提出池化残差(PR)模块来处理ResNet残差结构丢失信息的问题,提高各层之间的信息利用率。实验结果表明,MSLENet通过增强局部特征的关联性,在多个数据集上均有良好的效果,有效地提高了网络的表达能力。

基于改进残差网络的风电轴承故障迁移诊断方法

针对风电轴承故障源域数据和目标域数据特征分布不同而导致的故障诊断精度偏低问题,提出一种利用改进残差神经网络进行风电轴承故障迁移诊断的方法。该方法将卷积核和池化核设定为与一维振动信号卷积运算相适应的尺寸,从振动信号直接提取轴承的故障特征;在一维残差网络中同时使用批量归一化和实例归一化,进一步增强模型的特征提取能力;在模型训练阶段,通过源域数据和目标域数据的多核最大均值差异构建新的损失函数,以提高模型在不同分布数据集上的迁移学习及分类能力。利用故障轴承实验数据对方法的有效性进行验证,结果显示,即使受到轴承变转速运行工况和故障振动信号含噪声干扰成分的双重影响,该方法仍然可提取出轴承故障的重要特征,并实现不同工况轴承故障的迁移诊断和准确分类,这对于发展复杂环境下的旋转机械智能故障诊断技术具有参考价值。

基于改进残差网络的抽油机故障诊断研究

针对抽油机故障诊断的传统图像识别方法识别率高但速率较慢,或训练速度适宜但识别率较低等问题,提出一种基于改进残差网络模型的示功图图像识别算法。改进策略包括替换模型第1层卷积核,由更小卷积核代替;改变残差模块排列顺序;将传统ResNet50(残差网络)模型的全连接层替换成径向基函数(RBF:Radial Basis Function)网络作为额外的分类器;采用数据增强方式对数据集进行扩充,并利用迁移学习在改进的ResNet50-RBF模型得到ImageNet上预训练好的权重参数后进行训练。实验结果表明,改进的模型在示功图识别中得到了98.86%的准确率,与其他网络相比,鲁棒性进一步加强,并且速率得到一定提升,为抽油机故障诊断提供了一定参考。

基于自适应深度残差网络的旋转机械故障诊断方法

针对深度残差网络无法在噪声环境下精确诊断的问题,提出了一种基于直接快速迭代滤波(direct fast iterative filtering,DFIF)和自适应深度残差网络(adaptive deep residual network,AResNet)的方法,并将其应用于噪声环境下旋转机械的故障诊断中。首先,在采集的振动信号中增加不同强度的噪声,再经DFIF分解得到若干个本征模态函数(intrinsic mode function,IMF)分量,选取综合评价指标值最小的IMF分量作为输入样本;其次,提出了自适应残差单元(adaptive residual building unit,ARBU),ARBU通过计算各个通道的最优系数,自适应地放大故障敏感特征和抑制无关特征,能够更好地替代传统的残差单元;最后,基于ARBU构造AResNet,输入样本经过AResNet得到故障诊断结果。将所提方法应用于噪声背景下旋转机械的故障诊断中,在两个不同数据集中进行了验证。研究结果表明,与现有方法相比,所提方法具有更高的噪声鲁棒性、稳定性和更优的计算效率,且能够更好地解决旋转机械在噪声背景下故障特征难以有效挖掘的问题。

基于注意力机制残差神经网络的近红外芒果种类定性建模方法

现代光谱检测技术的飞速发展与深度学习紧密相关,作为一种端到端的模型,深度神经网络可以从光谱中得到更多信息,从而提升模型鲁棒性。为探究近红外光谱结合深度学习对芒果种类定性预测的可行性,提出一种基于卷积注意力机制(CBAM)的一维残差神经网络(1D-AD-ResNet-18)模型。为降低光谱中冗余信息的干扰,在传统一维残差神经网络(1D-ResNet-18)中嵌入CBAM卷积注意力模块,该模块可重点关注光谱局部有用信息;为避免梯度消失、过拟合情况发生,使用解决网络“退化”问题的ResNet-18。对于186个芒果样本,采用70%的样本进行训练,30%的样本进行测试,采用准确度(Accuracy)、精确率(Precision)、召回率(Recall)、F1值(F1-score)、宏观平均值(Macro-average)以及加权平均值(Weighted-average)作为模型评价指标。建立传统1D-ResNet-18、SNV-SVM和PCA-KNN三种对比模型,与上述三种方法作对比,所建立的1D-AD-ResNet-18模型取得最优预测结果,四种定性分析模型的准确率分别为96.42%,80.35%,76.78%和67.85%。结果表明,1D-AD-ResNet-18模型实现了对芒果种类的准确识别与分类,为近红外光谱定性分析芒果种类提供了新思路。

IRS辅助MU-MISO系统中基于深度残差学习的信道估计

针对智能反射表面辅助多用户通信系统中传统信道估计方法性能下降的问题,将信道估计问题转化为信道去噪问题,利用深度残差学习方法学习残差噪声,从含噪导频信号中恢复信道系数。同时为提升信道估计精度,设计信道估计网络进一步提升去噪性能。网络主体包含两个模块:拼接信息保留模块将每一层卷积输出相融合,防止信道特征丢失,有效提取信道噪声的主体特征;扩张卷积稀疏模块通过扩大感受野范围获得信道的重要结构和细节特征,恢复信道噪声的边缘细节特征。仿真结果表明,归一化均方误差约等于0.45时,所提方法在不明显增加复杂度情况下,相比于线性最小均方误差算法获得3.7 dB的信噪比增益,更为接近最小均方误差信道估计器的性能,表现出了更好的性能和可用性。

融合残差连接的图像语义分割方法

由于传统SegNet模型在采样过程中产生了大量信息损失,导致图像语义分割精度较低,为此提出了一种融合残差连接的新型编-解码器网络结构:文中引入了多残差连接策略,更为全面地保留了多尺度图像中包含的大量细节信息,降低还原降采样所带来的信息损失;为进一步加速网络训练的收敛效率,改善样本的不平衡问题,设计了一种带平衡因子的交叉熵损失函数,对正负样本不平衡现象予以针对性的优化,使得模型的训练更加高效;实验表明该方法较好地解决了语义分割中信息损失以及分割不准确的问题,与SegNet相比,本网络在Cityscapes数据集上进行精细标注的mIoU值提高了约13%。

基于残差单元与注意力门的非对称编解码海杂波抑制网络

针对非均匀海杂波环境下弱小目标检测困难的问题,本文基于复值残差单元和注意力门机制,提出一种用于海杂波抑制的非对称编解码网络(Asymmetric Encoder-Decoder Network,AED-Net).该网络以雷达回波经匹配滤波后得到的复值信号为输入,利用复值残差单元取代常规卷积单元进行弱小目标和海杂波特征的提取,增强网络特征提取能力的同时避免特征信息退化.然后采用注意力门模块将编码路径各模块提取的特征信息分别送入到解码路径对应的模块.最终输出海杂波抑制后的复值信号.由于各注意力门的输入和输出维度可根据网络结构自主选择,该网络设计是一种非对称编解码结构.与典型对称编解码网络UNet相比,复值残差单元与注意力门的引入显著降低了特征信息的冗余度,增强特征信息的提取与传递,提升了海杂波抑制性能.与此同时,复值残差单元的参数规模远小于卷积单元,而注意力门的引入也有效减少解码路径单元的数量,整个网络的参数规模显著减小.基于海杂波实测数据的实验结果表明,与典型复值UNet(Complex Value-UNet,CV-UNet)网络相比,AED-Net的输出信杂比平均提升9 dB,有效工作的最低信杂比降低了3 dB,模型参数量和计算量分别减少57.8%、50%.

基于时序卷积残差网络和鹈鹕优化算法的新能源电网安全稳定控制方法

随着“双碳”目标的推进,随机波动的新能源接入电网的规模和容量日益提升,严重影响电网的安全稳定运行。针对大干扰故障电压稳定控制问题,文章提出了一种基于时序卷积残差网络和鹈鹕优化算法的新能源电网电压安全稳定控制策略。首先,利用时序卷积信息损失少、感受野宽以及残差网络深层特征提取能力强的优势,构建基于时序卷积残差网络的电压稳定预测模型,映射出敏感节点电压时序特征和电压稳定之间的关系;其次,构建电压稳定控制模型,利用鹈鹕优化算法收敛速度快、搜索能力强的优势求解控制模型,得出最佳切机和切负荷动作措施;最后,进行了仿真验证。验证结果表明,所提方法提高了新能源电网电压安全稳定预测的准确性,通过最佳的电压稳定控制策略提高了电网故障后的安全稳定运行水平。

基于特征融合的轻量级新残差人脸识别方法

针对现有轻量级模型在嵌入式设备的人脸识别应用中存在识别精度难以提升的问题,提出一种融合人脸对齐关键特征点信息的轻量级新残差网络模型(Lightweight New Residual Network,LNRN).LNRN利用深度残差网络结构能够解决网络退化且避免干扰因素影响的优势,结合人脸对齐环节产生的关键特征点信息,对深度残差网络结构进行简化和合理设计,实现对关键特征信息和全局信息的提取.为避免特征提取过程中丢失重要特征信息,该模型在新残差网络中加入结合空间和通道的注意力机制进行辅助.在公开的四个标准人脸数据集上的仿真实验表明,该模型识别速度在接近主流轻量级人脸识别方法的同时,平均识别精度比MobiFace提高了0.6%.

基于向量残差SVD的混凝土超声测试温度效应研究

为研究温度对混凝土超声测试尾波信号的影响规律;将信号向量间的归一化夹角作为波动指标,反映温度效应引起的信号变化;通过向量残差矩阵SVD获得表征温度效应大小的特征向量,建立向量空间映射和温度差的数学关系。在实验室采集混凝土梁尾波信号进行验证,结果表明,随温度升高尾波信号的波形发生后移,文中方法可分段线性量化温度效应;基于量化结果,得到常温下超声尾波信号最敏感的温度区间;任意4.5℃范围内,可去除74%~90%的温度效应。

GNSS拒止时基于并行CNN-BiLSTM回归和残差补偿的UAV导航误差校正方法

全球导航卫星系统(GNSS)拒止时,GNSS/惯性导航系统(INS)组合导航系统的性能严重下降,导致无人机集群导航误差快速发散.目前,利用神经网络预测位置与速度代替GNSS导航信息可校正无人机INS误差,但该方法仍存在定位误差较高且在轨迹突变时预测精度急剧下降的问题.因此,提出了一种基于卷积-双向长短时记忆网络联合残差补偿的位置与速度预测方法,用于提高位置与速度预测精度.首先,针对GNSS拒止后GNSS/INS组合导航系统定位误差较高的问题,提出卷积神经网络(CNN)与双向长短时记忆网络(BiLSTM)的融合模型,该模型可建立惯性测量单元(IMU)动力学测量数据与GNSS导航信息之间的关系,实现较准确的位置和速度预测.其次,针对轨迹突变时预测效果急剧下降的问题,提出并行CNNBiLSTM回归架构,在预测位置与速度的同时,挖掘IMU动力学测量数据、预测值与预测残差之间的关系,预测并补偿预测残差,增强模型在轨迹突变时的预测精度.仿真结果表明,所提模型在预测准确性、有效性和稳定性方面都优于CNN-LSTM、LSTM网络模型.