基于多残差注意力深度收缩网络的超微光图像增强方法

超微光成像可在极度黑暗的环境中给观察者提供近乎白昼的视觉体验,在许多民用和军事应用中起着至关重要的作用。超微光环境下拍摄的图像和视频通常存在亮度与对比度极低、噪声水平高、场景细节和色彩严重缺失等固有缺陷,近年来,深度学习为超微光成像的研究带来了新的机遇。文中采集并提供了一组实用性更强的超微光训练数据集,提出了一种多残差注意力深度收缩网络(Multi Residual Attention Shrinkage Network),以此实现了一种新的超微光成像方法。通过成功研制的小型化样机证实了该方法的工业量产前景。实现了基于通道注意力和空间注意力的残差内注意力机制,以及基于深度软阈值收缩的外注意力机制,不仅可以有效提取并还原极低照度环境下的图像细节信息,恢复场景真实色彩,而且可以有效去除此类环境下由成像设备感光不足带来的巨量噪声。实测效果显示该方法可对极低照度环境进行有效的增强且实时性高。通过与多种业界最新方法比较,文中方法在主观视觉体验以及客观参数两方面均表现更好。

基于时空Inception残差注意力网络的脑电情绪识别

为了提高脑电情绪识别分类精度,最大限度利用脑电信号的空间和时间信息,提出一种Inception残差注意力卷积神经网络与双向长短期记忆(bi-directional long short-term memory, BiLSTM)网络相结合的新型架构时空Inception残差注意力网络。将脑电信号采集电极位置映射到二维矩阵中,采集信号作为通道,构成三维数据;将得到的三维数据输入到时空Inception残差注意力卷积网络之中,提取时空信息;将得到的特征输入到全连接层进行分类;将Inception结构引入脑电情绪识别领域,实现多尺度特征提取,并将电极映射到矩阵之中,保留电极位置信息,使用时空Inception残差注意力网络从时空两个维度获取脑电相关信息。实验表明,使用该模型对DEAP数据集进行情绪四分类可得到93.71%的准确度,相较于对比模型,识别精度提高了10%~20%。提出的模型在脑电信号情绪识别领域具有优良性能。

融合残差注意力和标准偏差的6D姿态细化网络

在6D物体姿态估计领域中,现有算法往往难以实现对目标物体精准且鲁棒的姿态估计.为解决该问题,提出了一种结合残差注意力、混合空洞卷积和标准差信息的物体6D姿态细化网络.首先,在Gen6D图片特征提取网络中,采用混合空洞卷积模块替换传统卷积模块,以此扩大感受野、加强全局特征捕获能力.接着,在3D卷积神经网络中,加入残差注意力模块,这有助于区分特征通道的重要程度,进而在提取关键特征的同时,减少浅层特征的丢失.最后,在平均距离损失函数中,引入了标准差信息,从而使模型能够区分物体的更多姿态信息.实验结果显示,所提出的网络在LINEMOD数据集和GenMOP数据集上的ADD指标分别达到了68.79%和56.03%.与Gen6D网络相比,ADD指标分别提升了1.78个百分点和5.64个百分点,这一结果验证了所提出的网络能够显著提升6D姿态估计的准确性.

基于反向残差注意力的光流估计

光流估计是视频理解和分析的一项基本任务。现有的许多方法直接将遮挡作为异常点剔除,从而提高模型计算光流的能力,但这也容易引起图像灰度不连续,导致光流估计失败。此外,物体高速运动造成的大位移问题一直是光流估计的难点。为了解决上述问题,本文提出一种用于光流估计的基于反向残差注意力的生成对抗学习框架(FlowTran-GAN,FTGAN)。该框架通过设计一个反向残差注意力模块增强特征的空间信息,提高像素之间的匹配程度;并且利用基于U-Net的鉴别器来约束生成器,减少光流估计的误差和不连续性,提高模型的泛化能力。通过在KITTI-2015数据集和MPI-Sintel数据集上进行的实验,实验结果表明本文所提出FTGAN的有效性和优越性。

多尺度残差注意力的高速铁路OFDM信道估计

针对高速铁路正交频分复用(OFDM)通信系统在高速移动场景下,难以准确对快时变信道状态信息进行估计的问题,提出了一种基于多尺度残差注意力网络的高速铁路OFDM信道估计方法。首先,设计多尺度信道特征提取结构,对低分辨率信道矩阵采用多尺度多维特征提取,增强了信道不同尺度信息的提取能力。然后,构建残差注意力级联深度网络进行信道特征重构映射,将局部残差反馈结合注意力机制促进深层特征的融合和利用,提升OFDM信道矩阵的重构映射能力。最后,使用子像素卷积重构生成高分辨率信道矩阵,完成信道估计。通过频域和时域信道估计测试分析表明:在低速及高速铁路场景下,该方法与其他方法相比,信道估计的精度和复杂度等客观性评价指标均优于比较算法,能够满足OFDM信道估计的要求。

基于ICEEMDAN-LSTM和残差注意力的短期太阳辐照度预测

为提升短期太阳辐射预测的准确性,提出一种基于ICEEMDAN-LSTM和残差注意力的短期太阳辐照度预测方法。该方法利用改进的自适应噪声完备集合经验模态分解(ICEEMDAN)将原始辐射序列分解为多尺度模态分量,同时引入残差注意力机制对原始气象特征进行重构,然后利用长短期记忆网络分别提取两部分的时序特征,并融合所得特征输入至多层感知器,进行提前1小时的水平面总辐照度预测。实验结果表明,该方法能捕捉辐射序列的波动和突变,并考虑不同气象特征的重要程度,可有效提高短期太阳辐照度的预测精度。

基于残差注意力机制的肺结节数据增强方法

针对带标注的肺CT图像数据匮乏而导致的深度学习模型训练困难,以及现有生成算法生成肺结节不同特征模糊、细节丢失的问题,提出了肺结节图像的数据增强RAU-GAN算法。首先,在生成器网络中嵌入残差注意力模块,该模块可以聚焦于局部不同的感兴趣区域,以实现肺结节与背景信息的独立生成,并且重新设计了注意力模块中的残差块来减少网络的深度和训练的复杂度。其次,将判别器设计为U-Net架构,可以给更新后的生成器反馈更多信息,以提高判别性能。最后,在数据集LUNA16和Deep Lesion上进行实验,结果与现有方法相比,在视觉效果和不同评价指标上均有提升,验证了生成图像包含了更丰富的细节信息。

一种残差注意力迁移学习方法及其在滚动轴承故障诊断中的应用

提出了一种基于残差注意力卷积神经网络(CSRA-CNN)的迁移学习算法,用于提高滚动轴承的故障诊断精度。在卷积神经网络模型中加入残差注意力机制,使模型在训练过程中更加注重故障特征的提取,从而有效提高迁移准确率。为了测评基于残差注意力卷积神经网络的性能,将其与传统卷积神经网络在不同迁移学习策略下的结果进行对比。用动力传动故障诊断综合实验台和高速列车综合实验台对所提算法进行了验证,该方法可以完成变转速以及变转速变载荷下轴承不同健康状态的迁移学习,且迁移效果均优于传统的卷积神经网络。

面向表情识别的重影非对称残差注意力网络模型

针对ResNet50中的Bottleneck经过1×1卷积降维后主干分支丢失部分特征信息而导致在表情识别中准确率不高的问题,本文通过引入Ghost模块和深度可分离卷积分别替换Bottleneck中的1×1卷积和3×3卷积,保留更多原始特征信息,提升主干分支的特征提取能力;利用Mish激活函数替换Bottleneck中的ReLU激活函数,提高了表情识别的准确率;在此基础上,通过在改进的Bottleneck之间添加非对称残差注意力模块(asymmetric residual attention block, ARABlock)来提升模型对重要信息的表示能力,从而提出一种面向表情识别的重影非对称残差注意力网络(ghost asymmetric residual attention network, GARAN)模型。对比实验结果表明,本文方法在FER2013和CK+表情数据集上具有较高的识别准确率。

基于多尺度残差注意力网络的全色锐化方法

针对传统深度学习的遥感图像全色锐化方法未考虑源图像多尺度方向信息和通道间的关联紧密性,导致融合图像出现空间信息丢失和光谱失真问题,提出了一种基于多尺度残差注意力网络的遥感图像全色锐化方法。将低空间分辨率多光谱(low-resolution multi-spectral, LRMS)图像经过双三次插值上采样与高空间分辨率全色(panchromatic, PAN)图像级联,得到一个5通道图像作为输入;设计3个并行的多尺度残差注意力网络从空间和通道两方面提取源图像不同频度的特征,每个子网络包含浅层特征提取、深层特征提取、特征融合、特征重建过程,将三者的输出进行跳连接获得最终融合图像,将光谱角映射、平均绝对误差和几何梯度权重相加作为一种新的损失函数来训练参数,以提高网络的信息表征能力;选择在WorldView-2和WorldView-3数据集上与其他7种融合方法进行对比实验,并在WorldView-3数据集上对模型的网络结构及损失函数性能进行验证,实验结果表明:该方法在光谱信息和空间信息保持方面具有明显优势。

基于多头类特定残差注意力和图卷积的多标签图像分类算法

针对ML-GCN中全局最大池化所获得的图像特征对特定类别在不同图像区域上缺乏针对性和丢失图像局部特征信息的问题,提出了类特定残差注意力(CSRA)模块.该模块可以有效捕获不同类别对象所占据的不同空间区域.此外,将提出的类特定残差注意力与图卷积神经网络相结合,提出了基于多头类特定残差注意力与图卷积的多标签图像分类算法(ML-CSRA).首先利用卷积神经网络提取通用的图像特征图,之后将提出的类特定残差注意力扩展为多头形式,并将其应用于通过卷积神经网络提取到的通用图像特征图,提取各个区域对应不同类别的特征.最后将图卷积神经网络提取的标签相关特征与多头类特定残差注意力提取的图像特征结合,得到最后的多标签图像分类结果.在MS-COCO 2014和VOC-2007数据集上的实验结果表明提出算法在所有评估指标上都优于目前已有算法.

基于深度残差注意力生成网络的数据增强图像分类

图像分类可能受到许多因素的影响,本文提出用一个深度残差注意力生成网络生成图像数据来进行数据增强,增加图像数据的多样性,从而提高分类的准确率。通过与一些流行的深度学习分类方法做对比实验,实验结果表明本文所提出的方法在分类性能上具有竞争力,在MNIST和cirfar10数据集上分别达到了98.95%和92.68%的分类准确率。

基于残差注意力和金字塔上采样的图像语义分割

针对图像语义分割中,存在细节信息丢失、分割类别边缘模糊而粗糙的问题,在编码解码结构的基础上,结合残差模块和注意力机制,设计一种残差注意力模块。通过注意力机制加强特征图通道之间的联系,以提升语义分割的细腻度。为提高模型对多尺度物体的识别能力,结合金字塔模型,设计一种金字塔上采样模块。利用编码过程中产生的不同尺度的特征图,进行不同尺度的语义信息提取,以加强模型场景识别能力。最后,对所提出的方法进行实验验证,与FCN-8s、SegNet、Deeplab-v2、PSPNet等方法相比,针对VOC 2012,平均交并比(mIoU)和平均像素精度(mPA)最高分别提高了15.9%和3.57%;针对Cityscape数据集,mIoU和mPA指标分别提高了17.8%和13.3%,图像语义分割效果得到明显提升。

面向轴承早期故障检测的多尺度残差注意力深度领域适配模型

针对由工作环境和设备状况的差异引起的轴承早期故障检测模型可靠性差、误报警率高的问题,根据早期故障检测的特点和需求,提出一种多尺度注意力深度领域适配模型。首先,将监测信号处理成由原始信号、希尔伯特-黄变换边际谱、频谱组成的三通道数据;然后,通过在残差注意力模块中增加不同尺寸的滤波器以提取多尺度深度特征,使用卷积-反卷积操作来重构输入信息从而获得注意力信息,并且将注意力信息与多尺度特征融合构建了一种多尺度残差注意力模块,用于提取对早期故障表征能力更强的注意力特征;其次,在所提取到的注意力特征基础上,构建基于交叉熵和最大均值差异(MMD)正则化约束的损失函数来实现领域适配;最后,采用随机梯度下降算法进行网络参数优化,构建端到端的早期故障检测模型。在IEEE PHM-2012数据挑战赛数据集上的实验结果表明,与8种代表性的早期故障检测和诊断方法以及迁移学习算法相比,所提方法能够在不延迟报警时间点的前提下,分别比8种方法的平均误报警率降低了62.7%和61.3%,有效提高了早期故障检测的鲁棒性。

基于残差注意力的YOLO-v5列车轮对踏面缺陷快速检测

为实现快速准确地检测轮对踏面缺陷,针对轮对踏面噪声干扰大、传统检测算法特征融合不充分的问题,提出一种基于残差注意力的YOLO-v5列车轮对踏面缺陷快速检测方法。首先,针对噪声干扰大的问题,设计了一个残差注意力降噪模块,以有效提升模型检测准确率,并使用Grad-CAM类激活映射技术验证残差注意力模块降低噪声干扰的作用;其次,针对特征融合不充分和模型容易产生漏检的问题,使用一种双向特征金字塔特征融合模块,对主干网络提取的特征进行高效融合,从而有效地降低检测漏检率;最后,采集了数百幅轮对踏面真实缺陷图像,并与5种经典检测模型进行对比,验证了算法的优越性。试验结果表明,该算法能够达到77.9%的准确率和72.3%的召回率,同时所提算法的图像检测速度能达到125幅/秒,模型权重仅为15.1 MB。该模型能快速准确地检测出剥离和凹陷2种缺陷,可便捷地应用于实际的轮对踏面实时缺陷检测场景。

基于残差注意力融合和门控信息蒸馏的图像修复

图像修复在计算机视觉任务中具有重大的意义和价值。近年来,基于深度学习的图像修复模型被广泛应用于该领域中。但是现有的深度学习图像修复模型存在对破损图像中有效信息的利用不足和受破损图像中掩码信息干扰的问题,从而导致修复出的图像的部分结构缺失和部分细节模糊。为此,文中提出了基于残差注意力融合和门控信息蒸馏的图像修复模型。首先,该图像修复模型由生成器和鉴别器两部分组成,生成器的主干结构采用U-Net网络,由编码器和解码器组成;鉴别器采用马尔可夫鉴别器,由6个卷积层组成。然后,在编码器和解码器中分别构建残差注意力融合结构,以增强破损图像中有效信息的利用和减少掩码信息的干扰。最后,在编码器和解码器的跳跃连接中嵌入门控信息蒸馏模块,进一步提取待修复图像中的有效低级特征。在公开人脸和街景数据集上的实验结果表明:文中模型在语义结构和纹理细节方面具有更好的修复效果;文中模型的结构相似性、峰值信噪比、平均绝对值误差、最小平方误差和弗雷歇距离指标均优于5种对比模型,说明文中模型的修复质量优于对比模型。

基于循环残差注意力的群养生猪实例分割

【目的】在群养环境下,实现生猪粘连、杂物遮挡等不同条件下生猪个体的高精度分割。【方法】对真实养殖场景下的8栏日龄20~105 d共45头群养生猪进行研究,以移动相机拍摄图像为数据源,并执行改变亮度、加入高斯噪声等数据增强操作获取标注图片3834张。探究基于2个骨干网络ResNet50、ResNet101与2个任务网络Mask R-CNN、Cascade mask R-CNN交叉结合的多种模型,并将循环残差注意力(RRA)思想引入2个任务网络模型中,在不显著增加计算量的前提下提升模型特征提取能力、提高分割精度。【结果】选用Mask R-CNNResNet50比Cascade mask R-CNN-ResNet50在AP0.5、AP0.75、AP0.5-0.95和AP0.5-0.95-large指标上分别提升4.3%、3.5%、2.2%和2.2%;加入不同数量的RRA模块以探究其对各个任务模型预测性能影响,试验表明加入2个RRA模块后对各个任务模型的提升效果最为明显。【结论】加入2个RRA模块的Mask R-CNN-ResNet50模型可以更精确、有效地对不同场景群养生猪进行分割,为后续生猪身份识别与行为分析提供模型支撑。

基于残差注意力网络的地震数据超分辨率方法

地震数据在油气勘探、地质勘探领域发挥着至关重要的作用。精确详细的地震数据有助于对油气勘探做出精确指导,减小勘探的风险,从而产生巨大的社会效益和经济效益。在提升地震数据分辨率方面,现有的方法在面对海量数据时,在高分辨恢复、去噪性能和效率上效果欠佳,难以恢复出细节丰富的地质信息,无法满足实际需求。地震数据能够反映地质构造以及地层的组成,具有局部相关性高、全局相关性低的特点。同时,地震数据高频部分通常蕴含着地质勘探等重要信息,如分层、断层信息等。针对地震数据的特点,文中将地震数据重建问题转化为图像超分辨率问题,提出了采用基于生成对抗网络的地震数据超分辨方法。针对地震数据分布具有局部相关性高、全局相关性低的特点,设计残差注意力模块,挖掘地震数据的内在相关性,通过训练含有相对生成对抗损失函数的生成对抗网络模型,来对地震数据进行超分辨率恢复,以得到更加精确的地震数据。在真实的地震数据集上进行了实验验证,结果表明,所提方法在地震数据超分辨上效果良好,在性能指标PSNR和SSIM上有3%~4%的提升,具有较强的实用性。

基于残差注意力网络模型的浮游植物识别

浮游植物作为水生态系统中最重要的生物组成部分之一,对水环境敏感,在水环境监测中得到了广泛的关注。然而水生环境复杂多样,准确高效地识别浮游植物是监测工作中的一大挑战。当前浮游植物识别方法可分为经典形态学分类、分子标记和人工智能图像识别三类。前两种方法已被广泛采用,但费时费力,不利于监测机构的大规模应用和推广。同样,利用图像进行自动化分类难以在高准确率与高效率上达到平衡。深度学习技术的发展为此提供了新思路。本文提出一种新的深度卷积神经网络RAN-11。该网络以残差注意力网络Attention-56和Attention-92为基础,凭借通道对齐融合主干上的底层特征与顶层特征,通过调整注意力模块和残差快个数以精简结构,并引入了Leaky ReLU激活函数代替ReLU。以太湖11个优势属共计1036张图像为数据来源进行对比验证。除星杆藻外,RAN-11对单一优势属的的查准率都在90%以上,并且有5个优势属达到100%的查准率。RAN-11的识别准确率为95.67%,推理速率为41.5帧/s,不仅比Attention-92(95.19%的准确率,23.6帧/s)更准确,而且比Attention-56(94.71%的准确率,41.2帧/s)更快,真正兼顾了准确率与效率。研究结果表明:(1)RAN-11在查准率、准确率和推理速率上优于原始残差注意力网络,更优于以词包模型为代表的传统图像识别方法;(2)融合多尺度特征、精简网络结构和优化激活函数是提高卷积神经网络性能的有力手段。建立在经典分类基础之上,本文提出新的残差注意力网络来提升浮游植物鉴定技术,并构建出浮游植物自动化识别系统,识别准确率高、易于推广,对于实现水体中浮游植物的自动化监测具有重要意义。

基于残差注意力机制和子领域自适应的时变转速下滚动轴承故障诊断

针对强噪音、时变转速下滚动轴承振动信号数据特征分布不一致及待监测故障样本不含标签的问题,提出一种残差注意力机制和子领域自适应的无监督迁移学习滚动轴承故障诊断方法。首先,为充分发挥卷积神经网络(convolutional neural networks, CNN)的图像分类能力,将时变转速下采集到的一维时域故障振动信号采用连续小波变换(continuous wavelet transform, CWT)转换成二维灰度图,作为该研究模型的输入;其次,为更好提取源域与目标域的通用特征,特征提取器利用该研究提出的残差通道注意力弱共享网络模型,该模型采用了残差网络的跨层连接方式和通道注意力机制,并弱化了传统网络模型强共享条件;再次,为匹配源域与目标域的条件分布差异,网络自适应层选择局部最大均值差异(local maximum mean discrepancy, LMMD)度量准则;最后,采用时变转速滚动轴承公开故障数据集进行试验验证与分析。结果表明,该研究提出的方法在强噪音、时变转速下平均识别精度达到93%以上,相比于传统CNN模型具有较好的泛化性、鲁棒性。