基于多尺度残差注意力网络的全色锐化方法

针对传统深度学习的遥感图像全色锐化方法未考虑源图像多尺度方向信息和通道间的关联紧密性,导致融合图像出现空间信息丢失和光谱失真问题,提出了一种基于多尺度残差注意力网络的遥感图像全色锐化方法。将低空间分辨率多光谱(low-resolution multi-spectral, LRMS)图像经过双三次插值上采样与高空间分辨率全色(panchromatic, PAN)图像级联,得到一个5通道图像作为输入;设计3个并行的多尺度残差注意力网络从空间和通道两方面提取源图像不同频度的特征,每个子网络包含浅层特征提取、深层特征提取、特征融合、特征重建过程,将三者的输出进行跳连接获得最终融合图像,将光谱角映射、平均绝对误差和几何梯度权重相加作为一种新的损失函数来训练参数,以提高网络的信息表征能力;选择在WorldView-2和WorldView-3数据集上与其他7种融合方法进行对比实验,并在WorldView-3数据集上对模型的网络结构及损失函数性能进行验证,实验结果表明:该方法在光谱信息和空间信息保持方面具有明显优势。

多尺度残差密集注意力网络图像超分辨率重建

目的使用单一尺度卷积网络提取低分辨率(low-resolution,LR)图像特征会造成大量图像高频特征丢失,为了获取更多高频特征,重建更清晰的超分辨率图像,方法提出一种基于多尺度残差密集注意力网络(multi-scale residual dense attention network)的单幅图像超分辨率重建算法。首先,使用卷积网络从低分辨率图像中提取浅层特征并将其作为后续网络各级输入;其次,采用各级多尺度残差密集注意力块(multi-scale residual dense attention block)处理前级网络图像特征并从中提取图像高频特征,多尺度残差密集网络善于提取更丰富的图像特征,并融入注意力机制,增强网络对高频区域特征的关注;然后,将网络各级提取不同深度的图像特征进行全局特征融合;最后,融合后的特征经上采样输出重建的超分辨率图像。结果放大因子为4时,网络在SET5,SET14,BSDS100,URBAN100和MANGA109数据集上测试,峰值信噪比分别为31.97,28.58,27.57,25.85,29.79 dB;网络中基本模块分别由多尺度残差密集注意力块、残差块和密集块替换提取特征,以峰值信噪比作为模块性能评估标准,多尺度残差密集注意力块表现更优异。结论该网络结合多尺度残差密集网络能够获取更丰富图像高低频信息,融入注意力机制有效对网络中高频信息进行提取,能重建纹理更清晰的超分辨率图像。

基于渐进多尺度注意力残差网络的单幅图像去雨方法

雨水会严重影响场景的能见度,降低成像质量,影响许多计算机视觉系统,如视频监控、自动驾驶等的正常工作。因此从退化的含雨图像中去除雨水是一项迫切的任务。论文提出了一种新的基于渐进式多尺度注意力残差网络模型(PMARnet)用于单幅图像去雨。首先考虑到复杂雨天场景一般包含多个不同特性的雨层,该网络将去雨过程分解为多个阶段,每个阶段使用残差网络预测不同的雨层,避免梯度消失。进一步采用了多尺度注意力残差模块(MAR),以更好地利用多尺度信息提取各层雨带的语义和空间细节特征,有效地表征每个雨层。在Rain100H和Rain100L两个公开数据集中与十一种先进的模型和方法进行了实验对比,我们的模型得到了最好的结果。其中,在Rain100H中,峰值信噪比(PSNR)达到28.06,结构相似度(SSIM)为0.89,较第二好的方法分别提升2.41%和1.14%;在Rain100L中,PSNR达到37.25,SSIM为0.98,较第二好的方法分别提升3.16%和1.03%,证明了该方法的有效性。论文所提出的PMARnet可以有效地在雨条纹层和干净背景图像层之间传播信息。PMARnet网络很好地利用了雨条纹层和背景层,取得了良好的去雨效果。

注意力残差网络结合LSTM的EEG情绪识别研究

基于脑电信号的情感识别已成为情感计算和人机交互领域的一个重要挑战。由于脑电信号中具有时间、空间、频率维度信息,采用结合注意力残差网络与长短时记忆网络的混合网络模型(ECA-ResNet-LSTM)对脑电信号进行特征提取与识别。首先,提取时域分段后脑电信号不同频带微分熵特征,将从不同通道中提取出的微分熵特征转化为四维特征矩阵;然后通过注意力残差网络(ECA-ResNet)提取脑电信号中空间与频率信息,并引入注意力机制重新分配更相关频带信息的权重,长短时记忆网络(LSTM)从ECA-ResNet的输出中提取时间相关信息。实验结果表明:在DEAP数据集唤醒维和效价维二分类准确率分别达到了97.15%和96.13%,唤醒-效价维四分类准确率达到了95.96%,SEED数据集积极-中性-消极三分类准确率达到96.64%,相比现有主流情感识别模型取得了显著提升。

基于注意力机制残差神经网络的近红外芒果种类定性建模方法

现代光谱检测技术的飞速发展与深度学习紧密相关,作为一种端到端的模型,深度神经网络可以从光谱中得到更多信息,从而提升模型鲁棒性。为探究近红外光谱结合深度学习对芒果种类定性预测的可行性,提出一种基于卷积注意力机制(CBAM)的一维残差神经网络(1D-AD-ResNet-18)模型。为降低光谱中冗余信息的干扰,在传统一维残差神经网络(1D-ResNet-18)中嵌入CBAM卷积注意力模块,该模块可重点关注光谱局部有用信息;为避免梯度消失、过拟合情况发生,使用解决网络“退化”问题的ResNet-18。对于186个芒果样本,采用70%的样本进行训练,30%的样本进行测试,采用准确度(Accuracy)、精确率(Precision)、召回率(Recall)、F1值(F1-score)、宏观平均值(Macro-average)以及加权平均值(Weighted-average)作为模型评价指标。建立传统1D-ResNet-18、SNV-SVM和PCA-KNN三种对比模型,与上述三种方法作对比,所建立的1D-AD-ResNet-18模型取得最优预测结果,四种定性分析模型的准确率分别为96.42%,80.35%,76.78%和67.85%。结果表明,1D-AD-ResNet-18模型实现了对芒果种类的准确识别与分类,为近红外光谱定性分析芒果种类提供了新思路。

基于残差单元与注意力门的非对称编解码海杂波抑制网络

针对非均匀海杂波环境下弱小目标检测困难的问题,本文基于复值残差单元和注意力门机制,提出一种用于海杂波抑制的非对称编解码网络(Asymmetric Encoder-Decoder Network,AED-Net).该网络以雷达回波经匹配滤波后得到的复值信号为输入,利用复值残差单元取代常规卷积单元进行弱小目标和海杂波特征的提取,增强网络特征提取能力的同时避免特征信息退化.然后采用注意力门模块将编码路径各模块提取的特征信息分别送入到解码路径对应的模块.最终输出海杂波抑制后的复值信号.由于各注意力门的输入和输出维度可根据网络结构自主选择,该网络设计是一种非对称编解码结构.与典型对称编解码网络UNet相比,复值残差单元与注意力门的引入显著降低了特征信息的冗余度,增强特征信息的提取与传递,提升了海杂波抑制性能.与此同时,复值残差单元的参数规模远小于卷积单元,而注意力门的引入也有效减少解码路径单元的数量,整个网络的参数规模显著减小.基于海杂波实测数据的实验结果表明,与典型复值UNet(Complex Value-UNet,CV-UNet)网络相比,AED-Net的输出信杂比平均提升9 dB,有效工作的最低信杂比降低了3 dB,模型参数量和计算量分别减少57.8%、50%.

基于多残差注意力深度收缩网络的超微光图像增强方法

超微光成像可在极度黑暗的环境中给观察者提供近乎白昼的视觉体验,在许多民用和军事应用中起着至关重要的作用。超微光环境下拍摄的图像和视频通常存在亮度与对比度极低、噪声水平高、场景细节和色彩严重缺失等固有缺陷,近年来,深度学习为超微光成像的研究带来了新的机遇。文中采集并提供了一组实用性更强的超微光训练数据集,提出了一种多残差注意力深度收缩网络(Multi Residual Attention Shrinkage Network),以此实现了一种新的超微光成像方法。通过成功研制的小型化样机证实了该方法的工业量产前景。实现了基于通道注意力和空间注意力的残差内注意力机制,以及基于深度软阈值收缩的外注意力机制,不仅可以有效提取并还原极低照度环境下的图像细节信息,恢复场景真实色彩,而且可以有效去除此类环境下由成像设备感光不足带来的巨量噪声。实测效果显示该方法可对极低照度环境进行有效的增强且实时性高。通过与多种业界最新方法比较,文中方法在主观视觉体验以及客观参数两方面均表现更好。

基于多尺度残差注意力域适应的轴承故障诊断

针对滚动轴承待监测样本在跨机器任务中诊断困难的问题,提出一种基于多尺度残差注意力域适应的滚动轴承故障诊断方法。该方法将滚动轴承振动信号直接作为多尺度注意力残差网络模块的输入,为更好提取源域与目标域的共同特征,该模块引入多尺度卷积提取特征信息、注意力机制的压缩激励网络解决数据差异性与残差网络的跨层连接,域自适应部分采用局部最大均值差异度量准则,并选择滚动轴承公开故障数据集进行对比与消融试验。试验结果表明:提出的多尺度残差注意力域适应的滚动轴承故障诊断方法在跨机器任务下平均识别精度达到99.1%,相比于其他方法具有较好的泛化性能。所得结论可为滚动轴承故障监测与诊断提供理论依据。

基于注意力改进残差网络结构的表情识别方法

针对目前CNN在复杂图像中特征提取不充分的问题,提出一种基于注意力的改进残差网络的表情识别网络。设计一个双流网络在完成粗特征表情识别的同时检测关键点,并使用注意力机制增大关键点周边特征的权重。随后以残差网络为基础模型,改进残差块之间的跳跃连接方式,并将残差块中的普通卷积改进为分组卷积来强化特征提取能力。最后联合两个表情识别网络进行分类,实验结果验证了该模型方案有着更卓越的性能。

基于纹理先验的扩张残差注意力相似性去噪网络

目前,大多数基于卷积神经网络的图像去噪模型不能充分利用图像数据的冗余性,这限制了模型的表达能力。而且,为了有效去噪,往往将边缘信息用作先验知识,而纹理信息通常被忽略。针对这些问题,提出一种新的图像去噪网络,该网络首先使用注意力相似性模块提取图像的全局相似性特征,通过平均池化来平滑和抑制注意力相似性模块中的噪声,以进一步提高网络性能;其次使用扩张残差模块来提取图像的局部和全局特征;最后使用全局残差学习增强网络从浅层到深层的去噪效果。此外,还设计一种纹理提取网络从噪声图像中提取局部二值模式以获取纹理信息,利用纹理信息作为先验知识,可在去噪过程中保留演化图像中的细节。实验结果表明,与一些先进的去噪网络相比,新提出的去噪网络在图像视觉上有很大改善、效率更高且峰值信噪比提高了2 dB左右,结构相似性提高了3%左右,更有利于实际应用。

基于注意力机制和深度残差网络的滚动轴承故障诊断

针对现有的滚动轴承诊断模型特征提取能力不足、诊断准确率不高的问题,提出一种注意力机制与一维深度残差网络相结合的故障诊断方法。该方法首先通过引入残差结构来防止深度网络性能退化,然后结合注意力机制来提高网络的特征提取能力,最后使用原始的滚动轴承振动信号训练故障特征分类器。针对变工况故障诊断,本文采用小样本迁移学习框架。在两个开源实验平台上的结果表明,该方法能够有效地提高滚动轴承故障诊断的准确率,为实际应用提供一定的理论参考。

融合自注意力与残差神经网络的3D打印激光在机测量误差修正方法

激光测量能够实现高效地非接触实时测量,被广泛应用于3D打印领域,但激光测量容易受测量条件、外部环境等多种因素的干扰,这些因素错综复杂,难以量化分析。为此,结合直射式激光三角测量原理,在分析测量精度影响因素的基础上,提出了一种基于融合自注意力和残差神经网络的3D打印在机测量误差修正方法。首先,将影响测量精度的因素作为输入变量,采集激光测量值,得到样本数据集;然后利用残差网络提取出样本数据的深层次特征,并引入自注意力机制建立影响因素之间的联系,得到带权重的提取特征;再通过全连接网络对带权重特征进行学习,得到测量误差的预测值,基于该预测值完成对测量误差的修正。自主搭建了一套激光在机测量系统,采用红、绿、紫3种同材质彩色卡纸进行实验验证。结果表明,所提的方法与卷积神经网络和自注意力神经网络相比,均方误差、均方根误差和平均绝对误差均最小,稳定性最好,修正结果最接近真实值;对激光测量结果进行校正后,使其误差由原来的±28μm减小到±9μm以下,显著提高了3D打印激光在机测量的精度和稳定性。

基于残差神经网络和注意力机制的频谱感知方法

随着通信技术的发展,频谱感知技术已经成为解决频谱资源稀缺的重要解决手段之一。针对传统的频谱感知方法在低信噪比(Signal to Noise Ratio,SNR)下准确率较低的问题,提出一种基于残差神经网络和注意力机制相结合的正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)频谱感知方法。将频谱感知问题转化为图像二分类任务。通过分析OFDM信号的循环自相关特征,将其灰度处理以生成循环自相关灰度图像。利用改进后的残差神经网络进行训练,提取这些灰度图像的深层特征,使用测试数据验证所得到的频谱感知模型。仿真实验结果表明,在低SNR条件下,所提方法表现出更出色的频谱感知性能,优于传统频谱感知技术。

基于深度残差网络和注意力机制的特殊车牌识别

为解决现有车牌识别算法在面对旋转倾斜车牌以及双行车牌图像时识别精度偏低的问题,提出一种基于深度残差网络和注意力机制的特殊车牌识别算法。优化深度残差网络结构,使模型更好提取低分辨率车牌图像的特征;取消对特征图平均池化操作,在保留图像全局特征的前提下,将多维特征化为特征序列;引入注意力机制对特征序列并行解码,加快模型推理速度,提升特殊车牌的识别精度。实验结果表明,与现有的文字识别模型CRNN、DAN、ASTER对比,在公开车牌数据集CCPD上取得了更高的准确率,验证了模型的有效性。

基于时空Inception残差注意力网络的脑电情绪识别

为了提高脑电情绪识别分类精度,最大限度利用脑电信号的空间和时间信息,提出一种Inception残差注意力卷积神经网络与双向长短期记忆(bi-directional long short-term memory, BiLSTM)网络相结合的新型架构时空Inception残差注意力网络。将脑电信号采集电极位置映射到二维矩阵中,采集信号作为通道,构成三维数据;将得到的三维数据输入到时空Inception残差注意力卷积网络之中,提取时空信息;将得到的特征输入到全连接层进行分类;将Inception结构引入脑电情绪识别领域,实现多尺度特征提取,并将电极映射到矩阵之中,保留电极位置信息,使用时空Inception残差注意力网络从时空两个维度获取脑电相关信息。实验表明,使用该模型对DEAP数据集进行情绪四分类可得到93.71%的准确度,相较于对比模型,识别精度提高了10%~20%。提出的模型在脑电信号情绪识别领域具有优良性能。

基于残差神经网络、双向长短期记忆网络和注意力机制的肠鸣音检测方法研究

肠鸣音可以反映胃肠道的运动和健康状况,然而,传统的人工听诊方式存在主观性偏差且耗时耗力。为了更好地辅助医生对肠鸣音的诊断,提高肠鸣音检测的可靠性和高效性,该研究提出了一种结合残差神经网络(ResNet)、双向长短期记忆网络(BiLSTM)和注意力机制的深度神经网络模型。首先使用自主研发的多通道肠鸣音采集系统采集了大量带标签的临床数据,采用多尺度小波分解和重构方法对肠鸣音信号进行预处理,然后提取对数梅尔谱图特征送入网络进行训练,最后通过10折交叉验证和消融实验来评估模型的性能和验证其有效性。实验结果表明,该模型在精确率、召回率和F1分数方面分别达到了83%、76%和79%,能够有效地检测出肠鸣音片段并定位其起止时间,表现优于以往的算法。该算法不仅可以为医生在临床实践中提供辅助信息,还为肠鸣音的进一步分析和研究提供了技术支撑。

基于残差注意力多尺度关系网络的逻辑推理

逻辑推理是感知视觉元素间规律和联系的能力,使计算机拥有类人的推理能力是一项重要的研究内容。在大量数据和深度模型的驱动下,现今人工智能已在图像处理等领域中取得超越人类水平的表现,但通过图像进行逻辑推理的能力还较落后。为解决面向逻辑推理的多尺度关系网络(MRNet)特征提取能力不足及泛化性较差的问题,提出一种改进的残差注意力多尺度关系网络(ResAMRNet)。在主干网络中,利用残差结构并结合跳跃连接与长跳跃连接,将浅层特征融入深层网络训练过程中,减少特征信息丢失,并提高模型特征提取能力。在推理模块中,将通道注意力机制与残差模块相融合检测每行图片间的关系特征,差异化各特征通道的重要程度,自适应学习注意力权重,提取关键特征。设计双池化高效通道注意力机制,结合全局最大池化进一步获取对象的特征信息,提高模型泛化性。在RAVEN和I-RAVEN数据集上的实验结果表明,ResAMRNet的分类准确率相比于MRNet分别提升了8.3和18.1个百分点,具有较强的逻辑推理能力。

基于感受野扩展残差注意力网络的图像超分辨率重建

针对现有残差网络存在残差特征利用不充分、细节丢失的问题,提出一种结合两层残差聚合结构和感受野扩展双注意力机制的深度神经网络模型,用于单幅图像超分辨率(SISR)重建。该模型通过跳跃连接形成两层嵌套的残差聚合网络结构,对网络各层提取的大量残差信息进行分层聚集和融合,能减少包含图像细节的残差信息的丢失。同时,设计一种多尺度感受野扩展模块,能捕获更大范围、不同尺度的上下文相关信息,促进深层残差特征的有效提取;并引入空间-通道双注意力机制,增强残差网络的判别性学习能力,提高重建图像质量。在数据集Set5、Set14、BSD100和Urban100上进行重建实验,并从客观指标和主观视觉效果上将所提模型与主流模型进行比较。客观评价结果表明,所提模型在全部4个测试数据集上均优于对比模型,其中,相较于经典的超分辨率卷积神经网络(SRCNN)模型和性能次优的对比模型ISRN(Iterative Super-Resolution Network),在放大2倍、3倍、4倍时的平均峰值信噪比(PSNR)分别提升1.91、1.71、1.61 dB和0.06、0.04、0.04 dB;视觉效果对比显示,所提模型恢复的图像细节纹理更清晰。

基于注意力残差网络的特征肌电图手势识别

基于表面肌电信号的手势识别方法效果欠佳,提出一种信号的特征样本构造方法和注意力残差网络(ARN),用于识别NinaproDB1中的23类功能性抓握手势.样本构造过程中利用巴特沃斯滤波器对表面肌电信号进行一阶1 Hz低通滤波,去除噪声干扰并保留通频带和过渡带信号;用时间窗截取滤波信号生成表面肌电图;计算信号平均绝对值、方差和波长特征,融合生成特征肌电图.引入注意力机制和残差连接改进卷积神经网络,搭建ARN用于手势识别.将特征肌电图样本输入ARN,在测试集中的手势识别准确率为86.87%,证明构造的信号特征样本结合ARN识别实用手势的有效性.

集成全尺度融合和循环注意力的医学图像分割网络

深度学习中的编解码网络在图像特征提取和分层特征融合方面具有卓越的性能,常被用于医学图像分割。但是,目前主流的编解码网络分割方法仍面临编码和解码阶段单一网络挖掘的图像特征信息不足,以及仅使用简单的跳跃连接而无法充分利用全尺度特征包含的粗粒度信息和细粒度信息等问题。为了解决上述问题,提出了一种集成全尺度融合和循环注意力的医学图像分割网络。首先,在U-Net编码器中加入了结合多层感知机(MLP)的卷积MLP模块来提取图像的全局特征信息,用于扩大编码器的特征感受野。其次,通过全尺度特征融合模块使得各尺度跳跃连接特征进行粗粒度信息和细粒度信息的有效融合,减小各尺度跳跃连接特征间的语义差异,突出图像的关键特征信息。最后,解码器通过提出的结合循环神经网络(RNN)和注意力机制的循环注意力解码模块(RADU)来逐级精细化图像特征信息,加强特征提取的同时避免信息冗余,并得到高精度分割结果。在4个数据集上将所提方法与主流较优的方法进行比较,所提方法在像素精度和骰子相似系数两个指标上的图像分割精度均有提高。因此,所提出的用于医学图像分割的编解码网络利用全尺度特征融合模块和循环注意力解码模块,能够获得较优异的高精度分割结果,并且模型具有良好的噪声鲁棒性和抗干扰能力。