基于多尺度注意力导向网络的单目图像深度估计

针对现有基于深度学习的单目图像深度估计算法存在的空间分辨率低和边缘模糊等问题,提出了一种基于多尺度注意力导向网络的单目图像深度估计算法。首先设计了一个端到端的编码器-解码器模型,编码器以多个尺度进行特征提取。为了保证更好的深度连续性,解码器结合残差学习以及通道注意力融合,对提取的多尺度特征逐步优化细节以及场景结构。考虑到多次下采样会导致深度图细节的丢失,设计了边界增强模块,通过引入空间注意力,提升不同物体的类间对比度以增强图像的边界细节。最后,优化模块融合来自解码器和边界增强模块的多尺度特征,生成深度图像。实验结果表明,与当前主流的算法相比,文中算法生成的深度图像质量得到了提高,表现出了更细致的物体轮廓信息,在客观指标和主观效果上均有良好的表现。

多尺度残差密集注意力网络图像超分辨率重建

目的使用单一尺度卷积网络提取低分辨率(low-resolution,LR)图像特征会造成大量图像高频特征丢失,为了获取更多高频特征,重建更清晰的超分辨率图像,方法提出一种基于多尺度残差密集注意力网络(multi-scale residual dense attention network)的单幅图像超分辨率重建算法。首先,使用卷积网络从低分辨率图像中提取浅层特征并将其作为后续网络各级输入;其次,采用各级多尺度残差密集注意力块(multi-scale residual dense attention block)处理前级网络图像特征并从中提取图像高频特征,多尺度残差密集网络善于提取更丰富的图像特征,并融入注意力机制,增强网络对高频区域特征的关注;然后,将网络各级提取不同深度的图像特征进行全局特征融合;最后,融合后的特征经上采样输出重建的超分辨率图像。结果放大因子为4时,网络在SET5,SET14,BSDS100,URBAN100和MANGA109数据集上测试,峰值信噪比分别为31.97,28.58,27.57,25.85,29.79 dB;网络中基本模块分别由多尺度残差密集注意力块、残差块和密集块替换提取特征,以峰值信噪比作为模块性能评估标准,多尺度残差密集注意力块表现更优异。结论该网络结合多尺度残差密集网络能够获取更丰富图像高低频信息,融入注意力机制有效对网络中高频信息进行提取,能重建纹理更清晰的超分辨率图像。

集成全尺度融合和循环注意力的医学图像分割网络

深度学习中的编解码网络在图像特征提取和分层特征融合方面具有卓越的性能,常被用于医学图像分割。但是,目前主流的编解码网络分割方法仍面临编码和解码阶段单一网络挖掘的图像特征信息不足,以及仅使用简单的跳跃连接而无法充分利用全尺度特征包含的粗粒度信息和细粒度信息等问题。为了解决上述问题,提出了一种集成全尺度融合和循环注意力的医学图像分割网络。首先,在U-Net编码器中加入了结合多层感知机(MLP)的卷积MLP模块来提取图像的全局特征信息,用于扩大编码器的特征感受野。其次,通过全尺度特征融合模块使得各尺度跳跃连接特征进行粗粒度信息和细粒度信息的有效融合,减小各尺度跳跃连接特征间的语义差异,突出图像的关键特征信息。最后,解码器通过提出的结合循环神经网络(RNN)和注意力机制的循环注意力解码模块(RADU)来逐级精细化图像特征信息,加强特征提取的同时避免信息冗余,并得到高精度分割结果。在4个数据集上将所提方法与主流较优的方法进行比较,所提方法在像素精度和骰子相似系数两个指标上的图像分割精度均有提高。因此,所提出的用于医学图像分割的编解码网络利用全尺度特征融合模块和循环注意力解码模块,能够获得较优异的高精度分割结果,并且模型具有良好的噪声鲁棒性和抗干扰能力。

DMANet:针对空间非合作目标位姿估计的密集多尺度注意力网络

利用单目相机对空间非合作目标进行准确的姿态估计对于空间碎片清除、自主交会和其他在轨服务至关重要。然而,单目姿态估计方法缺乏深度信息,导致尺度不确定性问题,大大降低了其精度和实时性。本文首先提出了一种多尺度注意块(Multi-scale attention block, MAB),从输入图像中提取复杂的高维语义特征。其次,基于MAB模块,提出了空间非合作目标6自由度位姿估计的密集多尺度注意网络(Dense multi-scale attention network, DMANet),该网络由平面位置估计、深度位置估计和姿态估计3个分支组成,通过引入基于欧拉角的软分类方法,将位姿回归问题表述为经典分类问题。此外,设计了空间非合作目标模型,并利用Coppeliasim构建了姿态估计数据集。最后,与其他最先进的方法相比,在SPEED+、URSO数据集和本文数据集上全面评估了所提出的方法。实验结果表明,该方法具有较好的姿态估计精度。

基于轻量化多尺度融合注意力网络的古代壁画脱落区域自动标定

针对古代壁画脱落区域难以准确自动标定的问题,文中提出了一种基于多尺度融合注意力网络的轻量化网络模型。首先,提出多尺度融合注意力模块使网络能够学习到更多不同尺度的特征,并重点关注其中更重要的特征,从而提高标定壁画脱落区域的准确率。在提出的多尺度融合注意力模块中采用了深度可分离卷积,使网络模型更加轻量化。其次,采用交叉熵损失与Dice得分相结合的方式作为损失函数,并采用Adam优化器进一步提高标定壁画脱落区域的准确率。此外,构建了敦煌莫高窟壁画和云南石屏罗色庙壁画数据集,并对其脱落区域进行了人工标定。实验结果表明,所提网络模型能够准确地标定出古代壁画中的脱落病害区域。与现有深度学习方法进行对比,所提模型的参数量显著减少,且在主观视觉质量、客观评价指标以及泛化性能上都有更好的表现。

结合多尺度特征融合和注意力机制的肺腺癌病理图像分类胶囊网络

病理学家通过分析肺腺癌低级别组织和癌旁组织来确定病灶切除范围,然而,两者间的细胞形态差异较小,分析时依赖病理学家的主观经验,耗时且易误诊.故提出一种结合多尺度特征融合和通道自注意力的胶囊网络(Multi-Scale Feature Fusion with Self-Channel Attention for Capsule Network, MSCNet),用于帮助医生高效诊断疾病,为患者提供更好的治疗方案.首先,设计了多尺度特征融合模块来提升胶囊网络以捕捉同源图像不同尺度间的语义信息,试图减少模型计算量以提高处理速度及分类准确性.其次,通道自注意力(Self-Channel Attention, SCA)模块作为MSCNet的另一重要组件,可以寻找到更具代表性的特征,辅助识别组织病理学图像中的细微特征,降低误诊风险.实验结果表明,在肺腺癌低级别组织与癌旁组织的二分类任务中,MSCNet实现了99.34%的分类准确率、97.65%的F1-Score值和97.57%的精确度.

一种结合多尺度策略的光谱-空间注意力网络用于高光谱图像分类

针对高光谱图像(HSI)分类任务中光谱和空间局部细节特征提取不足的问题,提出了一种创新的光谱-空间注意力网络MSSAN.该网络结构包含光谱和空间特征提取模块,每个模块都集成了多尺度扩张卷积块、残差提取块、密集提取块和注意力机制.残差和密集提取块整合浅层和深层特征,多尺度扩张卷积块辅助提取局部细节特征.随后的注意力机制凸显关键特征,充分利用光谱和空间信息.对比实验显示:MSSAN在IP、UP和SV三个数据集上表现出色,优于目前的先进算法.消融实验验证了MSSAN各模块组合的有效性.

基于多尺度双注意力网络的植物病虫害识别

植物病虫害问题是农业上的重大难题,准确识别植物病虫害是农业病虫害预防和治理的关键步骤。经验丰富的植物病理专家通过观察叶片状态来进行诊断,不仅费时、费力,对于农民来说还需要付很大的成本来联系专家。因此,在ResNet模型的基础上设计了一种高效的多尺度双注意力模型(Multiscale Dual Attention Network)的植物病虫害识别方法。首先,通过多尺度卷积获取不同尺度的子特征图,然后,使用空间注意力和通道注意力对输入叶片重要特征进行加权处理。深度提取叶片图像中重要的全局特征和局部特征,快速准确的对植物病害进行识别。实验结果表明,在AI Challenge2018的植物病害数据集中,MDANet获得了90.2%的准确率,与其它卷积神经网络模型相比有着明显的优势。

基于渐进多尺度注意力残差网络的单幅图像去雨方法

雨水会严重影响场景的能见度,降低成像质量,影响许多计算机视觉系统,如视频监控、自动驾驶等的正常工作。因此从退化的含雨图像中去除雨水是一项迫切的任务。论文提出了一种新的基于渐进式多尺度注意力残差网络模型(PMARnet)用于单幅图像去雨。首先考虑到复杂雨天场景一般包含多个不同特性的雨层,该网络将去雨过程分解为多个阶段,每个阶段使用残差网络预测不同的雨层,避免梯度消失。进一步采用了多尺度注意力残差模块(MAR),以更好地利用多尺度信息提取各层雨带的语义和空间细节特征,有效地表征每个雨层。在Rain100H和Rain100L两个公开数据集中与十一种先进的模型和方法进行了实验对比,我们的模型得到了最好的结果。其中,在Rain100H中,峰值信噪比(PSNR)达到28.06,结构相似度(SSIM)为0.89,较第二好的方法分别提升2.41%和1.14%;在Rain100L中,PSNR达到37.25,SSIM为0.98,较第二好的方法分别提升3.16%和1.03%,证明了该方法的有效性。论文所提出的PMARnet可以有效地在雨条纹层和干净背景图像层之间传播信息。PMARnet网络很好地利用了雨条纹层和背景层,取得了良好的去雨效果。

联合注意力机制和多尺度特征的图像语义分割网络

针对卷积神经网络在图像语义分割时存在部分语义信息丢失、边界定位精度较低等问题,提出联合注意力机制和多尺度特征的卷积神经网络.首先基于注意力机制将网络提取到的多尺度特征进行加权融合,然后采用扩张卷积和全局平均池化聚合多尺度目标信息,最后采用边界精细粒度特征提取模块对分割边界进行优化.在多尺度PASCAL VOC2012和高分辨率Cityscapes数据集上的实验结果表明,所提网络的分割效果显著优于骨干网络ResNet-101,平均交并比分别提高12.2个百分点和9.3个百分点.

基于多尺度注意力机制网络的玉米害虫识别方法

玉米是我国主要的农业粮食作物,害虫严重影响其产量和质量。为快速、准确地识别玉米害虫,针对现有卷积神经网络识别方法需要大量数据集和关键特征易丢失等问题,提出一种基于多尺度注意力机制网络(MCANet)的玉米害虫识别方法。首先,该方法采用空间金字塔循环(SPR)模块提取不同害虫图像的类型和位置信息;其次,在特征融合模块中引入多级通道注意力机制模块,以保障高维语义信息与低维特征的有效融合;同时将多尺度空洞卷积模块引入多级通道注意力网络模型,构建多尺度多通道注意力网络模型,来提取多尺度判别特征,提高模型的识别效率;最后,在1个较小的玉米害虫图像数据集上进行试验,实现对玉米红缘灯蛾、叶夜蛾、玉米黏虫、玉米螟害虫的识别,当训练样本与测试样本之比为90∶10时,玉米害虫识别准确率高达91.60%,与多尺度残差神经网络(MSRNN)、改进卷积神经网络(ICNN)、VGG-ICNN、轻量级CNN(LWCNN)相比,识别率分别提高24.40、18.77、8.00、4.40百分比。结果表明,该方法在小训练样本集中具有较强的鲁棒性和较高的识别率,为农作物病虫害智能化防治提供技术支持。

基于多尺度卷积神经网络和注意力机制的模拟电路早期故障诊断方法

模拟电路具有非线性、元件容差等特性,导致不同故障模式之间存在混叠现象,特别是模拟电路早期故障,这大大增加了故障诊断的难度。因此,提出了一种基于小波变换和多尺度特征注意力卷积神经网络(MS-FACNN)的模拟电路早期故障诊断方法,采用小波变换得到脉冲响应信号的多尺度分量,利用设计好的MS-FACNN网络自动提取更加全面且高可分性故障特征,并实现故障模式识别。此外,采用高效通道注意力(ECA)聚焦故障高相关性特征,过滤低相关性的冗余信息,进一步提升模型特征提取能力。实验结果表明,相比传统方法,所提方法具有更强的故障特征提取能力,对四运放双二阶高通滤波器早期故障诊断的准确率达到99.18%。

一种融合多尺度混合注意力的建筑物变化检测模型

针对高分辨率遥感图像非真实变化所引起的错误检测问题,提出一种新颖的轻量化孪生神经网络建筑物变化检测模型。其中轻量化的特征提取模块可以获取不同尺度的局部上下文信息,使其充分学习局部和全局特征。由通道和空间注意力组成的混合注意力模块可以充分利用周围丰富的时空语义信息,以实现变化建筑物的准确提取。针对变化建筑物尺度跨度较大,容易导致建筑物边缘细节提取粗糙、小尺度建筑物漏检等问题,引入多尺度概念,将提取到的特征图划分为多个子区域,并分别引入混合注意力模块,最终将不同尺度的输出特征进行加权融合,以加强边缘细节提取能力。模型在WHU-CD、LEVIR-CD公开数据集进行实验,并分别取得87.8%和88.1%的F 1值,相较于6种对比模型具有更高的变化检测精度。

时频域多尺度交叉注意力融合的时间序列分类方法

针对时间序列子序列间的潜在信息交互不足导致分类准确率低的问题,提出时频域多尺度交叉注意力融合的时间序列分类方法TFFormer(Time-Frequency Transformer)。首先,将原始时间序列的时频域谱分别划分为等长子序列,经线性投影后加入位置信息解决时间序列的点值耦合问题;其次,通过改进的多头自注意力(IMHA)模块使模型关注更重要的序列特征,解决长时间序列的前后依赖问题;最后,构造多尺度时频域交叉注意力(CMA)模块增强时间序列在时域和频域之间的信息交互,使模型进一步挖掘序列的频域信息。实验结果表明,在Trace、StarLightCurves和UWaveGestureLibraryAll数据集上,相较于全卷积网络(FCN),所提方法的分类准确率分别提高了0.3、0.9和1.4个百分点,验证了通过增强时间序列时域和频域间的信息交互,可以提高模型收敛速度和分类精度。

基于多尺度注意力的生成式信息隐藏算法

针对现有生成式信息隐藏算法嵌入容量低且提取的秘密图像视觉质量欠佳的问题,提出基于多尺度注意力的生成式信息隐藏算法。首先,设计基于多尺度注意力的双编码-单解码生成器,载体图像与秘密图像的特征在编码端分两个支路独立提取,在解码端通过多尺度注意力模块进行融合,并利用跳跃连接为解码端提供不同尺度的细节特征,从而获得高质量的载密图像。其次,在U-Net结构的提取器中引入自注意力模块,以弱化载体图像特征、增强秘密图像深层特征,并利用跳跃连接弥补秘密图像细节特征,提高秘密信息提取的准确率;同时,多尺度判决器与生成器的对抗训练可以有效提升载密图像的视觉质量。实验结果表明,所提算法在嵌入容量为24 bpp的情况下,生成的载密图像峰值信噪比(PSNR)和结构相似性(SSIM)平均可达到40.93 dB和0.9883,且提取的秘密图像PSNR和SSIM平均可达到30.47 dB和0.9543。

基于多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合

针对目前红外与可见光图像融合存在特征提取不足、融合图像目标区域不显著、细节信息缺失等问题,提出了一种多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合方法。首先,设计了多尺度对比度增强模块,以增强目标区域强度信息利于互补信息的融合;其次,采用密集连接块进行特征提取,减少信息损失最大限度利用信息;接着,设计了一种跨维度交互注意力机制,有助于捕捉关键信息,从而提升网络性能;最后,设计了从融合图像到源图像的分解网络使融合图像包含更多的场景细节和更丰富的纹理细节。在TNO数据集上对提出的融合框架进行了评估实验,实验结果表明本文方法所得融合图像目标区域显著,细节纹理丰富,具有更优的融合性能和更强的泛化能力,主观性能和客观评价优于其他对比方法。

基于注意力机制的生成对抗网络图像超分辨重建

针对传统图像超分辨重建技术中存在的特征丢失和缺乏高频细节的问题,在生成对抗网络的基础上结合注意力机制对网络进行改进.生成网络中通过多尺度残差注意力模块,学习不同尺度的图像特征,增强对图像高频细节的学习;再通过整体注意力模块,进一步捕获更多的信息特征,提高网络对图像细节的还原能力,用于最终重建.判别网络中使用非对称卷积替代传统卷积,减少参数计算量;并引入自注意力机制更精确地获取图像全局信息,提高网络重建性能.实验结果表明,重建后图像和原始图像相比具有更多的高频纹理细节,与7种常见的图像超分辨方法相比,PSNR(Picture Signal to Noise Ratio)平均提升约2.43 dB,SSIM(Structural Similarity Image Measurement)平均提升约0.1.

基于多尺度与注意力机制的毛尖茶分类及掺假程度

针对消费者在生活中难以区分毛尖茶品种及掺假程度多少的问题,提出了一种基于多尺度特征提取与高效通道注意力机制相结合的网络模型.在DenseNet121的基础上使用多尺度特征提取结构替换原来单一的卷积核,丰富特征层信息,在模型的密集连接块中引入ECA-Net注意力机制,增强有效特征信息的传递,而后,对模型的参数进行调优,进一步提高模型的识别性能.结果表明:改进后的MS-ECA-DenseNet121-C分类模型在收集的8个类别的毛尖种类及掺假种类数据集上的识别准确率达到了96.95%,可以有效鉴别毛尖茶品种的真实性,且改进后的模型大小仅为27.3 MB,便于部署于手机端,在茶叶识别领域具有一定的应用价值.

基于注意力机制和多尺度残差网络的农作物病害识别

针对传统农作物病害识别方法依靠人工提取特征,步骤复杂且低效,难以实现在田间环境下识别的问题,提出一种多尺度卷积结构与注意力机制结合的农作物病害识别模型。该研究在残差网络(ResNet18)的基础上进行改进,引入Inception模块,利用其多尺度卷积核结构对不同尺度的病害特征进行提取,提高了特征的丰富度。在残差结构的基础上加入注意力机制SENet(Squeeze-and-excitation networks),增强了有用特征的权重,减弱了噪声等无用特征的影响,进一步提高特征提取能力并且增强了模型的鲁棒性。实验结果表明,改进后的多尺度注意力残差网络模型(Multi-Scale-SE-ResNet18)在复杂田间环境收集的8种农作物病害数据集上的平均识别准确率达到95.62%,相较于原ResNet18模型准确率提高10.92个百分点,模型占用内存容量仅为44.2 MB。改进后的Multi-Scale-SE-ResNet18具有更好的特征提取能力,可以提取到更多的病害特征信息,并且较好地平衡了模型的识别精度与模型复杂度,可为田间环境下农作物病害识别提供参考。

基于尺度注意力网络的遥感图像场景分类

针对卷积神经网络(CNN)平等地对待输入图像中潜在的对象信息和背景信息,而遥感图像场景又存在许多小对象和背景复杂的问题,提出一种基于注意力机制和多尺度特征变换的尺度注意力网络模型。首先,开发一个快速有效的注意力模块,基于最优特征选择生成注意力图;然后,在ResNet50网络结构的基础上嵌入注意力图,增加多尺度特征融合层,并重新设计全连接层,构成尺度注意力网络;其次,利用预训练模型初始化尺度注意力网络,并使用训练集对模型进行微调;最后,利用微调后的尺度注意力网络对测试集进行分类预测。该方法在实验数据集AID上的分类准确率达到95.72%,与ArcNet方法相比分类准确率提高了2.62个百分点;在实验数据集NWPU-RESISC上分类准确率达到92.25%,与IORN方法相比分类准确率提高了0.95个百分点。实验结果表明,所提方法能够有效提高遥感图像场景分类准确率。