基于注意力网络尺度特征融合的遥感场景分类

针对遥感数据集存在的类内差异性大和类间相似性高的特点导致遥感场景分类准确率不高的问题,提出了一种基于注意力网络尺度特征融合(MSA-CNN)的遥感影像场景分类模型.将遥感图像经过尺度变换操作输入到VGG-16网络提取遥感影像的多尺度特征,使用多选框注意力模型(MS-APN)提取图像多尺度下的目标区域,对目标区域进行剪切和放大并输入到三层网络结构中.融合原始影像的多尺度特征和目标区域的特征,并且利用LBP对全局特征表达,克服遥感图像因拍摄角度不同带来的差异性.将融合的多尺度特征输入到网络全连接层来完成最终的分类预测任务.实验结果显示:MSA-CNN平均分类精度较注意循环卷积网络(ARCNet)和传统细粒度循环注意力网络(RA-CNN)在NWPU-RESISC45公开数据集上分别提升1.63%和2.66%,在UC Merced Land-Use公开数据集上较RA-CNN提升0.64%.结果表明:提出的MSA-CNN能够有效提高遥感图像场景分类的准确率.

集成全尺度融合和循环注意力的医学图像分割网络

深度学习中的编解码网络在图像特征提取和分层特征融合方面具有卓越的性能,常被用于医学图像分割。但是,目前主流的编解码网络分割方法仍面临编码和解码阶段单一网络挖掘的图像特征信息不足,以及仅使用简单的跳跃连接而无法充分利用全尺度特征包含的粗粒度信息和细粒度信息等问题。为了解决上述问题,提出了一种集成全尺度融合和循环注意力的医学图像分割网络。首先,在U-Net编码器中加入了结合多层感知机(MLP)的卷积MLP模块来提取图像的全局特征信息,用于扩大编码器的特征感受野。其次,通过全尺度特征融合模块使得各尺度跳跃连接特征进行粗粒度信息和细粒度信息的有效融合,减小各尺度跳跃连接特征间的语义差异,突出图像的关键特征信息。最后,解码器通过提出的结合循环神经网络(RNN)和注意力机制的循环注意力解码模块(RADU)来逐级精细化图像特征信息,加强特征提取的同时避免信息冗余,并得到高精度分割结果。在4个数据集上将所提方法与主流较优的方法进行比较,所提方法在像素精度和骰子相似系数两个指标上的图像分割精度均有提高。因此,所提出的用于医学图像分割的编解码网络利用全尺度特征融合模块和循环注意力解码模块,能够获得较优异的高精度分割结果,并且模型具有良好的噪声鲁棒性和抗干扰能力。

结合多尺度特征融合和注意力机制的肺腺癌病理图像分类胶囊网络

病理学家通过分析肺腺癌低级别组织和癌旁组织来确定病灶切除范围,然而,两者间的细胞形态差异较小,分析时依赖病理学家的主观经验,耗时且易误诊.故提出一种结合多尺度特征融合和通道自注意力的胶囊网络(Multi-Scale Feature Fusion with Self-Channel Attention for Capsule Network, MSCNet),用于帮助医生高效诊断疾病,为患者提供更好的治疗方案.首先,设计了多尺度特征融合模块来提升胶囊网络以捕捉同源图像不同尺度间的语义信息,试图减少模型计算量以提高处理速度及分类准确性.其次,通道自注意力(Self-Channel Attention, SCA)模块作为MSCNet的另一重要组件,可以寻找到更具代表性的特征,辅助识别组织病理学图像中的细微特征,降低误诊风险.实验结果表明,在肺腺癌低级别组织与癌旁组织的二分类任务中,MSCNet实现了99.34%的分类准确率、97.65%的F1-Score值和97.57%的精确度.

多尺度特征融合注意力新冠肺炎病灶分割网络

新冠病毒传染性极强,尽早的诊断和治疗是减少疫情造成损失的关键因素。为辅助医生诊断新冠病情,高效、准确地从肺部CT切片中分割新冠病灶,提出了一种改进的编码器-解码器深度神经网络———多尺度融合注意力网络MSANet(Multi-scale Attention Network),以图像分割效果较为出色的U-Net网络为基础,通过全局池化层和设置空洞卷积的采样率,增大网络感受野,捕获多尺度信息,实现对大目标的有效分割;使用通道注意力与空间注意力,在空间维度上建模,有效提取图像深层特征。测试结果表明,改进后的算法与U-Net网络相比,分割的平均交并比提升了1.46%,类别平均像素准确率提升了0.8%,准确率提升了1.17%。

多尺度交叉注意力特征融合的语义分割网络

针对DeepLabv3+语义分割模型在解码阶段仅融合单尺度低级特征,高级与低级特征融合效果差,导致目标分割精度低的问题,本文基于注意力特征融合(AFF)结构和DeepLabv3+网络,提出了CAAF-DeepLabv3+分割网络。首先,该网络引入不同阶段的多尺度浅层特征来优化空间位置信息。其次,采用交叉方式改进AFF,获得交叉注意力特征融合(CAFF)结构,提高特征间的信息交互,且通过学习高级和低级特征在通道上的重要程度,增强显著性特征,克服语义和尺度不一的特征融合问题,以获取高分辨率和高语义信息的融合特征。在道路标线数据集上进行训练和测试的结果表明,对于目标轮廓复杂、小尺寸分布较多的情况,该网络与UNet、PSPNet、DeepLabv3+、MobileNetv2-DeepLabv3+、AFF-DeepLabv3+网络相比较,平均交并比(MIoU)值和平均像素准确率(MPA)值达到最高,漏分割和错误分割明显降低。

杂乱场景中多尺度注意力特征融合抓取检测网络

GSNet使用抓取度区分杂乱场景的可抓取区域,显著地提高了杂乱场景中机器人抓取位姿检测准确性,但是GSNet仅使用一个固定大小的圆柱体来确定抓取位姿参数,而忽略了不同大小尺度的特征对抓取位姿估计的影响.针对这一问题,本文提出了一个多尺度圆柱体注意力特征融合模块(Ms-CAFF),包含注意力融合模块和门控单元两个核心模块,替代了GSNet中原始的特征提取方法,使用注意力机制有效地融合4个不同大小圆柱体空间内部的几何特征,从而增强了网络对不同尺度几何特征的感知能力.在大规模杂乱场景抓取位姿检测数据集GraspNet-1Billion的实验结果表明,在引入模块后将网络生成抓取位姿的精度最多提高了10.30%和6.65%.同时本文将网络应用于实际实验,验证了方法在真实场景当中的有效性.

基于多尺度注意力特征融合的场景文本检测

针对目前文本检测中小尺度文本和长文本检测精度低的问题,提出了一种基于多尺度注意力特征融合的场景文本检测算法。该方法以Mask R-CNN为基线模型,引入Swin_Transformer作为骨干网络提取底层特征。在特征金字塔(feature pyramid networks,FPN)中,通过将多尺度注意力热图与底层特征通过横向连接相融合,使检测器的不同层级专注于特定尺度的目标,并利用相邻层注意力热图之间的关系实现了FPN结构中的纵向特征共享,避免了不同层之间梯度计算的不一致性问题。实验结果表明:在ICDAR2015数据集上,该方法的准确率、召回率和F值分别达到了88.3%、83.07%和85.61%,在CTW1500和Total-Text弯曲文本数据集上相较现有方法均有良好表现。

多尺度残差密集注意力网络图像超分辨率重建

目的使用单一尺度卷积网络提取低分辨率(low-resolution,LR)图像特征会造成大量图像高频特征丢失,为了获取更多高频特征,重建更清晰的超分辨率图像,方法提出一种基于多尺度残差密集注意力网络(multi-scale residual dense attention network)的单幅图像超分辨率重建算法。首先,使用卷积网络从低分辨率图像中提取浅层特征并将其作为后续网络各级输入;其次,采用各级多尺度残差密集注意力块(multi-scale residual dense attention block)处理前级网络图像特征并从中提取图像高频特征,多尺度残差密集网络善于提取更丰富的图像特征,并融入注意力机制,增强网络对高频区域特征的关注;然后,将网络各级提取不同深度的图像特征进行全局特征融合;最后,融合后的特征经上采样输出重建的超分辨率图像。结果放大因子为4时,网络在SET5,SET14,BSDS100,URBAN100和MANGA109数据集上测试,峰值信噪比分别为31.97,28.58,27.57,25.85,29.79 dB;网络中基本模块分别由多尺度残差密集注意力块、残差块和密集块替换提取特征,以峰值信噪比作为模块性能评估标准,多尺度残差密集注意力块表现更优异。结论该网络结合多尺度残差密集网络能够获取更丰富图像高低频信息,融入注意力机制有效对网络中高频信息进行提取,能重建纹理更清晰的超分辨率图像。

基于注意力机制与光照感知网络的红外与可见光图像融合

部分图像融合方法未充分考虑图像环境的光照状况,导致融合图像中出现红外目标亮度不足以及整体画面亮度较低,从而影响纹理细节的清晰度.为解决上述问题,提出一种基于注意力机制与光照感知网络相结合的红外与可见光图像融合算法.首先,在训练融合网络之前利用光照感知网络计算当前场景是日间或夜间的概率,将其运用至融合网络损失函数中,用以指导融合网络训练;然后,在网络的特征提取部分采用空间注意力机制和深度可分离卷积对源图像进行特征提取,得到空间显著信息后,输入卷积神经网络(CNN)以提取深度特征;最后,将深度特征信息进行拼接用于图像重建,进而得到最终的融合图像.实验结果表明:本文方法的互信息(MI)、视觉保真度(VIF)、平均梯度(AG)、融合质量(Qabf)与空间频率(SF)较对比方法分别平均提高39.33%、11.29%、26.27%、47.11%和39.01%;融合后的图像能够有效保留红外目标亮度,且包含丰富的纹理细节信息.

时频域多尺度交叉注意力融合的时间序列分类方法

针对时间序列子序列间的潜在信息交互不足导致分类准确率低的问题,提出时频域多尺度交叉注意力融合的时间序列分类方法TFFormer(Time-Frequency Transformer)。首先,将原始时间序列的时频域谱分别划分为等长子序列,经线性投影后加入位置信息解决时间序列的点值耦合问题;其次,通过改进的多头自注意力(IMHA)模块使模型关注更重要的序列特征,解决长时间序列的前后依赖问题;最后,构造多尺度时频域交叉注意力(CMA)模块增强时间序列在时域和频域之间的信息交互,使模型进一步挖掘序列的频域信息。实验结果表明,在Trace、StarLightCurves和UWaveGestureLibraryAll数据集上,相较于全卷积网络(FCN),所提方法的分类准确率分别提高了0.3、0.9和1.4个百分点,验证了通过增强时间序列时域和频域间的信息交互,可以提高模型收敛速度和分类精度。

一种融合多尺度混合注意力的建筑物变化检测模型

针对高分辨率遥感图像非真实变化所引起的错误检测问题,提出一种新颖的轻量化孪生神经网络建筑物变化检测模型。其中轻量化的特征提取模块可以获取不同尺度的局部上下文信息,使其充分学习局部和全局特征。由通道和空间注意力组成的混合注意力模块可以充分利用周围丰富的时空语义信息,以实现变化建筑物的准确提取。针对变化建筑物尺度跨度较大,容易导致建筑物边缘细节提取粗糙、小尺度建筑物漏检等问题,引入多尺度概念,将提取到的特征图划分为多个子区域,并分别引入混合注意力模块,最终将不同尺度的输出特征进行加权融合,以加强边缘细节提取能力。模型在WHU-CD、LEVIR-CD公开数据集进行实验,并分别取得87.8%和88.1%的F 1值,相较于6种对比模型具有更高的变化检测精度。

基于双重注意力机制生成对抗网络的偏振图像融合

针对单一强度图像缺少偏振信息,在恶劣天气条件下无法提供充足场景信息的问题,本文提出了一种基于双重注意力机制生成对抗网络用于强度图像和偏振度图像进行融合。算法网络由一个包含编码器、融合模块和解码器的生成器和一个鉴别器组成。首先源图像输入到生成器的编码器中,经过一个卷积层和密集块进行特征提取,然后通过含有注意力机制的纹理增强融合模块中进行特征融合,最后通过解码器得到融合图像。鉴别器主要由两个卷积模块和两个注意力模块组成,在网络训练过程中,通过不断博弈,迭代优化生成器网络参数,使生成器输出既保留偏振度图像的稀疏特征又不损失强度图像信息的高质量融合图像。实验表明,该方法得到的融合图像在主观上纹理信息更丰富,更符合人眼的视觉感受,并且在客观评价指标中SD提升约18.5%,VIF提升约22.4%。

基于多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合

针对目前红外与可见光图像融合存在特征提取不足、融合图像目标区域不显著、细节信息缺失等问题,提出了一种多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合方法。首先,设计了多尺度对比度增强模块,以增强目标区域强度信息利于互补信息的融合;其次,采用密集连接块进行特征提取,减少信息损失最大限度利用信息;接着,设计了一种跨维度交互注意力机制,有助于捕捉关键信息,从而提升网络性能;最后,设计了从融合图像到源图像的分解网络使融合图像包含更多的场景细节和更丰富的纹理细节。在TNO数据集上对提出的融合框架进行了评估实验,实验结果表明本文方法所得融合图像目标区域显著,细节纹理丰富,具有更优的融合性能和更强的泛化能力,主观性能和客观评价优于其他对比方法。

多尺度和卷积注意力相结合的红外与可见光图像融合

针对红外与可见光图像融合时,单一尺度特征提取不足、红外目标与可见光纹理细节丢失等问题,提出一种多尺度和卷积注意力相结合的红外与可见光图像融合算法。首先,设计多尺度特征提取模块和可变形卷积注意力模块相结合的编码器网络,多感受野提取红外与可见光图像的重要特征信息。然后,采用基于空间和通道双注意力机制的融合策略,进一步融合红外和可见光图像的典型特征。最后,由3层卷积层构成解码器网络,用于重构融合图像。此外,设计基于均方误差、多尺度结构相似度和色彩的混合损失函数约束网络训练,进一步提高融合图像与源图像的相似性。本算法在公开数据集上与7种图像融合算法进行比较,在主观评价和客观评价方面,所提算法相较其它对比算法具有较好的边缘保持性、源图像信息保留度,较高的融合图像质量。

基于多维度融合注意力的舰船网络异常流量检测

舰船网络通信系统的正常运行是保障舰船安全航行的基础。针对现有舰船网络通信系统访问流量异常检测模型检测精度不高和实时性不强的问题,提出一种基于多维度融合注意力的轻量级舰船网络服务器异常流量检测算法。利用Bidirectional Encoder Representation from Transformers(BERT)作为特征编码器,将捕获的流量数据包映射到深度特征空间;利用深度可分离卷积(Depth-Separable Convolutional, DSC)网络和长短时记忆(Long Short Term Memory, LSTM)神经网络捕获深度编码特征的空间编码特征和时间维度的编码特征;提出一种多维度融合注意力模块,将空间和时间维度的编码特征进行特征融合;利用多维度融合特征进行正常与异常流量的分类。通过在自建的舰船流量异常数据集上进行测试,结果表明所提出模型能够有效检测出舰船网络通信系统的异常访问流量,在保持检测精度的同时,降低了检测时间开销。

基于注意力机制的特征融合孪生网络目标跟踪算法

提出一种基于注意力机制的特征融合孪生网络目标跟踪算法。针对目标跟踪算法特征提取网络深度较浅导致特征鲁棒性不足的问题,使用改进后的ResNet-50网络提取模板帧和搜索帧图像的深层和浅层特征,并利用通道和空间注意力机制对提取得到的深浅层特征进行融合。针对目标跟踪算法仅使用首帧图像作为模板导致模板失效、跟踪漂移等问题,在传统孪生网络中增加一条模板分支以将首帧和搜索帧前一帧图像共同作为目标模板。与传统经典的跟踪方法相比,提出的算法在OTB100和VOT2016数据集的相关实验获得了最佳的性能表现,验证了提出算法的有效性和可行性。

融合注意力和多尺度特征的街景图像语义分割

为了解决在街道场景图像语义分割任务中传统U-Net网络在多尺度类别下目标分割的准确率较低和图像上下文特征的关联性较差等问题,提出一种改进U-Net的语义分割网络AS-UNet,实现对街道场景图像的精确分割.首先,在U-Net网络中融入空间通道挤压激励(spatial and channel squeeze&excitation block,scSE)注意力机制模块,在通道和空间两个维度来引导卷积神经网络关注与分割任务相关的语义类别,以提取更多有效的语义信息;其次,为了获取图像的全局上下文信息,聚合多尺度特征图来进行特征增强,将空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)多尺度特征融合模块嵌入到U-Net网络中;最后,通过组合使用交叉熵损失函数和Dice损失函数来解决街道场景目标类别不平衡的问题,进一步提升分割的准确性.实验结果表明,在街道场景Cityscapes数据集和Cam Vid数据集上AS-UNet网络模型的平均交并比(mean intersection over union,MIo U)相较于传统U-Net网络分别提高了3.9%和3.0%,改进的网络模型显著提升了对街道场景图像的分割效果.

基于注意力机制与多尺度融合的PCB缺陷检测

针对印制电路板(PCB)缺陷区域受背景干扰过多以及缺陷目标尺度较小导致缺陷检测精度低的问题,提出了一种基于注意力机制与多尺度融合的PCB缺陷检测方法。在YOLOv5模型的特征提取网络中,引入一种三维注意力模块,以增强缺陷目标特征的显著度,使模型更加注重目标特征;为充分利用微小缺陷目标的多尺度特征,在特征融合网络中引入加权双向特征金字塔网络(Bi-directional Feature Pyramid Network, BiFPN),减少缺陷目标特征信息的丢失,提高模型对微小缺陷目标的检测精度。实验结果表明,该方法能够准确检测出PCB图像中的缺陷目标,在保证实时性的同时,较原方法的平均检测精度提高了3.9%,表明了该方法的有效性。

基于多脑区注意力机制胶囊融合网络的EEG-fNIRS情感识别

为了提高情感识别的准确率,提出多脑区注意力机制和胶囊融合模块的胶囊网络模型(MBA-CFc CapsNet).通过情感视频片段诱发采集EEG-fNIRS信号,构建TYUT3.0数据集.提取EEG和f NIRS的特征,将其映射到矩阵,通过多脑区注意力机制融合EEG和fNIRS的特征,给予不同脑区特征不同的权重,以提取质量更高的初级胶囊.使用胶囊融合模块,减少进入动态路由机制的胶囊数量,减少模型运行的时间.利用MBA-CFc CapsNet模型在TYUT3.0情感数据集上进行实验,与单模态EEG和f NIRS识别结果相比,2种信号结合情感识别的准确率提高了1.53%和14.35%.MBA-CF-cCapsNet模型与原始CapsNet模型相比,平均识别率提高了4.98%,与当前常用的CapsNet情感识别模型相比提高了1%~5%.

结合注意力机制与多尺度特征融合的视频彩色化方法

针对现有视频彩色化方法难以同时保证着色质量和时间一致性的问题,提出一种结合注意力机制和多尺度特征融合的视频彩色化方法AMVC-GAN。首先,提出以GAN为主体的视频彩色化网络模型,通过在GAN的生成器中设计以循环时间网络为主体的多尺度特征融合模块,来获取不同时间频率的信息;其次,为了有效地考虑相邻帧之间的关系,将不同时间频率提取的特征进行融合,加强帧与帧之间的联系,以此增强彩色化的时间一致性;最后,为了获取更多的有效信息,在主网络的上采样部分引入了注意力模块,并通过使用PatchGAN来对结果进行优化训练,以增强最终的着色效果。在DAVIS和VIDEVO数据集上与先进的全自动视频彩色化方法进行对比实验。结果表明,AMVC-GAN在多项指标上排名第一,具有更好的时间一致性和着色效果。相比于其他方法,AMVC-GAN能够有效地减少时间闪烁,同时保证着色效果更为真实、自然。