基于多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合

针对目前红外与可见光图像融合存在特征提取不足、融合图像目标区域不显著、细节信息缺失等问题,提出了一种多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合方法。首先,设计了多尺度对比度增强模块,以增强目标区域强度信息利于互补信息的融合;其次,采用密集连接块进行特征提取,减少信息损失最大限度利用信息;接着,设计了一种跨维度交互注意力机制,有助于捕捉关键信息,从而提升网络性能;最后,设计了从融合图像到源图像的分解网络使融合图像包含更多的场景细节和更丰富的纹理细节。在TNO数据集上对提出的融合框架进行了评估实验,实验结果表明本文方法所得融合图像目标区域显著,细节纹理丰富,具有更优的融合性能和更强的泛化能力,主观性能和客观评价优于其他对比方法。

融合多尺度特征和注意力机制的超声甲状腺结节分割

针对目前超声影像下甲状腺结节分割不够精准的问题,提出一种融合多尺度特征和注意力机制的超声甲状腺结节分割方法。该模型编码设计了多感受野通道选择模块,通过核心选择注意力对多个不同感受野的特征进行自适应加权组合,使包含目标的感受野通道占据主导。同时,设计自适应全局上下文模块自适应地提取瓶颈层多个尺度的全局上下文特征,以实现对瓶颈层高级语义的有效编码。此外,设计双注意力引导模块增强编解码器对等层之间的特征融合,以减少上采样过程中的信息损失。在公开的超声甲状腺结节数据集上进行实验,结果表明,文中所提方法优于其他对比网络,能更加精准地分割出甲状腺结节,有效提升了甲状腺结节的分割性能。

基于多尺度特征融合和注意力机制的矿区道路障碍检测

为解决复杂露天矿区背景下的行车障碍检测问题,提出一种基于改进跨尺度特征融合的矿区道路障碍检测算法。首先,针对原始矿山数据集中小目标样本类别不平衡的问题,采用一种基于几何变换和加权泊松融合的数据增强方法扩大样本数量;其次,在特征提取阶段提出更适用于障碍检测的跨阶段连接网络,以增大检测尺度,提高算法对小目标特征的学习能力;然后,在特征融合阶段提出基于3D无参注意力(SimAM)和去权重的双向特征融合金字塔网络(Bi-FPN),通过扩大预测特征图和特征感受野,提升多尺度检测性能;最后,针对训练中样本不均衡和障碍物边界框定位不精准问题,引入质量焦点损失函数(QFL)和可扩展的交并比损失函数(SIoU),将分类得分与位置的质量预测结合,提高对密集遮挡目标的定位精度。结果表明:改进方法能有效识别复杂背景下露天矿区非结构化道路障碍物,在实际应用中,检测精度达到91.88%,检测速度达到68.7帧/s,相较于主流检测方法有着更好的小目标和多尺度检测性能,可满足露天矿区无人矿卡行进中的障碍安全检测要求。

基于注意力机制与多尺度融合的PCB缺陷检测

针对印制电路板(PCB)缺陷区域受背景干扰过多以及缺陷目标尺度较小导致缺陷检测精度低的问题,提出了一种基于注意力机制与多尺度融合的PCB缺陷检测方法。在YOLOv5模型的特征提取网络中,引入一种三维注意力模块,以增强缺陷目标特征的显著度,使模型更加注重目标特征;为充分利用微小缺陷目标的多尺度特征,在特征融合网络中引入加权双向特征金字塔网络(Bi-directional Feature Pyramid Network, BiFPN),减少缺陷目标特征信息的丢失,提高模型对微小缺陷目标的检测精度。实验结果表明,该方法能够准确检测出PCB图像中的缺陷目标,在保证实时性的同时,较原方法的平均检测精度提高了3.9%,表明了该方法的有效性。

融合多尺度和注意力机制的小样本目标检测

现有基于微调的二阶段小样本目标检测方法对新类特征不敏感,易将新类别误判成与它相似度高的基类,影响模型的检测性能。针对上述问题,提出一种融合多尺度和注意力机制的小样本目标检测(MA-FSOD)算法。首先在骨干网络使用分组卷积和大卷积核提取更具类别区分性的特征,并加入卷积注意力模块(CBAM)实现特征的自适应增强;再通过改进的金字塔网络实现多尺度的特征融合,使候选框生成网络(RPN)可以准确找到感兴趣区域(RoI),从多个尺度向分类头提供更丰富的高质量正样本;最后在微调阶段采用余弦分类头进行分类,降低类内方差。在PASCAL-VOC 2007/2012数据集上与基于候选框编码对比损失的小样本目标检测(FSCE)算法相比,MA-FSOD算法对新类的AP_(50)提升了5.6个百分点;在更具挑战性的MSCOCO数据集中,与Meta-Faster-RCNN相比,10-shot和30-shot对应的AP则分别提升了0.1个百分点和1.6个百分点。实验结果表明,相较于一些主流的小样本目标检测算法,MA-FSOD算法能更有效地缓解误分类问题,实现更高精度的小样本目标检测。

结合注意力机制与多尺度特征融合的视频彩色化方法

针对现有视频彩色化方法难以同时保证着色质量和时间一致性的问题,提出一种结合注意力机制和多尺度特征融合的视频彩色化方法AMVC-GAN。首先,提出以GAN为主体的视频彩色化网络模型,通过在GAN的生成器中设计以循环时间网络为主体的多尺度特征融合模块,来获取不同时间频率的信息;其次,为了有效地考虑相邻帧之间的关系,将不同时间频率提取的特征进行融合,加强帧与帧之间的联系,以此增强彩色化的时间一致性;最后,为了获取更多的有效信息,在主网络的上采样部分引入了注意力模块,并通过使用PatchGAN来对结果进行优化训练,以增强最终的着色效果。在DAVIS和VIDEVO数据集上与先进的全自动视频彩色化方法进行对比实验。结果表明,AMVC-GAN在多项指标上排名第一,具有更好的时间一致性和着色效果。相比于其他方法,AMVC-GAN能够有效地减少时间闪烁,同时保证着色效果更为真实、自然。

基于注意力机制的多尺度融合人群计数算法

针对人群计数图像人头尺度变化大、背景噪声高等问题,提出一种基于注意力机制的多尺度融合人群计数算法,以充分聚合多尺度信息,并有效区分背景噪声。构建基于残差连接的空洞空间金字塔池化,通过残差结构以及多个不同扩张率的空洞卷积在捕获多尺度头部目标特征的同时融入浅层特征图的空间细节信息,提高特征图质量;构建跨层多尺度特征融合模块,融合浅层和深层分支不同大小的边缘细节信息和上下文语义信息,并设计基于多分支的特征融合模块,融合不同感受野大小的多尺度信息以缓解大规模人头尺度变化的问题;构建基于矩阵相似运算的通道和空间注意力机制模块提取像素级特征权重,加强网络对于背景和人头目标的判别能力,自适应矫正位置信息。实验结果表明,相比11种对比算法的最优值,所提算法在SHA数据集上的平均绝对误差和均方根误差指标降低1.4%、4.2%,在UCF_CC_50数据集上降低4.9%、1.8%,能够精确地预测人群分布状态和估计人群数量,生成高质量的人群密度图。

融合双注意力机制的多尺度胰腺分割方法

为解决CT图像中胰腺边界不规则导致分割精度不高的问题,提出一种融合双注意机制的多尺度U型网络模型。该模型由一个编码器及两个解码器组成,提高特征利用。针对模型中连续下采样导致特征空间信息损失的问题,提出一种金字塔注意力特征融合模块,引入通道和空间两个独立注意力机制,提供多尺度输入信息并行采样,提高边界提取性能,提升分割精度。实验结果表明,该方法在ISICDM 2018数据集上的平均Dice系数为85.35%,具有效性。

基于跨尺度特征融合与注意力机制的遥感船舶检测

针对常规目标检测算法对遥感船舶目标检测精度低且预测框不能将船舶目标紧密封装,为后续匹配计算带来极大误差等问题,提出一种跨尺度特征融合与注意力机制的遥感船舶检测算法。该算法通过HRNetV2_w40骨干网络提取高分辨率图像特征,并采用跨尺度融合特征金字塔模块对backbone提取的多级特征信息进行跨级融合,设计卷积注意力网络模块让网络模型在空间和通道两个维度产生注意力特征图信息以生成更加精细化特征图。同时,全新设计融合旋转角度信息的旋转目标损失函数使算法可有效检测任意方向船舶目标。实验结果表明,该算法能有效检测与识别遥感船舶目标,平均准确率达到74.8%,高于现有其他方法。此外,该算法很容易扩展到其他工业领域旋转目标检测任务中。

基于多尺度特征融合和注意力机制的水面死鱼检测方法

死鱼对于水域生态和饮水安全存在巨大威胁,由于水面环境复杂,导致现有目标检测算法在死鱼检测任务中存在漏检、误检等情况。为此,以单次多边框检测(single shot multibox detector,SSD)为基础提出一种基于多尺度特征融合和注意力机制的水面死鱼检测方法FFA-SSD(SSD with feature fusion and attention)。首先,采用计算量和参数量更少且特征提取能力更强的残差网络ResNet50替换VGG16主干网络;其次,设计了多尺度特征融合模块,增强浅层特征和高层语义信息的融合;然后,引入通道注意力机制,抑制特征融合带来的冗余信息干扰,提升网络对目标的关注度;最后,设计了一种适用于小目标检测的数据增强算法,扩充训练数据中的小目标数量,丰富训练背景。实验结果表明,同现有目标检测算法相比,FFA-SSD算法可以更好地识别水面死鱼,检测精度达到93.5%。

结合多尺度特征融合和注意力机制的肺腺癌病理图像分类胶囊网络

病理学家通过分析肺腺癌低级别组织和癌旁组织来确定病灶切除范围,然而,两者间的细胞形态差异较小,分析时依赖病理学家的主观经验,耗时且易误诊.故提出一种结合多尺度特征融合和通道自注意力的胶囊网络(Multi-Scale Feature Fusion with Self-Channel Attention for Capsule Network, MSCNet),用于帮助医生高效诊断疾病,为患者提供更好的治疗方案.首先,设计了多尺度特征融合模块来提升胶囊网络以捕捉同源图像不同尺度间的语义信息,试图减少模型计算量以提高处理速度及分类准确性.其次,通道自注意力(Self-Channel Attention, SCA)模块作为MSCNet的另一重要组件,可以寻找到更具代表性的特征,辅助识别组织病理学图像中的细微特征,降低误诊风险.实验结果表明,在肺腺癌低级别组织与癌旁组织的二分类任务中,MSCNet实现了99.34%的分类准确率、97.65%的F1-Score值和97.57%的精确度.

多尺度特征融合注意力机制的滤棒质检算法

为解决卷烟滤棒生产过程中需要人工对滤棒指标进行监测并调整设备参数,导致成本高昂且效率低下的问题,提出一种多尺度特征融合注意力机制的滤棒质检算法。该算法利用不同大小的一维卷积获取滤棒多尺度的特征,降低了滤棒局部特征遗漏的可能性。为进一步增强特征表示,本文引入注意力机制使算法模型聚焦于更重要的特征。实验结果表明,与一维卷积神经网络(1D convolutional neural network,1DCNN)、反向传播(back propagation,BP)神经网络、循环神经网络等5种方法相比较,本文提出的算法模型在测试集上的性能更加突出,尤其是与1DCNN、BP神经网络和分布式梯度增强库这3种方法相比,模型的准确率分别提高了3.27%、4.28%和5.70%;精确率分别提高了3.12%、4.68%和5.10%;召回率分别提高了3.28%、4.57%和2.97%;F1-Score分别提高了3.20%、4.13%和4.33%。本文提出的算法不仅可以提高滤棒的生产效率,还可以降低人工成本,具有良好的工程实用价值。

基于注意力机制的多尺度融合图像超分辨率重建

针对图像超分辨率重建算法在信息恢复过程中存在特征提取不充分、重建高频细节能力不足等问题,在SRGAN的基础上提出了一种基于注意力机制的多尺度融合图像超分辨率重建算法(SRGAN-MCA)。首先,构建了一种基于坐标注意力机制的多尺度密集残差注意力模块来提取不同尺度的特征信息,以解决图像超分辨率重建非线性映射过程中特征提取不充分的问题;其次,通过在网络判别器中嵌入谱归一化来约束判别器的Lipschitz常数,以增强网络训练的稳定性;最后添加了Charbonnier损失函数对SRGAN-MCA进行训练优化,以实现更高质量重建。在Set5、Set14、BSD100数据集上的实验结果表明,与SRGAN相比,2倍和4倍放大重建图像的峰值信噪比(PSNR)平均提高了0.35 dB、0.47 dB,结构相似性(SSIM)平均提高了0.0054、0.016。

融合多尺度特征及注意力机制的食品图像识别

针对食品图像中类间差异小、类内差异大以及结构复杂导致识别难度大等问题,提出了一种融合多尺度特征及注意力机制的食品图像识别方法。首先,采用特征提取能力更强的ConvNeXt模型作为主干网络,以更好地捕捉食品图像的细节特征;其次,引入改进的ASPP模块,扩展感受野并利用多尺度信息,增强模型对不同尺度特征的捕捉能力;最后,在每个卷积块后加入注意力机制,提高特征表达和上下文信息捕捉能力。实验结果表明,所提方法在Vireo Food172扩展数据集和ETH Food101数据集上的准确率分别达到91.56%和87.22%,相比原模型分别提高了2.05%和1.66%,验证了该方法的有效性。

基于多尺度特征融合和多头自注意力机制的非侵入式负荷监测

针对目前负荷分解模型的深层负荷特征提取不充分,分解精度低以及训练成本高等问题,提出了一种多尺度特征融合模型。模型由负荷分解子网络及负荷识别子网络两部分构成,两个子网络均利用一维卷积和批量归一化等组成的卷积块进行负荷特征初提取,然后采用金字塔池化模块从多个维度精确提取深层负荷特征信息,并与特征初提取部分进行融合。金字塔池化模块使网络参数大大减少且降低了训练成本。同时与以往模型中的注意力机制不同的是,网络引入多头自注意力机制,每个注意力关注负荷特征的不同部分,从多个角度实现对重要负荷特征的筛选,进一步提高分解性能。最后,在UK-DALE和REDD数据集上进行实验,结果表明所提模型与4个基准模型相比,无论是负荷分解性能还是电器运行状态识别能力都有明显提升。

融合注意力机制的轻量化多尺度网络用于心电图多标签分类

深度学习技术对心电图进行自动的疾病诊断具有十分重要的意义。但现有的分类算法存在计算速度慢、实时性差以及对心电信号多尺度特征利用不充分的问题,会对某些疾病产生漏检,影响自动诊断技术的效率和精确度。因此提出了一种融合注意力机制与多尺度特征提取的轻量化心电图多标签分类网络(Lightweight Network with Attention for Multi Scale Classification,LAMSCN)。该模型可以有效地识别多种心脏病症状。实验结果表明,与MobileNet等主流模型相比,LAMSCN有效降低了模型参数量,同时对17种疾病的分类性能指标F1可以达到0.905,极大降低了对部署设备的要求。

基于注意力机制及多尺度特征融合的图像去雨

针对去除不同雨纹的同时恢复图像背景细节的问题,提出一种基于注意力机制及多尺度特征融合的图像去雨方法。该网络采用双分支结构,分别用于雨纹去除和背景恢复。雨纹提取模块采用跨空间学习的多尺度注意力机制,通过多尺度上下文信息捕捉、均值计算、权重计算和整体信息综合,帮助改善雨纹去除任务中的图像质量,提高去雨效果。背景恢复模块包括多尺度特征提取部分和特征融合部分,采用多个扩张卷积层,每个卷积层具有不同的扩张因子,以扩大感受野,提取多尺度的图像背景特征;使用大核卷积对提取的多尺度特征信息进行融合调整,从而更准确地进行背景恢复。在多个公开数据集上的实验结果表明:所提方法能够有效去除真实雨图像场景中的雨纹,同时可以更好地恢复图像背景的细节信息。

基于多尺度注意力特征融合的场景文本检测

针对目前文本检测中小尺度文本和长文本检测精度低的问题,提出了一种基于多尺度注意力特征融合的场景文本检测算法。该方法以Mask R-CNN为基线模型,引入Swin_Transformer作为骨干网络提取底层特征。在特征金字塔(feature pyramid networks,FPN)中,通过将多尺度注意力热图与底层特征通过横向连接相融合,使检测器的不同层级专注于特定尺度的目标,并利用相邻层注意力热图之间的关系实现了FPN结构中的纵向特征共享,避免了不同层之间梯度计算的不一致性问题。实验结果表明:在ICDAR2015数据集上,该方法的准确率、召回率和F值分别达到了88.3%、83.07%和85.61%,在CTW1500和Total-Text弯曲文本数据集上相较现有方法均有良好表现。

基于注意力机制与光照感知网络的红外与可见光图像融合

部分图像融合方法未充分考虑图像环境的光照状况,导致融合图像中出现红外目标亮度不足以及整体画面亮度较低,从而影响纹理细节的清晰度.为解决上述问题,提出一种基于注意力机制与光照感知网络相结合的红外与可见光图像融合算法.首先,在训练融合网络之前利用光照感知网络计算当前场景是日间或夜间的概率,将其运用至融合网络损失函数中,用以指导融合网络训练;然后,在网络的特征提取部分采用空间注意力机制和深度可分离卷积对源图像进行特征提取,得到空间显著信息后,输入卷积神经网络(CNN)以提取深度特征;最后,将深度特征信息进行拼接用于图像重建,进而得到最终的融合图像.实验结果表明:本文方法的互信息(MI)、视觉保真度(VIF)、平均梯度(AG)、融合质量(Qabf)与空间频率(SF)较对比方法分别平均提高39.33%、11.29%、26.27%、47.11%和39.01%;融合后的图像能够有效保留红外目标亮度,且包含丰富的纹理细节信息.

基于连续尺度特征融合与VAE注意力机制网络的高光谱图像分类方法探析

本文提出了基于连续尺度特征融合与变分自编码器(Variational Auto Encoder,VAE)注意力机制网络(Continuous Scale Feature Fusion-VAE Attention Mechanism Network,CSFF-VAEAMN)的高光谱图像分类方法,该方法采用连续尺度特征融合块来捕捉连续层级特征,使模型可以充分利用不同层级的特征关系,同时应用VAE注意力机制在加权时生成更连贯的特征表示,以提高模型在交界区域的分类能力。通过在两个公开数据集上与其他现有方法进行对比实验,本文所提方法被证明在各项性能指标上均优于其他方法。