基于密集连接注意力块的双生成器图像修复算法

针对图像修复痕迹明显、模型训练不稳定等问题,设计一种结合密集连接注意力块的图像修复算法。在生成器中引入精修复和粗修复二阶段修复网络,并在精修复网络中使用4个通道注意力块设计的密集连接注意力块;同时,增设VGG16特征提取模型,引入WGAN-GP作为判别器损失函数,以多损失融合的方式提高图像的修复效果。在CelebA数据集上验证模型的修复效果,该算法在主客观指标上均优于DCGAN、CE和DD这3种主流算法。

基于集成改进卷积注意力块的SAR图像目标分类算法

在合成孔径雷达(Synthetic Aperture Radar,SAR)图像中,目标的轮廓和细节通常比较复杂。传统的卷积神经网络(Convolutional Neural Network,CNN)只使用单一均值参数进行无差别的特征提取,不能很好地区分SAR特征之间的差异。为了解决此问题,文章提出了1种基于集成改进卷积注意力块(Improved Convolutional Block Attention Module,ICBAM)的SAR图像目标分类算法ICBAM_CNN。首先,该模块通过引入方差参数至传统CBAM模块中,设计了1种改进的CBAM注意力机制,有助于分类识别网络更好地学习SAR图像不同目标卷积层输出与通道注意力之间的差异信息,提升不同SAR目标特征的可分离性;然后,ICBAM设计了1种中心坐标注意力机制,能更好地捕捉SAR图像中目标的中心分布特征,有效抑制杂波对SAR目标分类影像的干扰;最后,为了提高效率,将改进后的ICBAM模块集成到CNN网络中,实现SAR图像目标分类。ICBAM_CNN深度融合了SAR图像目标的多层级特征,提升了SAR目标特征的可分离性,可实现SAR图像目标的高精度、高效率识别分类。通过MSTAR数据集进行实验,结果表明,相比于传统CBAM方法,改进ICBAM方法的精确率提升了2.44%,召回率提升了2.24%,F1-score提升了2.34%。

基于多损失约束与注意力块的图像修复方法

为解决基于深度卷积生成对抗网络的语义图像修复模型存在的重建结果内容、风格、细节特征还原不准确问题以及模型训练不稳定问题,提出一种结合残差块和注意力块的Multi-Loss GAN模型.同时,在图像生成阶段,向模型引入谱归一化和Wasserstein距离以稳定模型训练;在图像修复阶段,向模型增设差异网络和Vgg19特征提取网络分别提供差异、内容、风格损失协助模型寻找最优编码以提升最终的修复效果.最后在CelebA数据集上进行大量仿真实验.结果显示,Multi-Loss GAN较于DCGAN方法和GLCIC方法在PSNR和SSIM上分别提升0.6~2.0 db,0.01~0.05.

逐像素注意力驱动的红外小目标检测网络

红外小目标检测在军事和民用领域获得了广泛应用,但其存在目标尺度小、细节少、复杂背景干扰等问题,现有经典深度学习检测方法往往适用于通用目标检测,对红外小目标适配性较差。针对上述问题,构建了一种新的基于U形注意力块和逐像素注意力块的红外小目标检测网络。设计了U形注意力块,在单层级内通过局部U形子网络提取多尺度特征,并通过逐像素注意力精细化增强小目标特征,丰富多尺度小尺度目标特征表示,提升网络对小尺度目标判别能力;通过稠密融合方式进一步保留小目标信息,缓解不同层特征融合时的语义鸿沟,降低漏检率;将空间与通道2个维度逐像素注意力块应用于融合后的特征图,避免小目标特征被衰减,同时抑制复杂背景干扰。实验结果表明,提出的网络在2个红外小目标数据集NUDT-SIRST与IRSTD-1k上交并比、检测概率、虚警率指标均超过最新基准方法。此外,所提网络在检测精度和效率上也达到较好平衡。

基于卷积注意力的单导联心电图房颤检测方法

随着可穿戴心电设备的普及,从单导联心电图中自动检测房颤的方法越来越重要。针对可穿戴心电设备采集的单导联心电图中存在噪声干扰的问题,提出一种基于卷积注意力的残差神经网络模型Resnet34-CAB。通过融合卷积注意力块(CAB),在模型复杂度少量增加的情况下,选择性地关注心电图的关键特征,自适应地抑制噪声,提高了模型的检测性能。在公开数据集上的实验结果表明,Resnet34-CAB模型优于Resnet34、Resnet34-Transformer模型,验证了融合CAB的有效性。

基于注意力机制的U-Net叶片缺陷图像分割

为解决风力发电机叶片表面缺陷检测存在分类困难和微小缺陷分割模糊的难题,构建一种基于扩张卷积和卷积注意力模块的改进U-Net语义分割网络。该网络基于网络模型的编码-解码结构,使用可迁移的VGG16的特征提取层代替U-Net网络的编码部分,在编码-解码之间的跳跃模块加入卷积注意力模块。通过对微小缺陷信息选取加强全局权重,使用扩张卷积增强网络特征,采用VGG16预训练模型实现迁移学习。开展Focal与Dice结合的混合损失函数验证,对比分析DeeplabV3+、PSPnet、HRNet、U-Net这4种模型。结果表明:对于叶片缺陷数据集,改进的U-Net网络模型对叶片缺陷的分类和分割任务具有更高的精度,均交并比、均像素精度和召回率等指标值分别为83.60%、92.84%和88.50%。改进U-Net网络的均交并比值比DeeplabV3+模型高13.98%,比标准U-Net模型高9.38%,能够提高叶片缺陷检测的灵敏度,有效降低检测结果的误报警率,有助于准确检测风机叶片缺陷。

多尺度特征融合注意力新冠肺炎病灶分割网络

新冠病毒传染性极强,尽早的诊断和治疗是减少疫情造成损失的关键因素。为辅助医生诊断新冠病情,高效、准确地从肺部CT切片中分割新冠病灶,提出了一种改进的编码器-解码器深度神经网络———多尺度融合注意力网络MSANet(Multi-scale Attention Network),以图像分割效果较为出色的U-Net网络为基础,通过全局池化层和设置空洞卷积的采样率,增大网络感受野,捕获多尺度信息,实现对大目标的有效分割;使用通道注意力与空间注意力,在空间维度上建模,有效提取图像深层特征。测试结果表明,改进后的算法与U-Net网络相比,分割的平均交并比提升了1.46%,类别平均像素准确率提升了0.8%,准确率提升了1.17%。

基于注意力机制轻量化模型的植物病害识别方法

针对现有植物病害识别模型存在响应速度慢、参数量多、计算机内存资源消耗大等问题,本研究提出了一种轻量化神经网络模型,该模型由特征提取层、特征增强层和分类器组成。为了减小模型大小并提高网络响应速度,在特征提取层中使用深度可分离卷积进行特征提取。为了防止网络传播过程中的梯度消失并增强病害像素特征融合,在特征提取层中引入了大卷积核倒置残差结构(IRBCKS)模块。此外,在特征增强层集成了轻量级卷积块注意力模块(CBAM)注意力机制,以捕捉植物病害相关图像中像素之间的关系,增强关键信息的提取。最后,采用剪枝技术剔除模型中冗余特征信息,从而再次减少模型参数量,形成最终的轻量级网络模型Cut-MobileNet。为验证该模型的先进性,将其与轻量化模型(MobileNet V2、SqueezeNet、GoogLeNet)和非轻量化模型(Vision Transformer、AlexNet)进行性能对比,研究结果表明,Cut-MobileNet在浮点运算量、准确率、单张图片推理时间、参数量、F1值和模型大小等性能指标上都取得了较优的效果。

基于卷积块注意力模块和双向特征金字塔网络的接触网支持装置检测方法研究

接触网支持装置是接触网悬挂状态检测监测图像分析的关键对象,对支持装置零部件的检测定位是实现缺陷自动分析的基础。针对接触网支持装置零部件种类多、尺寸差异大、存在遮挡、部分零部件相似度高等问题,提出一种融合卷积块注意力模块(convolutional block attention module,CBAM)和双向特征金字塔网络(bidirectional feature pyramid network,BiFPN)的接触网支持装置检测方法。在YOLO v5s网络模型基础上,该方法通过CBAM增强接触网支持装置的特征提取,结合BiFPN,实现不同零部件分辨率特征图的融合。利用4C装置获得的图像数据集,开展验证试验。试验结果表明,相对YOLO v5s网络模型,融合CBAM和BiFPN的接触网支持装置检测方法,网络平均精度mAP@0.5提高2.12%;能显著提升小目标检测效果,提高定位的准确性和稳定性,对接触网状态的智能分析有重要意义。

基于多注意力机制与跨特征融合的语义分割算法

图像语义分割技术在缺陷检测、医疗诊断、无人驾驶等领域广泛应用。针对现有语义分割模型普遍存在训练成本过高、目标轮廓分割效果不佳以及对小目标误分割、漏分割等问题,基于DeepLabv3+网络框架,提出多注意力机制与跨特征融合相结合的图像语义分割算法。该算法选取轻量级网络MobileNetv2作为主干,以缩短训练时间;通过优化空洞空间金字塔池化模块中空洞卷积的膨胀率,改善多尺度语义特征的提取效果,提高模型对小目标的分割能力,并将兼具通道与空间的卷积块注意力机制引入其中,更加关注对分割起决定作用的区域,从而加强对目标边界的提取;在编码器中设计跨特征融合模块,以聚合不同层次特征图的空间信息和语义信息,提高网络学习特征的能力;在编码和解码部分均引入坐标注意力机制,以分解全局平均池化的方式将位置信息嵌入到通道中,从而得到分割目标的准确位置。实验结果表明,所提算法F3crc-DeepLabv3+在PASCAL VOC 2012增强数据集和Cityspaces数据集上的平均交并比分别达到了75.06%和73.06%,平均精度分别达到了84.16%和82.05%,精确率分别达到了86.18%和85.43%,训练时间分别为10 h和13.8 h,具有较优的网络性能。

全局相关块级自注意力的食管癌前病变区域分割

食管内镜图像多类癌前病变区域的类间特征差异小且个体差异大,难以实现高精度分割,使用自注意力机制可提取远距离依赖信息以获取判别性特征,但是计算开销大。为此,提出一种全局相关块级自注意力(GC-BLSA)方法,用于食管癌前病变区域分割。利用块级自注意力对骨干网络的输出特征进行分块,并在多个特征块上引入自注意力机制,降低网络参数量和计算量,采用块相关机制建模每个特征块和整个特征图之间的关系,解决每个特征块在单独使用自注意力时无法提取与全局相关的远距离依赖信息的问题。在此基础上,在块级自注意力模块中引入相对位置偏移对位置信息进行补充,有效提高网络分割精度。实验结果表明,在四分类食管癌数据集上该方法的分割指标mIoU和F1值分别为50.213%和63.786%,相比传统自注意力Non-local模块分别提高3.744和4.297个百分点,参数量和计算量分别下降26.38%和10.62%。

改进U-Net3+与跨模态注意力块的医学图像融合

目的针对目前多模态医学图像融合方法深层特征提取能力不足,部分模态特征被忽略的问题,提出了基于U-Net3+与跨模态注意力块的双鉴别器生成对抗网络医学图像融合算法(U-Net3+and cross-modal attention block dual-discriminator generative adversal network,UC-DDGAN)。方法结合U-Net3+可用很少的参数提取深层特征、跨模态注意力块可提取两模态特征的特点,构建UC-DDGAN网络框架。UC-DDGAN包含一个生成器和两个鉴别器,生成器包括特征提取和特征融合。特征提取部分将跨模态注意力块嵌入到U-Net3+下采样提取图像深层特征的路径上,提取跨模态特征与提取深层特征交替进行,得到各层复合特征图,将其进行通道叠加、降维后上采样,输出包含两模态全尺度深层特征的特征图。特征融合部分通过将特征图在通道上进行拼接得到融合图像。双鉴别器分别对不同分布的源图像进行针对性鉴别。损失函数引入梯度损失,将其与像素损失加权优化生成器。结果将UC-DDGAN与5种经典的图像融合方法在美国哈佛医学院公开的脑部疾病图像数据集上进行实验对比,其融合图像在空间频率(spatial frequency,SF)、结构相似性(structural similarity,SSIM)、边缘信息传递因子(degree of edge information,Q^(AB/F))、相关系数(correlation coefficient,CC)和差异相关性(the sum of the correlations of differences,SCD)等指标上均有提高,SF较DDcGAN(dual discriminator generation adversative network)提高了5.87%,SSIM较FusionGAN(fusion generative adversarial network)提高了8%,Q^(AB/F)较FusionGAN提高了12.66%,CC较DDcGAN提高了14.47%,SCD较DDcGAN提高了14.48%。结论UC-DDGAN生成的融合图像具有丰富深层特征和两模态关键特征,其主观视觉效果和客观评价指标均优于对比方法,为临床诊断提供了帮助。

引入卷积块注意力模块的YOLOv5网络在地铁车辆一系弹簧断裂检测中的应用

作为地铁车辆关键部件的一系弹簧会发生断裂,威胁列车运行安全。由于一系弹簧断裂的位置、形状不同,并且断裂位置常常被遮挡,使得采用目标检测方法检测时,目标面积较小。对于小目标,采用的基于深度学习的目标检测方法检测难以达到好的效果。针对这一问题,在YOLOv5网络的基础上加以改进,加入更小的初始检测锚框,并且在主干网络加入空间和通道注意力模块。对比试验结果表明,改进后平均准确率提高3%,有效提高了小目标的检测能力。

基于混合注意力机制的动态人脸表情识别

针对自然环境中存在人脸遮挡、姿势变化等复杂因素,以及卷积神经网络(CNN)中的卷积滤波器由于空间局部性无法学习大多数神经层中不同面部区域之间的长程归纳偏差的问题,提出一种用于动态人脸表情识别(DFER)的混合注意力机制模型(HA-Model),以提升DFER的鲁棒性和准确性。HA-Model由空间特征提取和时序特征处理两部分组成:空间特征提取部分通过两种注意力机制——Transformer和包含卷积块注意力模块(CBAM)的网格注意力模块,引导网络从空间角度学习含有遮挡、姿势变化的鲁棒面部特征并关注人脸局部显著特征;时序特征处理部分通过Transformer引导网络学习高层语义特征的时序联系,用于学习人脸表情特征的全局表示。实验结果表明,HA-Model在DFEW和AFEW基准上的准确率分别达到了67.27%和50.41%,验证了HA-Model可以有效提取人脸特征并提升动态人脸表情识别的精度。

混合注意力机制的异常行为识别

随着人工智能的快速发展,基于计算机视觉的人体异常行为识别受到极大的关注,并被广泛应用到智能安防等领域。针对人们在加油站等重要场所抽烟以及司机驾驶途中打电话等违规行为,提出一种混合注意力机制的异常行为识别方法。利用引入的卷积块注意力模块重点关注输入对象的显著性特征,并对输入信息进行精细化的分配和处理,在突出重要信息的同时弱化无关信息。为提升网络模型的特征挖掘能力及增强网络的信息交互性,利用提出的卷积特征提取模块进一步提取识别对象的高层语义特征,并将其与低层细节特征进行融合以达到多尺度特征交互的目的。此外,为了减少网络训练过程中错误标签造成的损失,采用标签平滑对交叉熵损失函数进行修正以此来驱动模型的学习过程。实验结果表明,所提出的模型优于当前的主流网络,可有效检测出异常行为。

改进注意力机制的电梯场景下危险品检测方法

针对电动自行车和煤气罐搭乘电梯引起的火灾隐患,提出一种改进注意力机制的电梯场景下危险品检测方法。以YOLOX-s为基线模型,首先在加强特征提取网络中引入深度可分离卷积替换标准卷积,提升模型的推理速度。然后提出一种基于混合域的高效卷积块注意力模块(ECBAM)并嵌入主干特征提取网络中。在ECBAM模块的通道注意力部分,使用一维卷积替换两个全连接层,既降低了卷积块注意力模块(CBAM)的复杂度又提高了检测精度。最后提出一种多帧协同算法,通过结合多张图片的危险品检测结果以减少危险品入侵电梯的误报警。实验结果表明:改进后模型比YOLOX-s的平均精度均值(mAP)提升了1.05个百分点,浮点计算量降低了34.1%,模型体积减小了42.8%。可见改进后模型降低了实际应用中的误报警,且满足电梯场景下危险品检测的精度和速度要求。

带有注意力机制的OCTA视网膜血管分割方法

视网膜血管分割是智能辅助诊断过程中的关键步骤。由于血管末端细小且易与背景混淆,导致很难精确分割。针对此类问题,提出一种基于深度可分离卷积与块注意力机制的高效视网膜血管分割算法。使用步长为2的卷积层代替最大池化层进行特征筛选;为了降低网络的参数量,用深度可分离卷积代替常规的卷积;引入注意力机制学习重要特征,对OCTA视网膜血管图像的像素进行精确分类。将该方法在2020版的公开数据集OCTA-500上进行充分实验。结果表明,该方法在分割性能指标F1、mIoU、Se、Sp、Acc和Pre上分别达到了80.01%、81.18%、84.39%、96.41%、95.32%和76.24%;和基准方法U-net相比,该方法的参数量和FLOPs也显著降低,分别只有U-net的19.2%和16.5%。

基于注意力残差U-Net的皮肤镜图像分割方法

针对皮肤镜图像类内差异性、类间相似性、数据集不平衡等问题,本文提出了一种基于注意力残差U-Net(attention residual block-UNet,ARB-UNet)的皮肤镜图像分割方法。将卷积块注意力机制模块(convolutional block attention module,CBAM)引入到U-Net模型的“跳过连接”中;同时将CBAM模块集成到残差模块DRB(dilated residual networks)中得到注意力残差结构(attention residual block,ARB);且选取Focal Tversky Loss作为该模型的损失函数;在ISIC2016数据集上对所提ARB-UNet模型进行训练和测试,并与传统方法和UNet等经典方法进行了对比实验,实验结果中灵敏度(sensitivity,SE)达到了92.9%,特异性(specificity,SP)达到了94.1%,Dice相似指数(dice similarity cofficient,DSC)达到了92.1%,整体上均优于其他对比方法,从而验证了本文方法是有效的和可行的。

基于神经元块级别注意力机制的LSTM关系抽取

目前关系抽取方法中,传统深度学习方法存在长距离依赖问题,并且未考虑模型内部神经元特征之间的相关性。针对以上问题,提出一种基于神经元块级别注意力机制的LSTM(long short-term memory)关系抽取方法。将多特征向量相融合作为双向LSTM的输入,采用块级别注意力机制对神经元特征进行注意力计算,通过注意力概率分布对神经元特征进行更新,同时采用批标准化算法对神经元的注意力特征进行优化,获取双向LSTM模型的输出特征;最后采用句子级别注意力机制对输出特征进行注意力计算,通过softmax分类器输出分类结果。在SemEval-2010task 8关系数据集上的实验结果表明,该方法的准确率较传统深度学习方法有进一步提升。

基于注意力机制的改进双判别器图像修复算法

为解决基于生成式对抗网络的图像修复模型存在的修复结果效果差和内容、细节等特征信息还原不准确这一问题,提出一种融合通道、像素注意力机制的多损失生成对抗网络算法.首先,该算法利用通道注意力块获取高关联的通道特征图;然后,通过像素注意力块对高关联通道特征图上所有像素进行打分,从而获取与缺损区域关联性更高的图像未缺损区域信息;最后,通过引入Vgg16特征提取模型向生成器的优化函数中引入内容、风格损失项,以多损失融合的方式提高图像的修复效果.在目前广泛使用的CelebA数据集和SVHN数据集上验证模型的修复效果,本算法在主客观指标上均优于DCGAN算法、CE算法和DD算法.