基于特征相似性和特征规范化的注意力模块

近年来,注意力机制在图像分类、目标检测和语义分割等领域取得了巨大成功,但现有的注意力机制大多只能在通道或空间维度上实现特征融合,这极大限制了其在通道和空间维度上变化的灵活性,导致无法充分利用特征信息。为此,文中提出一种基于特征相似性和特征规范化的、可同时利用特征图各维度信息的卷积神经网络注意力模块FSNAM。该模块由特征相似性模块(FSM)和特征规范化模块(FNM)两部分组成,FSM利用输入特征图的通道特征信息和局部空间特征信息生成一个二维的特征相似性权重图;FNM利用输入特征图的全局空间特征信息生成一个三维的特征规范化权重图;两个模块生成的权重图融合在一起,生成一个三维的注意力权重图,以此实现通道特征信息和空间特征信息的融合。为证明FSNAM的可行性和有效性,进行了消融实验,结果表明:在图像分类任务方面,FSNAM模块对分类网络在CIFAR数据集上的性能提升明显优于其他主流注意力模块;在目标检测任务方面,使用FSNAM模块的目标检测网络对VOC数据集中的小目标和中等大小目标的检测准确率分别提高了3.9和1.2个百分点;在语义分割任务方面,使用FSNAM模块可以提高HRNet模型的性能,在SBD数据集上模型的平均像素准确率提高了0.58个百分点。

基于DenseNet和卷积注意力模块的高精度手势识别

非接触的手势识别是一种新型人机交互方式,在增强现实(AR)/虚拟现实(VR)、智能家居、智能医疗等方面有着广阔的应用前景,近年来成为一个研究热点。由于需要利用毫米波雷达进行更精确的微动手势识别,该文提出一种新型的基于MIMO毫米波雷达的微动手势识别方法。采用4片AWR1243雷达板级联而成的毫米波级联(MMWCAS)雷达采集手势回波,对手势回波进行时频分析,基于距离-多普勒(RD)图和3D点云检测出人手目标。通过数据预处理,提取手势目标的距离-时间谱图(RTM)、多普勒-时间谱图(DTM)、方位角-时间谱图(ATM)和俯仰角-时间谱图(ETM),更加全面地表征手势的运动特征,并形成混合特征谱图(FTM),对12种微动手势进行识别。设计了基于DenseNet和卷积注意力模块的手势识别网络,将混合特征谱图作为网络的输入,创新性地融合了卷积注意力模块(CBAM),实验表明,识别准确率达到99.03%,且该网络将注意力放在手势动作的前半段,实现了高精度的手势识别。

基于多尺度特征与注意力模块的室内场景识别方法

场景识别在视觉信息检索、图像分割、图像/视频理解等任务中有着关键性的作用。随着深度学习理论的发展,尤其是卷积神经网络(CNN)能识别图像中具有辨别性的物体,这大大提高了场景识别的能力。为了实现智能轮椅床等家庭服务机器人的自主场景识别,针对在移动端或嵌入式设备计算资源和内存需求有限的情况下,网络输出辨别性物体单一而造成场景识别率低的问题,提出一种基于多尺度特征提取和注意力模块的室内场景识别方法。该方法基于Mobile-NetV2轻量化网络,从网络中选择不同分支提取不同尺度的特征。为关注场景中更有辨别性的特征,在分支中加入了MRLA-Light注意力模块,仿真结果表明准确率有明显提高,在MIT Indoor 67数据集、Scene 15数据集上的准确率分别为86.3%和94.3%,相比于同类型网络有更高的准确率。

基于密集多尺度特征和双注意力模块的皮肤病变分割

针对皮肤病变分割任务中病变区域大小不一、形状各异、内部像素差异大、边界模糊、周围存在气泡等问题,提出了一种基于密集多尺度特征和双注意力模块的U型分割网络DDAnet。该网络中的DenseASPP模块通过密集连接多个空洞卷积层来获取丰富的多尺度信息,同时由通道注意力模块(CAM)和位置注意力模块(PAM)构成的双注意力模块通过编码全局上下文信息,在通道和位置上对特征图进行重新配准,实现对相关特征的强调和对无关特征的抑制。两个模块并行连接、共同作用以提高分割精度。在ISIC2018数据集上,DDAnet的准确率(Acc)、Jaccard相似系数(JI)、Dice系数(DC)、敏感度(Sen)和特异性(Spec)指标值分别为96.75%、85.00%、91.36%、91.82%和97.42%,分割结果优于其他的分割网络,并且对于极具挑战的病例,DDAnet仍然能够产生准确、可靠的分割结果,说明其具备在临床诊断中辅助医生进行皮肤病变分割的潜力。

融合监督注意力模块和跨阶段特征融合的图像修复改进网络

非规则缺失区域的图像修复技术用途广泛但具有挑战性。针对现有修复方法对高分辨率图像可能会产生伪影、扭曲结构和模糊纹理的问题,提出一种融合监督注意力模块(SAM)和跨阶段特征融合(CSFF)的图像修复改进网络(Gconv_CS)。在Gconv的两阶段网络模型上,引入了SAM与CSFF模块。SAM通过提供真实图像监督信号,监督上阶段输出特征,确保传入下阶段特征信息的有效性。CSFF将上阶段编码器-解码器的特征融合后送入下阶段的编码器,以弥补上阶段修复中特征信息的损失。实验结果表明,在缺失区域占比为1%~10%时,相较于基线模型Gconv,Gconv_CS在CelebA-HQ数据集上峰值信噪比(PSNR)和结构相似性指数(SSIM)分别提高了1.5%和0.5%,Fréchet起始距离(FID)和L1损失分别降低了21.8%、14.8%;在Place2数据集上,前2个指标分别提高了26.7%和0.8%,后2个指标分别降低了7.9%、37.9%。将Gconv_CS用于去除大熊猫面部遮挡物时,取得了较好的修复视觉效果。

基于改进注意力模块的船舶涂装缺陷检测方法

针对人工检测船舶缺陷效率低、传统检测网络准确率差的问题,提出一种基于改进注意力模块(improved convolutional block attention module, ICBAM)的船舶涂装缺陷检测方法.首先,YOLOv4在路径聚合网络中将深度可分离卷积代替常规卷积形成IYOLOv4,减少模型计算量;其次,将ICBAM融入IYOLOv4的路径聚合网络Route层后形成ICBAM-IYOLOv4,ICBAM在通道上构建多频率通道改善全局平均池化,利用一维卷积代替全连接层聚合相邻通道间的信息,减少模型参数;然后,在空间上融合Inception v3思想和特征分层思想改善空洞卷积;最后,在船舶涂装缺陷样本数据增强的基础上,对ICBAM-IYOLOv4进行测试.实验结果表明:ICBAM-IYOLOv4相比其他算法,其损失值更低、收敛更快;平均精度均值(mean average precision, MAP)在训练集和测试集上分别提高了1.89%和1.91%.

基于注意力模块的移动设备多场景持续身份认证

针对用户与移动设备交互时会产生场景变化,现有工作中只能采集特定的单一场景特征,无法实现多场景转换认证,并且身份认证准确率较低的问题,提出了一种基于移动模式的、注意力模块和卷积神经网络融合(CNNSACA)的多场景持续认证方案。在不限使用场景和操作的情况下,提取用户与移动设备交互时的移动模式(movement patterns,MP)特征,捕捉在动态和静态场景下产生的手部微运动,从而实现多场景的身份认证。设计并使用了一个包括五层卷积层结构的卷积神经网络,在第一层卷积后按序通过改进的空间和通道注意力子模块,再在多层卷积后进行反序分配权重,从两个维度来对通过卷积后所表征的MP特征分配双重注意力权重,增强关键特征表达。利用公开数据集验证所提方案在多场景身份认证方面的有效性和可行性。实验结果表明,所提出的基于移动模式的深度学习模型可以较好地解决身份认证场景单一的局限性,多场景的身份认证的准确率达到99.6%;同时,所提出的CNN-SACA模型与单独的CNN模型相比准确率提高了1.5个百分点,有效改善多场景下的移动设备身份认证能力。

基于非对称多解码器和注意力模块的三维肾脏影像结构分割模型

针对肾脏结构中,因不同结构间差异大,动静脉体积小、结构薄及计算机断层扫描血管造影(CTA)图像灰度分布不均和伪影带来的精确分割困难的问题,提出基于非对称多解码器和注意力模块的三维肾脏影像结构分割模型MDAUnet(MultiDecoder-Attention-Unet)。首先,针对不同结构间差异大导致网络无法共享权重的问题,采用多解码器结构,为语义结构不同的特征结构匹配不同的解码器分支;其次,针对血管体积小、结构薄难分割的问题,引入非对称的空间通道联合注意力模块使模型更关注管状结构,并对学习到的特征信息同时进行空间维度和通道维度的校准;最后,为了保证模型在反向传播中对血管结构有足够的关注,提出改进的加权硬区域适应损失(WHRA)作为损失函数来动态保持训练过程中血管结构的类间平衡以及保留背景信息的特征;此外,为了提高特征图灰度值的对比度,将传统图像处理边缘检测算子嵌入模型的预处理阶段,对待分割的感兴趣区域边界进行特征增强使模型更关注边界信息并抑制伪影信息。实验结果表明:所提出的MDAUnet模型在肾脏结构分割任务上的Dice相似系数(DSC),豪斯多夫距离95(HD95)和平均表面距离(AVD)分别为89.1%,1.76 mm和1.04 mm;在DSC指标上,与次优的MGANet(Meta Greyscale Adaptive Network)相比,MDAUnet提升了1.2个百分点;在HD95和ASD指标上,与次优的UNETR(UNEt TRansformers)相比,MDAUnet分别降低了0.87 mm和0.45 mm。可见MDAUnet能有效提高肾脏三维结构分割精度,有助于医生在临床手术中客观有效地评估病情。

基于梯度可感知通道注意力模块的红外小目标检测前去噪网络

红外图像去噪在军事及民用领域应用广泛。现有基于深度学习的图像去噪方法主要为可见光图像设计,此类方法容易过度平滑图像细节,从而导致弱小目标丢失,为后续的检测任务带来困难。为了在去除噪声的同时保留好红外图像中的目标信息,本文提出了一种基于梯度可感知通道注意力模块的红外弱小目标检测前去噪网络。该网络首先采用编码器-解码器结构来去除图像中的加性噪声,然后通过梯度可感知通道注意力模块对图像高频区域进行自适应增强,有效保持红外弱小目标的响应强度。此外,本文提出了领域第一个包含3981张含噪声的红外图像数据集。实验结果表明,该网络能够在有效去除加性噪声的同时避免过度平滑,很好地保留了红外图像中的目标信息,最终实现了在含噪声环境下的高鲁棒性红外弱小目标检测。

结合超轻量级双注意力模块的ShuffleNetV2面部表情识别

针对面部表情识别领域中难以同时实现低参数量与高准确率的挑战,提出了一种结合注意力机制的ShuffleNetV2网络的面部表情识别方法。该方法基于ShuffleNetV2架构,通过微调模型将Relu激活函数替换为PRelu激活函数,进一步提升了模型的特征捕获与分类能力。此外,本文创新性地引入了一种超轻量级双注意力模块LDAM,该模块结合了DCAM注意力机制与空间注意力机制,并通过捷径连接技术集成到优化后的ShuffleNetV2模型中,以增强模型对细节特征的识别能力及分类效果。在FER2013和CK+两大公认的面部表情识别数据集上的实验结果显示,本方法分别达到了69.12%和94.77%的识别准确率,同时保持了低至1.25的模型参数量。这一成果不仅展示了在保持模型轻量化的同时提升识别性能的可能性,而且通过实验验证了所提出方法的高效性和实用性。

基于全卷积去噪自编码器与卷积块注意力模块的非侵入式居民负荷分解模型

为了进一步提高低频居民负荷分解模型的分解精度与泛化能力,提出一种基于全卷积去噪自编码器与卷积块注意力模块的非侵入式居民负荷分解模型,该模型能够深度解析单一电器的功率曲线。基于全卷积去噪自编码器分别构建主回归子任务网络和辅助分类子任务网络;在子任务网络中,通过引入卷积块注意力模块自适应分配特征注意力权重,以减小不重要因素在模型训练过程中的影响;将辅助分类子任务网络的输出作为主回归子任务网络输出的门控单元,实现最终的负荷分解。基于公开数据集的算例结果表明,所提负荷分解模型比现有负荷分解模型具有更优的分解精度和泛化能力。

融合注意力模块的双结构金字塔场景解析网络

【目的】改善原始图像信息丢失及图像分辨率下降的问题,提高图像语义分割的精度。【方法】提出融合注意力模块的双结构金字塔场景解析网络模型,并利用该模型对图像进行语义分割。首先,使用MobileNet V2模块提取原始图像的主干特征;其次,将特征图送入金字塔池化模块1中,获取上下文信息;然后,使用注意力模块关注重要特征,并对浅层信息进行综合,得到中间特征图;接着,将中间特征图送入金字塔池化模块2,融合局部和全局信息;最后,利用丰富的浅层和深层信息对原始图像进行分割。【结果】在PASCAL VOC 2007数据集上进行的试验表明,平均像素精度和平均交并比分别达到85.64%和78.12%,比金字塔场景解析网络的分别提高了4.95个百分点和12.31个百分点。【结论】本文模型有效解决了图像分割中信息丢失和分辨率下降问题。

基于实例归一化的通道注意力模块

传统通道注意力模块在构建池化层和下采样层获取特征图通道权重时,不仅增加大量参数而且极大提高了模型的复杂度。为解决上述问题,提出一种实例归一化通道注意力模块(Instance Normalization Channel Attention Module,INCAM),通过采用实例归一化中的缩放变量度量方差来捕捉特征图通道权重,仅增加少量参数即可获得明显的性能增益。在CIFAR-100和CIFAR-10数据集上的大量实验表明,相对于原始的Res Net-50,嵌入INCAM的Res Net-50在Top-1 Error上降低了11.20%,而参数量仅增加了0.12%,并与其它注意力模块相比更加轻量和高效。

基于卷积注意力模块的端到端遥感图像分类

随着图像信息处理技术的发展,大量由各式飞行器对地观测所采集的遥感图像数据被应用于各领域实际生产生活中。传统遥感图像分类方法包含一系列复杂的处理流程,在处理效率和效果上已经难以满足当下的需求。随着人工智能相关技术的发展,基于卷积神经网络的遥感图像分类方法开始占据主导地位。为减少算法流程中的复杂处理与提高分类的精度,笔者提出一种基于卷积注意力模块的端到端遥感图像分类框架,该框架采用卷积神经网络框架ResNet101作为整个框架的主干网络。在ResNet101网络4个阶段的卷积模块之间嵌入卷积注意力模块,使得模型关注于最具有类别区分度的区域,从而得到更好的分类结果。在模型训练阶段,采用开源的深度学习开源框架Pytorch对训练数据进行在线增广处理,对训练数据进行随机角度旋转,防止训练过程中发生过拟合现象。本研究基于PatternNet与NWPU-RESISC45两个公开数据集,并仅划分少量数据用于模型训练。结果表明:相比已有的方法,本研究提出的框架能够在GPU加速的环境中,以更高的精度分类遥感图像,满足了实时处理的需求,且支持端到端对遥感图像进行分类,不需要复杂的处理流程。

基于多级特征融合与注意力模块的场景识别方法

场景图像通常由背景信息和前景目标对象构成,用于场景识别任务的卷积神经网络(CNN)通常需要根据场景中关键目标的特征,甚至结合目标之间的位置关系来识别出场景所属类别。针对场景图像中较小尺寸的关键目标特征随着网络层次的加深而逐渐消失,从而导致场景识别错误的问题,提出了一种基于多级特征融合与注意力模块的场景识别方法。首先,将深度神经网络ResNet-18的特征提取部分划分出5个分支;然后,将5个分支输出的多级特征进行融合,利用融合后的特征进行场景识别和分类,以弥补丢失的目标信息;最后,在网络中加入改进的注意力模块,以达到着重学习场景图像中关键目标的目的,进一步提升识别效果。在多个场景数据集上进行实验对比,结果表明,所提方法在MIT-67,SUN-397和UIUC-Sports这3个场景数据集上的识别准确率分别达到了88.2%,79.9%和97.7%,相比目前主流的场景识别方法其具有更高的识别准确率。

融合卷积注意力模块的EfficientNet网络的肺炎X射线图像分类

为提高临床上对肺炎X射线图像诊断的效率及准确率,本研究基于EfficientNet网络模型,融合卷积注意力模块(convolutional block attention module, CBAM)提出了一种识别肺炎和正常图像的分类算法。首先,对数据进行增强以防止过拟合现象;其次,通过CBAM模块提升网络对肺炎病灶区的特征提取能力;最后,使用迁移学习加速网络训练,以提升分类性能。结果表明,该算法分类准确率、召回率、AUC分别达98.29%、98.03%、99.69%,可辅助医生高效、准确地实现肺炎诊断。

基于高效通道注意力模块(ECA)和YOLOv5的图像检测方法研究

佩戴安全帽是人们在施工建设中的一项重要保护措施,它可以有效保障人们的生命财产安全。安全帽检测系统也已经成为了很多施工场所的必备的基础设施,为了改善YOLOv5不能通过权重进行聚焦,从而生成有明显辨识度的特征,进而影响安全帽检测准确度的问题,我们在YOLOv5中引入了注意力模块,保证了卷积过程中的特征提取,并且使得图像得到优化,提升了安全帽检测结果的准确性和模型性能。并且我们对比了原YOLOv5、添加了ECA(Efficient Channel Attention)高效通道注意力模块、添加了SEA(Squeeze-andExcitation attention)注意力模块和添加了压缩激励SEL(Squeeze and Excitation Layer)注意力模块的精确率P/%、召回率R/%、mAP@0.5和mAP@0.5:0.95,实验结果表明添加了ECA(Efficient Channel Attention)通道注意力模块的ECA-Yolov5算法相较于原YOLOv5算法P/%、R/%、mAP@0.5、mAP@0.5:0.95分别提升了0.5、0.6、0.5、0.2。由此结果表明引入高效通道注意力模块(ECA)的YOLOv5安全帽识别算法更有能力进行安全施工的检测,提升了施工的安全性。

融入双注意力模块的U-Net肺结节图像分割方法

对肺部医学图像进行分析可以用来肺癌诊断,为了解决肺结节分割的任务中特征提取复杂和分割困难等问题,本文提出了一种融入双注意力模块的U-Net肺结节图像分割方法。该方法在U-Net网络的基础上融入空间注意力模块和通道注意力模块,改善分割网络对复杂环境的感知能力,克服复杂环境对分割结果的干扰从而提高分割效果。在肺结节公开数据集(LUNA16)上进行实验结果表明,本文提出的分割方法能够准确地分割出肺结节区域,能够较为有效地实现肺结节图像分割。

基于分组注意力模块的实时农作物病害叶片语义分割模型

针对传统农作物病害识别方法准确率低、鲁棒性差等问题,该研究首先提出一种基于分组激活策略的分组注意力模块,利用高阶特征指导加强低阶特征,通过分组计算组内加强系数,减少不同组之间的抑制作用,加强特征表达能力。对比试验表明,分组注意力模块特征强化效果优于传统注意力模块。基于分组注意力模块,该研究提出一种实时高效农作物病害叶片语义分割模型,该模型融合了编码-解码语义分割模型和多流语义分割模型的优点。采用ResNet18模型作为特征提取网络对农作物病害叶片的语义分割像素精度达到93.9%,平均交并比达到78.6%。在单张NVIDIA GTX1080Ti显卡的硬件环境下,输入分辨率为900×600像素的图片,该模型运行速度达到每秒130.1帧,满足实时农作物病害叶片语义分割需求,为现代农业病害识别、自动施肥和精准灌溉等应用提供参考。

基于卷积注意力模块和双通道网络的微表情识别算法

微表情是一种人类在试图隐藏自己真实情感时作出的面部动作,具有持续时间短、幅度小的典型特点。针对微表情识别难度大、识别效果不理想的问题,提出一种基于卷积注意力模块(CBAM)和双通道网络(DPN)的微表情识别算法——CBAM-DPN。首先,进行典型微表情数据集的数据融合;然后,分析序列帧中像素的变化值以确定顶点帧位置,再对顶点帧进行图像增强处理;最后,基于CBAM-DPN对图像增强后的微表情顶点帧进行特征的有效提取,并构建分类器对微表情进行识别。优化后模型的未加权F1值(UF1)和未加权平均召回率(UAR)分别可以达到0.7203和0.7293,相较于DPN模型分别提高了0.0489和0.0379,相较于CapsuleNet模型分别提高了0.0683和0.0787。实验结果表明,CBAM-DPN算法融合了CBAM和DPN的共同优势,可增强微小特征的信息提取能力,有效改善微表情识别性能。