基于特征相似性和特征规范化的注意力模块

近年来,注意力机制在图像分类、目标检测和语义分割等领域取得了巨大成功,但现有的注意力机制大多只能在通道或空间维度上实现特征融合,这极大限制了其在通道和空间维度上变化的灵活性,导致无法充分利用特征信息。为此,文中提出一种基于特征相似性和特征规范化的、可同时利用特征图各维度信息的卷积神经网络注意力模块FSNAM。该模块由特征相似性模块(FSM)和特征规范化模块(FNM)两部分组成,FSM利用输入特征图的通道特征信息和局部空间特征信息生成一个二维的特征相似性权重图;FNM利用输入特征图的全局空间特征信息生成一个三维的特征规范化权重图;两个模块生成的权重图融合在一起,生成一个三维的注意力权重图,以此实现通道特征信息和空间特征信息的融合。为证明FSNAM的可行性和有效性,进行了消融实验,结果表明:在图像分类任务方面,FSNAM模块对分类网络在CIFAR数据集上的性能提升明显优于其他主流注意力模块;在目标检测任务方面,使用FSNAM模块的目标检测网络对VOC数据集中的小目标和中等大小目标的检测准确率分别提高了3.9和1.2个百分点;在语义分割任务方面,使用FSNAM模块可以提高HRNet模型的性能,在SBD数据集上模型的平均像素准确率提高了0.58个百分点。

融合监督注意力模块和跨阶段特征融合的图像修复改进网络

非规则缺失区域的图像修复技术用途广泛但具有挑战性。针对现有修复方法对高分辨率图像可能会产生伪影、扭曲结构和模糊纹理的问题,提出一种融合监督注意力模块(SAM)和跨阶段特征融合(CSFF)的图像修复改进网络(Gconv_CS)。在Gconv的两阶段网络模型上,引入了SAM与CSFF模块。SAM通过提供真实图像监督信号,监督上阶段输出特征,确保传入下阶段特征信息的有效性。CSFF将上阶段编码器-解码器的特征融合后送入下阶段的编码器,以弥补上阶段修复中特征信息的损失。实验结果表明,在缺失区域占比为1%~10%时,相较于基线模型Gconv,Gconv_CS在CelebA-HQ数据集上峰值信噪比(PSNR)和结构相似性指数(SSIM)分别提高了1.5%和0.5%,Fréchet起始距离(FID)和L1损失分别降低了21.8%、14.8%;在Place2数据集上,前2个指标分别提高了26.7%和0.8%,后2个指标分别降低了7.9%、37.9%。将Gconv_CS用于去除大熊猫面部遮挡物时,取得了较好的修复视觉效果。

融合注意力与特征金字塔的小尺度目标检测算法

针对Faster R-CNN算法对于小尺寸目标以及遮挡或截断物体检测能力不足的问题,提出一种融合CBAM注意力机制和特征金字塔结构的改进Faster R-CNN算法。为重点聚焦特征图像局部高效信息,在特征提取网络中融入CBAM机制,减少无效目标的干扰,提升面对遮挡或截断物体的检测能力。引入特征金字塔网络结构,联结高层与底层特征数据,获得高分辨率、强语义数据,从而增强小目标物体的检测效果。为缓解梯度消失现象以及减少超参数规模,使用表达能力较强的倒残差VS-ResNet网络替换VGG16网络,VS-ResNet网络在原有ResNet 50基础上修改了部分层次结构,加入辅助分类器,设计倒残差和组卷积方式,使激活函数信息在高维环境中完整保留,提高检测准确率。采用重置候选框分值计算方法弥补非极大值抑制算法误消除重叠检测框的缺陷。实验结果表明,相比VGG16,VS-ResNet在CIFAR-10数据集上的正确率提高2.97个百分点,该算法在Pascal VOC 2012数据集上的目标检测mAP值为76.2%,比原始Faster R-CNN算法的mAP值提高了13.9个百分点。

基于卷积块注意力模块和双向特征金字塔网络的接触网支持装置检测方法研究

接触网支持装置是接触网悬挂状态检测监测图像分析的关键对象,对支持装置零部件的检测定位是实现缺陷自动分析的基础。针对接触网支持装置零部件种类多、尺寸差异大、存在遮挡、部分零部件相似度高等问题,提出一种融合卷积块注意力模块(convolutional block attention module,CBAM)和双向特征金字塔网络(bidirectional feature pyramid network,BiFPN)的接触网支持装置检测方法。在YOLO v5s网络模型基础上,该方法通过CBAM增强接触网支持装置的特征提取,结合BiFPN,实现不同零部件分辨率特征图的融合。利用4C装置获得的图像数据集,开展验证试验。试验结果表明,相对YOLO v5s网络模型,融合CBAM和BiFPN的接触网支持装置检测方法,网络平均精度mAP@0.5提高2.12%;能显著提升小目标检测效果,提高定位的准确性和稳定性,对接触网状态的智能分析有重要意义。

基于金字塔注意力机制的遥感图像超分辨率网络

针对超分辨率算法重建的遥感图像细节等信息丢失的问题,为保证遥感重建图像包含较多的纹理、高频信息,在生成对抗网络基础上提出一种基于金字塔注意力机制的遥感图像超分辨率网络。设计了一种全新的金字塔双重注意力模块,包括通道注意力网络和空间注意力网络。通道注意力网络中采用金字塔池化取代平均池化和最大池化,该结构设计从全局和局部信息角度出发增强特征表述能力;空间注意力网络则采用大尺度卷积,以加强局部信息的提取程度,可有效提取纹理、高频等信息。设计密集多尺度特征模块,利用非对称卷积提取不同尺度的特征信息,通过密集连接融合多层级尺度特征以加强纹理、高频等信息的提取精度。在公开的NWPU-RESISC45数据集上进行实验验证,实验结果分析表明,该算法在主观视觉效果和客观评价指标上均优于对比方法,重建性能相对较好。

融合密集空洞注意力金字塔和多尺度的视网膜病变分割

针对糖尿病视网膜病变(DR)分割任务中病变区域多尺度特征难以学习、边界模糊等问题,提出一种改进的U型多病变分割模型DDAPNet。首先,对DR图像进行Patch处理,使模型更好地捕捉病变的局部特征;其次在主干特征提取后引入重新设计的密集空洞注意力金字塔(DDAP)模块,扩大感受野,解决病变边界模糊问题;同时采用金字塔切分注意力进行特征增强,然后将二者进行特征融合;最后在跳跃连接中嵌入改进的残差注意力模块,降低浅层冗余信息的干扰。在数据集和医院真实数据集上进行联合验证,实验结果表明,相较于基础模型,DDAPNet模型对微动脉瘤、出血点、软渗出DDR物和硬渗出物的分割在Dice系数上分别提高了4.31%、2.52%、3.39%、4.29%,在mIoU上分别提高了1.80%、2.24%、4.28%、1.98%。该模型对病灶边缘的分割更为连续和平滑,有效提升了软渗出物等视网膜病变的分割性能。

基于改进注意力模块的船舶涂装缺陷检测方法

针对人工检测船舶缺陷效率低、传统检测网络准确率差的问题,提出一种基于改进注意力模块(improved convolutional block attention module, ICBAM)的船舶涂装缺陷检测方法.首先,YOLOv4在路径聚合网络中将深度可分离卷积代替常规卷积形成IYOLOv4,减少模型计算量;其次,将ICBAM融入IYOLOv4的路径聚合网络Route层后形成ICBAM-IYOLOv4,ICBAM在通道上构建多频率通道改善全局平均池化,利用一维卷积代替全连接层聚合相邻通道间的信息,减少模型参数;然后,在空间上融合Inception v3思想和特征分层思想改善空洞卷积;最后,在船舶涂装缺陷样本数据增强的基础上,对ICBAM-IYOLOv4进行测试.实验结果表明:ICBAM-IYOLOv4相比其他算法,其损失值更低、收敛更快;平均精度均值(mean average precision, MAP)在训练集和测试集上分别提高了1.89%和1.91%.

多尺度特征融合注意力新冠肺炎病灶分割网络

新冠病毒传染性极强,尽早的诊断和治疗是减少疫情造成损失的关键因素。为辅助医生诊断新冠病情,高效、准确地从肺部CT切片中分割新冠病灶,提出了一种改进的编码器-解码器深度神经网络———多尺度融合注意力网络MSANet(Multi-scale Attention Network),以图像分割效果较为出色的U-Net网络为基础,通过全局池化层和设置空洞卷积的采样率,增大网络感受野,捕获多尺度信息,实现对大目标的有效分割;使用通道注意力与空间注意力,在空间维度上建模,有效提取图像深层特征。测试结果表明,改进后的算法与U-Net网络相比,分割的平均交并比提升了1.46%,类别平均像素准确率提升了0.8%,准确率提升了1.17%。

融合金字塔和注意力机制的文物子图检索模型

随着中国文化研究工作的深入以及数字化文物采集技术的发展,文化资源数据和文化数字内容的数量也随之增长,如何对文化数据进行有效存储、管理以及检索成为一项重要的工作。针对文物图像数据检索任务中因尺度变化和特征选择造成检索精度不高的问题,提出了一种融合折叠多空洞金字塔池化和注意力机制的文物子图检索模型。模型为提高不同尺度的文物子图检索精度,通过在图像特征提取模块使用优化后的折叠多空洞金字塔池化提取图像的多尺度信息;为避免密集局部特征和无关特征影响检索准确率,使用注意力机制对局部特征进行关键特征选择。最后在所构建的文物数据集上进行了消融实验和性能对比实验,实验结果取得了良好的效果,mAP达到85.3%。

双注意力机制与双向特征加权融合的车辆目标检测

公路监控视频中的车辆检测场景复杂多样,存在干扰严重、目标尺寸小、尺寸变化大等情况。已有基于深度神经网络的目标检测模型效率不高,且存在不同程度的错检及漏检问题。文章提出了一种基于通道-空间双注意力机制与双向特征加权融合的车辆目标检测模型,它与YOLOv5网络相结合,不仅提高了目标检测精度,还在满足实时性的前提下有效减少了模型计算量和参数。实验结果表明,模型的平均检测精度mAP由YOLOv5m的85.1%提升至91.5%,而计算量和参数量分别为YOLOv5m的44.3%与53.6%,同时检测速度略有提升,实现了简单、快速的车辆目标检测。

基于多尺度特征融合和多头自注意力机制的非侵入式负荷监测

针对目前负荷分解模型的深层负荷特征提取不充分,分解精度低以及训练成本高等问题,提出了一种多尺度特征融合模型。模型由负荷分解子网络及负荷识别子网络两部分构成,两个子网络均利用一维卷积和批量归一化等组成的卷积块进行负荷特征初提取,然后采用金字塔池化模块从多个维度精确提取深层负荷特征信息,并与特征初提取部分进行融合。金字塔池化模块使网络参数大大减少且降低了训练成本。同时与以往模型中的注意力机制不同的是,网络引入多头自注意力机制,每个注意力关注负荷特征的不同部分,从多个角度实现对重要负荷特征的筛选,进一步提高分解性能。最后,在UK-DALE和REDD数据集上进行实验,结果表明所提模型与4个基准模型相比,无论是负荷分解性能还是电器运行状态识别能力都有明显提升。

基于注意力特征金字塔网络的肺结节检测算法

针对肺结节计算机辅助检测(CAD)系统中肺结节形态各异难以检测带来的敏感度低、假阳性率高的问题,提出一种基于注意力特征金字塔网络的肺结节检测算法。在第一阶段,以更加紧凑的双路径网络(DPN)为骨干网络,并结合特征金字塔网络(FPN)进行多尺度预测,以获取不同层次的特征信息,同时嵌入全局注意力机制(GAM)来细化学习要强调的语义特征,并提高算法的敏感度;在第二阶段,提出一种假阳性抑制网络,以获得最终分类预测结果;在训练阶段,采用焦点损失函数和多种数据增强技术来处理数据不平衡问题。在公开数据集LUNA16(LUng Nodule Analysis 2016)上的实验结果显示:仅有第一阶段的算法的竞争性能指标(CPM)达到了0.908,而加入假阳性抑制网络后算法的CPM达到了0.933,这与经典算法基于最大强度投影(MIP)的卷积神经网络(CNN)算法相比提升了1.1个百分点;而消融实验的结果表明DPN、FPN、GAM对于提升检测敏感度是有作用的。以上证明了所提出的两阶段检测算法可以获取多尺度结节信息,提高肺结节检测的敏感度,并且降低假阳性率。

面向白内障识别的临床特征校准注意力网络

近年来,卷积神经网络(convolutional neural network,CNN)模型已经被广泛用于年龄相关性白内障自动分类任务,然而,鲜有研究工作将年龄相关性白内障的临床先验知识注入卷积神经网络架构设计中,以此来提高年龄相关性白内障的分类效果和改善模型决策过程的可解释性。提出了一种临床特征校准注意力网络(clinical feature recalibration attention network,CFANet)模型用于自动识别年龄相关性白内障严重级别。在CFANet中,设计了一个简单且有效的临床特征校准注意力模块(clinical feature recalibration attention block,CFA),其不仅能对不同临床特征类型进行自适应地加权融合,还通过门控操作符来突出重要通道和抑制不重要通道。在一个核性白内障的眼前节光学相干断层成像影像(anterior segment optical coherence tomography,AS-OCT)数据集和一个公开眼科影像数据集上进行了充分实验,实验结果表明,相较于squeeze-and-excitation network(SENet)、efficient channel network(ECANet)、style-based recalibration module(SRM),CFANet在AS-OCT数据集上的分类准确率至少提升了3.54个百分点,同时在公开的眼科影像数据集上的分类结果比先进的神经网络模型和已发表的研究工作提升了1个百分点以上。此外,还通过可视化方法分析临床特征的权重分布和通道的注意力权重分布来提高该文模型决策过程的可解释性。

坐标注意力特征金字塔的显著性目标检测算法

显著性目标检测旨在获取图像中的视觉显著目标,是计算机视觉领域的重要研究内容。相比传统手工提取特征的方法,基于全卷积神经网络的方法已在这一领域展现出强大优势。然而,显著性目标检测仍然存在一些问题。复杂场景下,背景中可能存在一些易被误判为显著目标的噪声,导致检测性能下降。另外,当显著目标轮廓较为复杂时,边界像素点的检测也变得较为困难。为了解决这些问题,提出一种坐标注意力特征金字塔的显著性目标检测算法。采用基于特征金字塔的网络结构,提取显著目标中不同层次的特征,并设计特征细化模块以实现不同层次特征的有效融合。为解决背景误判问题,采用坐标注意力模块,增大显著性区域权重的同时,抑制背景噪声。对于边界复杂问题,设计边界感知损失函数并结合多层次监督方法,帮助网络更加关注边界像素点,生成边界清晰的高质量显著图。在五个常用显著性目标检测数据集上的实验结果表明,该算法在五种评价指标上均取得较优的检测结果。

融合特征金字塔和通道注意力的轻量车辆检测算法

车辆检测是智能交通、无人驾驶等系统得以实现的重要支撑性技术。低精度或低速度的车辆检测器应用受限,因此提出了一种快速准确的车辆检测器。首先,前端特征提取网络VGG16由MobileNetV3_Large替代,减少了参数量和计算量,并增加了对高维特征的提取能力;其次,利用特征金字塔思想构建双向加权融合网络,有效融合不同尺度的特征,获取多维度的车辆特征;最后在特征提取层引入高效通道注意力,重新标定不同特征通道的重要性,进一步提高模型性能。与SSD相比,所提出的模型在KITTI数据集和BDD 100 K数据集上分别将平均精度提高了7.50%和3.50%,并具有实时检测能力(超过40 fps),在检测精度和速度方面有更好的平衡,说明了方法的有效性。

基于跨模态注意力融合的煤炭异物检测方法

为解决原煤智能化洗选过程中煤流中夹杂的异物对比度低、相互遮挡导致异物图像检测时特征提取不充分的问题,提出了一种基于跨模态注意力融合的煤炭异物检测方法。通过引入Depth图像构建RGB图像与Depth图像的双特征金字塔网络(DFPN),采用浅层的特征提取策略提取Depth图像的低级特征,用深度边缘与深度纹理等基础特征辅助RGB图像深层特征,以有效获得2种特征的互补信息,从而丰富异物特征的空间与边缘信息,提高检测精度;构建了基于坐标注意力与改进空间注意力的跨模态注意力融合模块(CAFM),以协同优化并融合RGB特征与Depth特征,增强网络对特征图中被遮挡异物可见部分的关注度,提高被遮挡异物检测精度;使用区域卷积神经网络(R-CNN)输出煤炭异物的分类、回归与分割结果。实验结果表明:在检测精度方面,该方法的AP相较两阶段模型中较优的Mask transfiner高3.9%;在检测效率方面,该方法的单帧检测时间为110.5 ms,能够满足异物检测实时性需求。基于跨模态注意力融合的煤炭异物检测方法能够以空间特征辅助色彩、形状与纹理等特征,准确识别煤炭异物之间及煤炭异物与输送带之间的差异,从而有效提高对复杂特征异物的检测精度,减少误检、漏检现象,实现复杂特征下煤炭异物的精确检测与像素级分割。

结合注意力和多路径融合的实时肺结节检测算法

现有单阶段目标检测算法在肺结节检测中结节检出不敏感,卷积神经网络(CNN)在特征提取时多次上采样导致微小结节特征提取困难、检测效果差,并且现存肺结节检测算法模型复杂,不利于实际应用部署落地。针对上述问题,提出一种结合注意力机制和多路径融合的实时肺结节检测算法,并在此基础上改进上采样算法,提升肺部结节的检测精度和模型推理速度,且模型的权重小容易部署。首先,在特征提取的主干网络部分融合通道和空间的混合注意力机制;其次,改进采样算法,提高生成特征图的质量;最后在加强特征提取网络部分,在不同路径之间建立通道,实现深层和浅层特征的融合,将不同尺度的语义和位置信息融合。在LUNA16数据集的实验结果表明,相较于原始YOLOv5s算法,所提算法的精确率、敏感度和平均精度分别提升9.5、6.9和8.7个百分点,帧率达到131.6 frame/s,模型权重文件仅有14.2 MB,表明了所提算法可以实时检测肺结节,并且精度远高于YOLOv3和YOLOv8等现有单阶段检测算法。

多尺度特征融合注意力网络的水下图像增强

水下图像在海洋资源探索中具有重要作用.针对现有的水下增强方法存在去雾不彻底和细节丢失等问题,提出一种基于多尺度特征融合注意力网络的水下图像增强方法.首先,采用多特征提取模块获取图像特征,学习不同空间的特征信息,并通过特征融合模块加强不同空间信息的有效联系,实现特征的复用和深层次的学习;然后,构建特征调制模块,将低质量信息特征转换为高质量信息特征,包括通道和像素注意残差块,将其堆叠成链式结构,通过动态调制多级特征增强图像细节,并抑制冗余信息;最后,构建包含均方差损失函数、L1损失函数和感知损失函数的多项式损失函数,引入异步训练模式提高网络性能.实验结果表明,基于EUVP数据集、合成的SUDS数据集和UFO-120数据集,该方法在主观视觉质量和客观评价指标(UCIQE,NIQE,SURF以及信息熵)上均优于其他经典及新颖方法,增强后水下图像去雾效果良好,并且在恢复图像细节方面也具有明显优势,显著地提高了水下图像的视觉质量.

基于感知注意力和轻量金字塔融合网络模型的室内场景语义分割方法

针对实验室场景理解时存在背景复杂、光照多变等问题,利用RGB信息与深度信息在场景理解中具有互补性的特点,提出了一种感知注意力和轻量空间金字塔融合的网络模型(Perception Attention and Lightweight Spatial Fusion Network,PLFNet)。在该模型的感知注意力模块中,利用RGB图像与深度图像在网络中的权重不同,以加权的方式实现深度信息对RGB信息的多级辅助;在轻量空间金字塔池化模块中,通过增加级联的空洞空间卷积,不但有效地聚集了多尺度特征,而且比传统空间金字塔池化模块的参数量减少了约92%,使RGB信息和深度信息的融合更充分。在两个室内场景公开数据集上的实验结果表明,该模型的表现均优于经典算法。消融实验结果表明,本文模型添加感知注意力模块和轻量空间金字塔池化模块后,平均交并比分别提高了4.3%和3.5%。最后,利用场景较复杂的生物实验室数据集进行测试,结果表明本文模型可以有效地实现对生物实验室的场景理解。

结合特征融合和金字塔注意力的场景文本检测

基于深度学习的场景文本检测普遍缺少特征级的精细化,导致原本设计良好的模型不能被充分利用,提出将特征融合和特征金字塔注意力模块应用到场景文本检测。将基本特征提取网络(PixelLink算法)得到的4个特征映射层以采样后加权叠加的方式进行特征融合,并将结果送给特征金字塔注意力模块。特征融合使各层级的特征信息相结合,从而增加了特征映射层的信息量。采用注意力网络可以在增大感受野的同时不提高计算力,而空间金字塔结构可利用不同的网格尺度或不同的扩张率融合多尺度的特征信息。特征金字塔注意力模块包含精细化金字塔网络分支、非线性变换分支以及全局平均池化分支。实验结果表明,相较于PixelLink算法,该算法在ICDAR2015和ICDAR2013数据集上综合指标(F-measure,F)分别提升了2.91%和4.04%。