融合监督注意力模块和跨阶段特征融合的图像修复改进网络

非规则缺失区域的图像修复技术用途广泛但具有挑战性。针对现有修复方法对高分辨率图像可能会产生伪影、扭曲结构和模糊纹理的问题,提出一种融合监督注意力模块(SAM)和跨阶段特征融合(CSFF)的图像修复改进网络(Gconv_CS)。在Gconv的两阶段网络模型上,引入了SAM与CSFF模块。SAM通过提供真实图像监督信号,监督上阶段输出特征,确保传入下阶段特征信息的有效性。CSFF将上阶段编码器-解码器的特征融合后送入下阶段的编码器,以弥补上阶段修复中特征信息的损失。实验结果表明,在缺失区域占比为1%~10%时,相较于基线模型Gconv,Gconv_CS在CelebA-HQ数据集上峰值信噪比(PSNR)和结构相似性指数(SSIM)分别提高了1.5%和0.5%,Fréchet起始距离(FID)和L1损失分别降低了21.8%、14.8%;在Place2数据集上,前2个指标分别提高了26.7%和0.8%,后2个指标分别降低了7.9%、37.9%。将Gconv_CS用于去除大熊猫面部遮挡物时,取得了较好的修复视觉效果。

双分支多维注意特征融合的高光谱图像分类

为改善高光谱图像小样本类别的分类性能,提高模型特征表达的稳健性,提出了双分支多维注意力特征融合的神经网络分类模型(DBMD)。DBMD采用两个分支分别进行光谱特征提取和混合特征提取。光谱分支通过密集连接的扩张卷积逐级提取特征,然后融合低、中、高级语义信息作为特征输出。混合分支采用3D-2D网络架构,并通过改进的Inception块提取空间尺度特征。此外,注意力机制分别应用于光谱、空间和空谱特征,进行特征细化,增强重要区域的特征响应。最后,将不同维度的细化特征联合输入至分类器进行分类。在Indian Pines和Salinas Valley数据集上利用5%和1%的样本进行实验,分别取得了98.40%和99.78%的总体精度,与其他六种网络架构相比,该模型在准确性和稳定性上都具有更优的表现。

融合双注意力机制的GNN多维时间序列预测

针对现有多维时间序列数据(multivariate time series,MTS)预测中变量间依赖关系捕获能力不足和时间序列数据多通道信息利用不充分的问题,提出一种融合双注意力机制的多维时间序列预测模型(feature fusion and dual attention mechanism based GNN,FFDA-GNN)。该模型将图神经网络与空间注意力机制融合,用于增强多变量之间依赖关系捕获能力;利用并行的多层膨胀卷积和通道注意力机制,对时间序列数据进行多通道的特征提取,实现对时间序列数据多通道信息的充分利用,从而提升预测性能。在经济、电力、交通3个领域数据集上与基准模型进行对比实验,该模型预测精度优于其他基准方法,有良好的可行性。

多尺度特征融合注意力新冠肺炎病灶分割网络

新冠病毒传染性极强,尽早的诊断和治疗是减少疫情造成损失的关键因素。为辅助医生诊断新冠病情,高效、准确地从肺部CT切片中分割新冠病灶,提出了一种改进的编码器-解码器深度神经网络———多尺度融合注意力网络MSANet(Multi-scale Attention Network),以图像分割效果较为出色的U-Net网络为基础,通过全局池化层和设置空洞卷积的采样率,增大网络感受野,捕获多尺度信息,实现对大目标的有效分割;使用通道注意力与空间注意力,在空间维度上建模,有效提取图像深层特征。测试结果表明,改进后的算法与U-Net网络相比,分割的平均交并比提升了1.46%,类别平均像素准确率提升了0.8%,准确率提升了1.17%。

基于多级特征融合与注意力模块的场景识别方法

场景图像通常由背景信息和前景目标对象构成,用于场景识别任务的卷积神经网络(CNN)通常需要根据场景中关键目标的特征,甚至结合目标之间的位置关系来识别出场景所属类别。针对场景图像中较小尺寸的关键目标特征随着网络层次的加深而逐渐消失,从而导致场景识别错误的问题,提出了一种基于多级特征融合与注意力模块的场景识别方法。首先,将深度神经网络ResNet-18的特征提取部分划分出5个分支;然后,将5个分支输出的多级特征进行融合,利用融合后的特征进行场景识别和分类,以弥补丢失的目标信息;最后,在网络中加入改进的注意力模块,以达到着重学习场景图像中关键目标的目的,进一步提升识别效果。在多个场景数据集上进行实验对比,结果表明,所提方法在MIT-67,SUN-397和UIUC-Sports这3个场景数据集上的识别准确率分别达到了88.2%,79.9%和97.7%,相比目前主流的场景识别方法其具有更高的识别准确率。

双注意力机制与双向特征加权融合的车辆目标检测

公路监控视频中的车辆检测场景复杂多样,存在干扰严重、目标尺寸小、尺寸变化大等情况。已有基于深度神经网络的目标检测模型效率不高,且存在不同程度的错检及漏检问题。文章提出了一种基于通道-空间双注意力机制与双向特征加权融合的车辆目标检测模型,它与YOLOv5网络相结合,不仅提高了目标检测精度,还在满足实时性的前提下有效减少了模型计算量和参数。实验结果表明,模型的平均检测精度mAP由YOLOv5m的85.1%提升至91.5%,而计算量和参数量分别为YOLOv5m的44.3%与53.6%,同时检测速度略有提升,实现了简单、快速的车辆目标检测。

基于多注意力机制与跨特征融合的语义分割算法

图像语义分割技术在缺陷检测、医疗诊断、无人驾驶等领域广泛应用。针对现有语义分割模型普遍存在训练成本过高、目标轮廓分割效果不佳以及对小目标误分割、漏分割等问题,基于DeepLabv3+网络框架,提出多注意力机制与跨特征融合相结合的图像语义分割算法。该算法选取轻量级网络MobileNetv2作为主干,以缩短训练时间;通过优化空洞空间金字塔池化模块中空洞卷积的膨胀率,改善多尺度语义特征的提取效果,提高模型对小目标的分割能力,并将兼具通道与空间的卷积块注意力机制引入其中,更加关注对分割起决定作用的区域,从而加强对目标边界的提取;在编码器中设计跨特征融合模块,以聚合不同层次特征图的空间信息和语义信息,提高网络学习特征的能力;在编码和解码部分均引入坐标注意力机制,以分解全局平均池化的方式将位置信息嵌入到通道中,从而得到分割目标的准确位置。实验结果表明,所提算法F3crc-DeepLabv3+在PASCAL VOC 2012增强数据集和Cityspaces数据集上的平均交并比分别达到了75.06%和73.06%,平均精度分别达到了84.16%和82.05%,精确率分别达到了86.18%和85.43%,训练时间分别为10 h和13.8 h,具有较优的网络性能。

多维注意力机制与选择性特征融合的图像超分辨率重建

针对图像超分辨率重建过程中提取低分辨率特征效果较差,大量高频信息丢失导致的边缘模糊和伪影问题,提出了融合多维注意力机制与选择性特征融合作为图像特征提取模块的图像超分辨率重建方法。网络由若干个基本块和残差操作构建模型的特征提取结构,其核心是一种提取图像特征的异构组卷积块,该模块的对称组卷积块以并行的方式进行卷积提取不同通道间的内部信息特征并进行选择性特征融合,互补卷积块通过全维度动态卷积从空域、输入输出维度和核维度捕捉遗漏的上下文信息,对称组卷积块和互补卷积块连接后的特征采用特征增强残差块去除冗余造成干扰的无用信息。模型通过5种消融实验证明其设计的合理性,在Set5,Set14,BSDS100和Urban100测试集上与其他主流的超分辨率重建方法进行对比,峰值信噪比(PSNR)和结构相似性(SSIM)定量数据均有提升,尤其在放大因子为3的Set5数据集上比次优算法CARN-M均提升0.06 dB,结果表明提出模型具有更优的性能指标和更好的视觉效果。

基于残差双注意力与跨级特征融合模块的静态手势识别

为解决卷积神经网络提取特征遗漏、手势多特征提取不充分问题,本文提出基于残差双注意力与跨级特征融合模块的静态手势识别方法.设计了一种残差双注意力模块,该模块对ResNet50网络提取的低层特征进行增强,能够有效学习关键信息并更新权重,提高对高层特征的注意力,然后由跨级特征融合模块对不同阶段的高低层特征进行融合,丰富高级特征图中不同层级之间的语义和位置信息,最后使用全连接层的Softmax分类器对手势图像进行分类识别.本文在ASL美国手语数据集上进行实验,平均准确率为99.68%,相比基础ResNet50网络准确率提升2.52%.结果验证本文方法能充分提取与复用手势特征,有效提高手势图像的识别精度.

基于改进注意力模块的船舶涂装缺陷检测方法

针对人工检测船舶缺陷效率低、传统检测网络准确率差的问题,提出一种基于改进注意力模块(improved convolutional block attention module, ICBAM)的船舶涂装缺陷检测方法.首先,YOLOv4在路径聚合网络中将深度可分离卷积代替常规卷积形成IYOLOv4,减少模型计算量;其次,将ICBAM融入IYOLOv4的路径聚合网络Route层后形成ICBAM-IYOLOv4,ICBAM在通道上构建多频率通道改善全局平均池化,利用一维卷积代替全连接层聚合相邻通道间的信息,减少模型参数;然后,在空间上融合Inception v3思想和特征分层思想改善空洞卷积;最后,在船舶涂装缺陷样本数据增强的基础上,对ICBAM-IYOLOv4进行测试.实验结果表明:ICBAM-IYOLOv4相比其他算法,其损失值更低、收敛更快;平均精度均值(mean average precision, MAP)在训练集和测试集上分别提高了1.89%和1.91%.

红外弱光下多特征融合与注意力增强铁路异物检测

针对红外弱光环境下铁路异物检测时存在目标特征提取不充分、检测精度及实时性低的问题,在CenterNet目标检测模型的基础上,提出了一种红外弱光下多特征融合与注意力增强的无锚框异物检测深度学习模型。在红外目标多尺度特征提取的基础上,引入自适应特征融合(ASFF)模块,充分利用目标高层语义与底层细粒度特征信息,提升红外目标特征提取能力。通过提出的空洞卷积增强注意力模块(Dilated-CBAM)进行关键特征提取,扩大注意力模块感受野范围,克服了原始CenterNet卷积块感受野映射区域变窄、无法检测弱小目标的问题,提升了无锚框网络的检测精度。使用Smooth L1损失函数进行训练,克服了L1损失函数在网络训练过程收敛速度慢及训练不稳定解的问题。通过铁路红外数据集及现场实验测试,结果表明:所提方法较原始CenterNet模型平均检测精度提高了8.03%,检测框置信度提升了31.23%,平均检测速率是Faster R-CNN模型的9.6倍,所提方法在红外弱光环境下能够更加快速准确地检测出铁路异物,主客观评价均优于对比方法。

基于组件特征与多注意力融合的车辆重识别方法

为提升车辆重识别算法的性能,提出一种基于车辆组件特征与多注意力融合的特征学习方法.首先,修改深度残差网络以获取具有丰富语义信息的特征图,同时应用语义分割网络将车辆图像划分为车辆正面、背面、顶面、侧面及背景区域,以实现组件特征提取并消除视角变化的影响.然后,设计多注意力融合模块,基于面积注意力与特征注意力实现组件特征的自适应融合.最后,在多任务学习框架下,优化车辆重识别的三元组损失与辅助分类任务的交叉熵与焦点损失,对网络参数进行训练.在多个数据集上的实验结果表明,提出的方法在大多数性能指标上均超越了现有方法.进一步的消融实验证明了多注意力融合模块与多任务损失函数在特征提取上的有效性.

融合姿态信息和注意力机制的行人重识别研究

针对行人重识别(person re-identification,Re-ID)任务中行人遮挡以及背景信息杂乱不便于提取具有辨识度特征的问题,引入人体关键点模型定位出行人的关键点坐标以便于消除背景信息,根据关键点坐标将图片分割成具有语义信息的区域块。对于骨干网络,为使其提取的特征更加鲁棒,设计一个强化注意力模块(enhanced attention module,EAM),使网络自动分配权重,最终得到更加具有辨识度的特征向量。最后将这些区域块和整体图片送入修改后的注意力机制的神经网络并且联合多个损失一起优化网络。在几个行人重识别数据集试验验证了本研究提出方法优于大多数方法。试验结果还表明该网络针对跨域以及遮挡问题也起到积极作用。

结合特征融合和金字塔注意力的场景文本检测

基于深度学习的场景文本检测普遍缺少特征级的精细化,导致原本设计良好的模型不能被充分利用,提出将特征融合和特征金字塔注意力模块应用到场景文本检测。将基本特征提取网络(PixelLink算法)得到的4个特征映射层以采样后加权叠加的方式进行特征融合,并将结果送给特征金字塔注意力模块。特征融合使各层级的特征信息相结合,从而增加了特征映射层的信息量。采用注意力网络可以在增大感受野的同时不提高计算力,而空间金字塔结构可利用不同的网格尺度或不同的扩张率融合多尺度的特征信息。特征金字塔注意力模块包含精细化金字塔网络分支、非线性变换分支以及全局平均池化分支。实验结果表明,相较于PixelLink算法,该算法在ICDAR2015和ICDAR2013数据集上综合指标(F-measure,F)分别提升了2.91%和4.04%。

基于协同注意力与特征融合的无人机小目标检测

针对现有无人机检测领域存在小目标检测困难以及特征提取效果不佳的问题,提出了一种基于协同注意力模块与双向特征融合结构的无人机小目标检测网络。通过设计协同注意力单元,与骨干网络形成协同注意力模块,显著提升模型特征表达能力;同时借鉴路径聚合网络的思想,设计双向特征融合结构,引入自底向上的特征融合路径,实现浅层特征与深层特征的深度融合,提高小目标检测精度。实验结果表明,所提算法在无人机小目标数据集上的平均精度优于其他网络,显著提升了无人机场景下小目标的检测性能。

融合坐标注意力与多尺度特征的轻量级安全帽佩戴检测

针对现有煤矿工人安全帽佩戴检测算法存在检测精度与速度难以取得较好平衡的问题,以YOLOv4模型为基础,提出了一种融合坐标注意力与多尺度的轻量级模型M-YOLO,并将其用于安全帽佩戴检测。该模型使用融入混洗坐标注意力模块的轻量化特征提取网络S-MobileNetV2替换YOLOv4的特征提取网络CSPDarknet53,在减少相关参数量的前提下,有效改善了特征之间的联系;将原有空间金字塔池化结构中的并行连接方式改为串行连接,有效提高了计算效率;对特征融合网络进行改进,引入具有高分辨率、多细节纹理信息的浅层特征,以有效加强对检测目标特征的提取,并将原有Neck结构中的部分卷积修改为深度可分离卷积,在保证检测精度的前提下进一步降低了模型的参数量和计算量。实验结果表明,与YOLOv4模型相比,M-YOLO模型的平均精度均值仅降低了0.84%,但计算量、参数量、模型大小分别减小了74.5%,72.8%,81.6%,检测速度提高了53.4%;相较于其他模型,M-YOLO模型在准确率和实时性方面取得了良好的平衡,满足在智能视频监控终端上嵌入式加载和部署的需求。

基于多维注意力融合的驾驶场景分割增强算法

针对使用注意力机制的语义分割模型计算资源消耗与精度不平衡的问题,提出一种轻量化的语义分割注意力增强算法。首先,基于驾驶场景中物体的形状特点设计了条状分维注意力机制,使用条形池化代替传统方形卷积,并结合降维操作分维度提取长程语义关联,削减模型计算量。接着融合通道域与空间域上的注意力,形成可叠加与拆解的轻量化多维注意力融合模块,全方位提取特征信息,进一步提升模型精度。最后,将模块插入基于ResNet-101骨干网的编码—解码网络中,指导高低层语义融合,矫正特征图边缘信息,补充预测细节。实验表明,该模块有较强的鲁棒性和泛化能力,与同类型注意力机制相比,削减了约90%的参数量以及80%的计算量,且分割精度依旧取得了稳定的提升。

结合多尺度特征和多维注意力的人脸风格转换

针对StarGANv2模型生成的人脸图像存在风格重建效果不佳、人脸纹理不够自然等现象,该文提出结合多尺度特征和多维注意力的人脸风格转换模型.1)将多尺度特征融合模块PSConv嵌入StarGANv2生成器内,提高了模型对图像特征的提取能力;2)提出了多维注意力模块MDConv,并将该模块嵌入StarGANv2判别器内,从而提高了模型对真假人脸图像的判别能力.与StarGANv2方法在CelebA-HQ数据集上进行对比实验的结果表明:该方法生成的人脸图像风格更美观,纹理细节更自然,学习感知图像相似度(LPIPS)的值也得到了提升.

基于注意力机制和多层次特征融合的目标检测算法

为了提高目标检测的准确率,提出一种基于注意力机制和多层次特征融合的图像目标检测算法。该算法在Cascade R-CNN模型的基础上,以RseNet50为主干网络,通过嵌入简单的注意力模块(SAM)来提高网络的判别能力;其次,利用深度可分离卷积改进特征金字塔网络(FPN),设计了多层次特征融合模块(MFFM),对多尺度特征进行融合,以丰富特征图的信息量,并对不同层次的特征图赋予相应的权重以平衡不同尺度的特征信息;最后,结合目标检测方法中的区域建议网络(RPN)结构获取目标的候选区域进行分类和回归处理,确定检测目标的位置和类别。实验结果表明,相较于Cascade R-CNN目标检测算法,该算法的检测精度提升了约2.0%。

基于双向加权特征融合网络的铸件内部缺陷检测方法

针对X射线无损探伤过程中铸件内部缺陷小、对比度弱、人工识别效率低等问题,提出了一种基于双向加权特征融合网络的铸件内部缺陷检测方法。在YOLOv5网络模型基础上引入改进的坐标注意力模块(NCA),以提高网络对不规则缺陷和小缺陷的学习能力;引入双向特征金字塔网络(BiFPN)代替原有路径聚合网络(PANet),以实现缺陷特征多尺度高效融合,并使用EIoU Loss回归损失函数提高缺陷边界框定位的精度。试验结果表明,本文所提方法对铸件内部小目标、弱对比度缺陷具有良好的检测性能。