基于卷积神经网络与通道和空间注意力机制的房颤预测模型研究

目的采用人工智能技术提出一种模型,以对房颤进行早期预防和诊断。方法提出一种基于卷积神经网络(convolutional neural network,CNN)与通道和空间注意力机制(convolutional block attention module,CBAM)的模型用于对房颤的诊断与预测。结果根据长期心房颤动数据库、MIT-BIH心房颤动数据库和MIT-BIH正常窦性心律数据库的数据,提出的模型在全盲的情况下总体准确率达94.2%。结论提出的模型满足了医学心电图解释的需要,为房颤的预测研究提供了新思路。

采用空间和通道激励注意力机制优化ResNet-50的CFRP/TC4叠层材料钻削刀具磨损状态监测

针对碳纤维增强复合材料(CFRP)与钛合金组成的叠层材料在制备装配孔时存在刀具磨损严重的问题,提出了一种空间和通道激励注意力机制(scSE)优化深度残差神经网络(ResNet-50)的刀具磨损监测方法。开展钻削实验,采集钻削过程中的力和温度信号,信号经连续小波变换转换为小波尺度谱。搭建ResNet-50网络结构,从空间和通道双维度对卷积提取的特征图进行权重标定。研究结果表明,scSE可以从空间和通道两个维度做到增强有用特征,抑制无用特征,经scSE优化的网络结构识别准确度达到96.15%。

基于端口注意力与通道空间注意力的网络异常流量检测

网络异常流量检测是网络安全保护重要组成部分之一。目前,基于深度学习的异常流量检测方法都是将端口号属性与其他流量属性同等对待,忽略了端口号的重要性。为了提高异常流量检测性能,借鉴注意力思想,提出一个卷积神经网络(CNN)结合端口注意力模块(PAM)和通道空间注意力模块(CBAM)的网络异常流量检测模型。首先,将原始网络流量作为PAM的输入,分离得到端口号属性送入全连接层,得到学习后的端口注意力权重值,并与其他流量属性点乘,输出端口注意力后的流量数据;其次,将流量数据转换成灰度图,利用CNN和CBAM更充分地提取特征图在通道和空间上的信息;最后,使用焦点损失函数解决数据不平衡的问题。所提PAM具有参数量少、即插即用和普遍适用的优点。在CICIDS2017数据集上,所提模型的异常流量检测二分类任务准确率为99.18%,多分类任务准确率为99.07%,对只有少数训练样本的类别也有较高的识别率。

DenseNet结合空间通道注意力机制的环境声音分类

音乐信息识别(MIR)和自动语音识别(ASR)都是以结构化声音为特点的声音识别,环境声音识别在声音识别领域的难度很大。为了充分利用从环境声中提取的Log-Mel谱图的空间特征与通道特征,提出了一种基于密集连接卷积网络(DenseNet)的空间通道注意力机制。使用DenseNet对Log-Mel谱图进行特征提取,引入空间通道注意力机制使网络更加关注显著特征;为了解决数据不足导致的过拟合问题,将混合数据增强的方法应用于Log-Mel谱图,从而保证了数据的多样性;在2个公共数据集(ESC-50和ESC-10)验证所提方法的有效性。结果表明:所提的空间通道注意力机制模型能够使神经网络对环境声音的识别率分别达到79.3%(ESC-50)和94.3%(ESC-10)。

融合空洞空间金字塔池化和注意力的轻量化遥感影像道路提取

针对高分辨率遥感影像中道路形状结构错综复杂,出现窄小型道路提取错误或漏分的问题,提出一种基于空洞空间金字塔池化和注意力机制的轻量化遥感影像道路提取方法。首先,在原始高分辨率网络(HRNet)基础上,通过引入空洞空间金字塔池化模块,实现多尺度道路信息融合;再引入挤压激励通道注意力机制,增强网络特征表征质量;最后使用深度可分离卷积方法改进网络残差模块实现模型轻量化,以降低模型计算复杂度。在公开数据集上进行了模型性能测试,实验结果表明,文章所提算法的准确率、精确率、召回率、F1分数和平均交并比,相比原始HRNet分别提升了5.35%、2.15%、4.1%、3.15%和14.34%,且减少了36.1%的参数数量;相比其他网络,该算法突出了细小道路的特征,道路预测结果连续性、完整性好,并且模型小易于部署在实时检测设备中,有效改善了道路提取任务中错分和缺失的情况,是一种适应性更强、分割精度更高、更轻量化的多尺度道路提取算法。

融合空间十字注意力与通道注意力的语义分割网络

针对现有语义分割方法无法有效构建上下文语义关联关系以及所提取的语义特征表征能力不足的问题,提出了一种新的空间十字注意力与通道注意力相融合的语义分割网络。首先,采用空间十字注意力模块(SCCAM)聚合目标像素在水平和垂直方向上的上下文信息,进而高效地建立像素之间的非局部语义依赖关系。其次,在通道注意力模块(CAM)中引入多头注意力机制,在多个通道子空间上挖掘语义更显著的通道特征。在此基础上,通过融合空间与通道两个维度上的注意力特征,进一步增强特征的语义表征能力,提升语义分割精度。在Cityscapes数据集、PASCAL VOC2012数据集以及CamVid数据集上的实验结果表明,与其他先进语义分割方法相比,该网络模型具有更高的分割精度。

基于空间弱化和通道增强注意力的行人重识别

针对现有行人重识别方法过于注重对行人图像强辨别性特征的提取导致模型缺乏鲁棒性,以及无法很好地结合空间和通道维度信息的问题,提出一种基于空间弱化和通道增强注意力的行人重识别方法。通过弱化对于高响应区域的注意,迫使模型学习更全面的特征信息,提升模型的泛化能力。嵌入通道注意力机制,通过学习特征通道之间的相关性,自动校准通道维度上的注意力。在Market-1501、DukeMTMC-ReID、CUHK03和MSMT17数据集上进行的实验结果表明,该方法具有较好的鲁棒性和识别准确率,能有效提高行人重识别性能。特别地,在CUHK03数据集中提升了7.6%的Rank-1精度和10.4%的mAP。

通道-空间联合注意力机制的显著性检测模型

针对显著性区域突出不均匀和边缘不清晰导致显著性检测鲁棒性差等问题,提出了一种通道-空间联合注意力机制的显著性检测模型。改进了一种通道注意力机制,将特征图中的像素概率值逐像素相加以更好的获取通道中层间信息的关联性;在通道注意力机制的基础上并行融入了空间注意力机制,对特征图的空间信息进行加权获得目标突出的显著性区域;将通道注意力机制与空间注意力机制输出的两个特征图加权融合反馈至通道-空间联合注意力机制,从而得到细粒度更高的显著图。实验结果表明,该模型在公开的数据集DUTS-TE和SOD上,使用F-measure和平均绝对误差作为评估标准均优于其他同类模型。

基于混合域残差注意力网络的滚动轴承智能故障诊断方法

机械设备正朝着大型化、精密化和自动化的方向发展,机械系统也因此变得越来越复杂。考虑到机械系统可能会发生无特征的灾难性故障,因此机械故障的自动检测是一个巨大的挑战。然而,现有的故障检测方法在对高度复杂的工业系统进行故障类型识别时,误诊率较高,无法给出准确的故障诊断结果。针对这一问题,本文以滚动轴承这一机械设备关键部件作为研究对象,提出一种基于混合域残差注意力网络的故障诊断方法,旨在结合深度卷积神经网络自动学习表示的优点,并配合通道注意力机制和空间注意力机制的关键特征提取能力,提高故障检测性能。实验结果表明,所提出的方法能够准确地检测轴承故障类型,在准确度指标方面优于其他方法。

基于空间通道注意力机制与多尺度融合的交通标志识别研究

通过YOLOV3深度神经网络算法可以实现道路交通标志的自动检测与识别,由于YOLOV3运算量较大,很难在小型嵌入式平台上使用,针对这一问题,文中提出了改进型的轻量化YOLOV3-3ctiny神经网络模型。为了融合浅层特征图的空间信息与深层特征图的语义信息,将第19层卷积层通过上采样后与第7层卷积层相连接,多尺度融合后输入YOLO层形成新的特征金字塔,以此提高小目标的识别率。同时,为使网络更加关注交通标志的细节信息,在特征金字塔网络中增添能够增强前景信息降低背景信息的空间通道注意力机制。使用Kmeans聚类算法对数据集作聚类处理,获得一组先验框。在长沙理工大学交通标志数据集上进行测试,实验结果表明,改进后算法的识别率达到91.8%,与YOLOV3-tiny算法相比提高了24.9个百分点,而与YOLOV3算法相比,每张图片的检测时间降低至0.133s,降低了49.6%,该算法具有较强的实时性和准确性。

基于混合注意力机制的图像超分辨重建算法

现有的大多数基于深度学习的单幅图像超分辨率算法,是通过深化和拓宽网络结构来提取特征,而对于信息占比不同的空间域和通道域没有作区分,导致大量计算资源的浪费。针对上述问题,提出了一种通道-空间混合注意力模块,通过捕捉通道域和空间域内重要性的差异从而更高效地分配计算资源,以加快网络收敛,提高网络性能。采用跳跃连接的方式融合全局特征,加强网络内信息的传递,使得分层信息被充分利用。同时在网络中引入密集连接网络,以做到特征的复用,加强信息的传输。实验结果表明,上述算法在客观指标评价和主观视觉效果方面均优于比较算法。

混合扩张卷积和注意力机制的路面裂缝检测

针对复杂背景下路面裂缝检测困难的问题,提出一种基于混合扩张卷积和空间-通道注意力机制的路面裂缝检测算法。基于改进的U-Net网络,在编码阶段,使用空间-通道注意力机制增强裂缝特征,抑制非裂缝特征;在网络中间部分,使用混合扩张卷积实现在不增加额外模块的前提下增大网络的感受野;在解码阶段,融合多层次和多尺度特征使最终预测结果更接近路面真实情况。实验结果表明,所提算法能够快速准确地对路面裂缝进行检测,具有较强的鲁棒性。

融合注意力机制的多模态脑肿瘤MR图像分割

针对在多模态MR图像分割中对不同模态特征间的关联性及全局和局部特征提取考虑不充分,导致分割精度降低的问题,基于注意力机制,提出多模态脑肿瘤MR图像分割方法.首先提出三重注意力模块,用于增强各模态特征间的关联性以及对感兴趣区域的位置和边界信息精确判断;然后设计空间和通道注意力模块,用于双重捕获空间和通道上的全局及局部特征,增强对肿瘤组织结构信息的学习能力.在公开数据集BraTs18和BraTs19上的实验结果表明,分割全肿瘤时,所提方法的Dice系数、精确率、灵敏度和Hausdorff距离分别达到了90.62%,87.89%,90.08%和2.2583,均优于对比的同类方法.

基于残差网络注意力机制的人脸表情识别

提出一种基于残差网络的人脸表情识别方法。以残差网络为基础,加入裁剪掩码对图像任意区域任意大小遮掩,通过通道注意力机制对重要程度不同的通道分配不同权重,以增加抓取关键信息能力,将多尺度特征与空间注意力机制相结合,以不同感受野提取信息,提高网络提取能力,使用联合损失函数增加类外距离,减小类内距离。将此网络运用到FER2013,CK+数据集中。实验结果表明,识别率分别为64.81%,96.86%,参数量为5.21 M。

增强小目标检测性能的通道自注意力机制算法研究

小目标检测是计算机视觉领域具有挑战性的问题。空间注意力和通道注意力机制的使用提高了目标检测网络的均值平均精度,但捕获小物体上下文信息的能力仍然有限,并且在小目标和大中型目标的检测精度上存在差距,难以感知小物体的位置。算法构建了一种基于通道自注意力机制(Channel Self-Attention, CSA)的算法模块,将输入特征映射压缩后,运用自注意力机制建立特征通道间相关性,自适应地重新优化特征通道的响应,提升了捕获小物体远距离上下文信息的能力,从而提高了对小目标的检测精度。实验结果表明,在几乎不增加计算成本的情况下,CSA块能够为现有目标检测网络带来性能改进。在PASCAL VOC2007数据集上,采用通道自注意力机制的RetinaNet的mAP值分别比原始RetinaNet的mAP值高3.11个百分点。使用通道自注意力机制的MobileNetv2比原始的MobileNetv2 mAP值提高3.05个百分点。

通道空间深度感知的轻量化水下目标检测

提出了一种通道空间深度感知的轻量化水下目标检测网络CSDP-L-YOLO;该网络基于YOLOv5网络进行改进,由特征感知模块和双注意门控策略组成;特征感知模块旨在将解码器中的多级特征自适应抑制或增强,优化类内学习的一致性,解决水下场景复杂导致的误检和漏检问题;通过线性操作和混洗结构生成特征映射,减少冗余特征的融合和计算,以减少模型的参数量和计算量;双注意门控策略是在编码器中同时引入并发通道空间挤压-激励机制模块和卷积注意力模块,进一步关注强相关性特征,增强模型对特征的敏感度;实验结果表明,与基线模型YOLOv5-s相比,mAP提高了2.4%,节省了20%参数量和15.8%计算量,检测速度提升了8.2 ms;此外,与目前较为先进的YOLOv8模型相比,mAP提高了1.9%。

结合组像素嵌入的双注意力高光谱图像分类

近年来,基于深度学习的框架在高光谱图像分类领域中取得了令人满意的结果。然而,多数方法仍使用卷积神经网络作为主干网络,其存在感受野过小,对特征信息的挖掘不充分,序列建模的能力较弱,模型复杂和分类精度低等问题。为克服上述局限性,该文提出一种结合组像素嵌入的双注意力高光谱图像分类的方法。该方法主要分成三个部分,首先,使用含有点卷积组和深度卷积组的通道空间卷积分离模块来高效学习空间光谱的特征信息;其次,添加通道空间双注意力机制,抑制冗余信息的干扰,增强高光谱图像空间与光谱的特征权重;最后,通过组像素嵌入Transformer来进一步强化空间与光谱之间的联系,建立全局长距离依赖关系,缓解精度下降的问题,保证了网络良好的分类性能。实验结果表明,该方法与现有的网络模型相比具有更优越的性能,在Pavia University和WHU-Hi-LongKou两个数据集中的总体准确率分别达到99.26%和99.73%。

基于空间域注意力机制的车间人员检测方法

车间人员检测是指使用目标检测技术对工厂生产车间内相应区域进行人员检测,保障生产车间内人员生命健康安全。车间内人员检测存在图像模糊、检测效率低、实时性要求高等问题,将改进的暗通道优先处理策略用于图像增强、用空间域注意力机制相结合的SSD(Single Shot MultiBox Detector)网络提高检测效率,同时保障实时性要求,并在本文测试集及VOC2012数据集上进行验证,结果显示出较好的定位效果及检测率。

基于双注意力机制的零样本建筑图像分类方法

零样本建筑图像分类是在标记训练样本不足以涵盖所有类的情况下,利用已知建筑类别与未知建筑类别之间的知识迁移对未知类样本进行分类。针对建筑风格分类中标记数据少及局部判别性特征定位不准确的问题,提出一种基于双注意力机制的零样本图像分类方法。该方法首先引入通道注意和空间注意两种模型以增强图像特定区域的表示。其中,通道注意网络学习不同通道权重以定位图像中的建筑物;空间注意网络将位置信息嵌入通道注意图捕获目标中的细节特征,获取具有通道和空间双层维度的特征表示。其次,为减少空间映射过程中出现的信息损失,使用生成器重建视觉特征。最后,设计公共空间嵌入的零样本建筑图像分类模型,在子空间对齐视觉特征和语义特征,通过最近邻匹配实现分类任务。实验结果表明,所提方法较当前零样本学习方法而言,在零样本数据集CUB及建筑风格数据集Architecture Style Dataset上的平均分类准确率分别提高1.3和0.7百分点。

基于SimAM注意力机制的遥感图像场景分类

针对遥感图像地形、地势复杂以及现有遥感图像分类方法准确率较差等问题,本文提出一种具有通道和空间注意机制的深度学习遥感图像分类模型。首先,使用残差网络作为特征提取主干网络;然后,对主干网络添加三维注意力机制模块,使模型不仅可学习通道信息还可学习空间信息;最后,在公开遥感图像数据集中训练并验证所提模型优越性。实验表明:所提方法在每个类别航拍图像的分类准确率均高于残差网络,整体分类准确率相较残差网络提高3.38%,高达89.27%,表明所提模型可以广泛应用于航拍图像分类场景中。