基于卷积神经网络与通道和空间注意力机制的房颤预测模型研究

目的采用人工智能技术提出一种模型,以对房颤进行早期预防和诊断。方法提出一种基于卷积神经网络(convolutional neural network,CNN)与通道和空间注意力机制(convolutional block attention module,CBAM)的模型用于对房颤的诊断与预测。结果根据长期心房颤动数据库、MIT-BIH心房颤动数据库和MIT-BIH正常窦性心律数据库的数据,提出的模型在全盲的情况下总体准确率达94.2%。结论提出的模型满足了医学心电图解释的需要,为房颤的预测研究提供了新思路。

基于端口注意力与通道空间注意力的网络异常流量检测

网络异常流量检测是网络安全保护重要组成部分之一。目前,基于深度学习的异常流量检测方法都是将端口号属性与其他流量属性同等对待,忽略了端口号的重要性。为了提高异常流量检测性能,借鉴注意力思想,提出一个卷积神经网络(CNN)结合端口注意力模块(PAM)和通道空间注意力模块(CBAM)的网络异常流量检测模型。首先,将原始网络流量作为PAM的输入,分离得到端口号属性送入全连接层,得到学习后的端口注意力权重值,并与其他流量属性点乘,输出端口注意力后的流量数据;其次,将流量数据转换成灰度图,利用CNN和CBAM更充分地提取特征图在通道和空间上的信息;最后,使用焦点损失函数解决数据不平衡的问题。所提PAM具有参数量少、即插即用和普遍适用的优点。在CICIDS2017数据集上,所提模型的异常流量检测二分类任务准确率为99.18%,多分类任务准确率为99.07%,对只有少数训练样本的类别也有较高的识别率。

基于双向LSTM的双任务学习残差通道注意力机制手写签名认证

随着人工智能深度学习的发展,网络模型对于在线签名认证系统(Online Signature Verification, OSV)的性能有了显著的提升。然而,如何进一步提高在线手写签名认证的准确性仍然是一个需要解决的问题。为此,本文提出了一种基于双向LSTM的双任务学习残差通道注意力机制网络模型,用于改进手写签名认证。该模型使用残差通道注意力机制来学习序列特征的权重以便解决不同通道的权重分配问题,双向长短期记忆网络来缓解在深度神经网络中增加深度时可能带来的梯度消失和梯度爆炸问题。此外,引入多任务学习,包括有监督学习和深度度量学习,以更好地进行特征学习。最终,本文提出了一种基于多任务学习的训练方法,使得OSV系统的准确性进一步提高。所提出的方法在SVC-2004数据集中取得了2.33%的等错误率和97.03%的准确率。实验结果表明,所提出的方法能够有效地提高OSV系统的身份验证准确性。

CINO双通道结合多头注意力机制藏文情感分类方法

为了解决藏文情感分类任务中现有的模型对文本语义信息理解和深层文本特征提取能力不足的问题,该文使用CINO(Chinese Minority PLM)预训练模型来获取动态词向量,通过TextCNN和BiGRU融合的双通道情感分类模型,分别实现获取文本局部特征和深层全局特征,并引入多头自注意力机制引导模型学习更重要的信息。实验结果表明,该文提出的双通道模型准确率高达92.84%,相较于该文的其他对比模型效果更佳。

基于空间金字塔注意力机制残差网络的高光谱图像分类

为了提取高光谱图像的空间-光谱联合特征,本文提出了一种基于改进的空间金字塔注意力机制残差网络的高光谱图像分类模型。首先采用主成分分析法去除光谱冗余,结合空间金字塔注意力机制,改进残差网络的高光谱图像分类模型获取精细化特征。然后利用空间金字塔注意力模型实现多尺度联合特征关注,提升对联合特征的敏感性,并有效地强调并聚焦空间和光谱信息,实现信息交互。最后经过Softmax分类器获得分类标签。本文提出的方法在MUUFL和Tento数据集上进行了实验,结果表明,本文算法的总体分类精度分别达到了94.08%和98.32%。相比于其他高光谱分类模型,本文模型的收敛速度较快,在分类性能上取得了明显的提升,获得了更高的地物分类精度。

基于双通道注意力机制的AE-BIGRU交通流预测模型

交通流预测是智能交通系统的关键。针对目前交通流数据复杂的时空关联性以及自身的不确定性,为准确预测高速公路交通流并缓解交通拥堵问题,提出以自编码器网络(AE)和双向门控循环单元(BIGRU)相结合的深度学习组合预测模型(AE-BIGRU),并在此基础上引入双通道注意力机制进行模型训练。将预处理后的数据采用滑动窗口的方式作为参数输入模型,通过AE提取交通流的空间特征,得到输入信息特征的最优抽象表示;利用BIGRU从前向和后向传播中获取信息,充分提取交通流的时间相关特征,更全面地捕捉时间演变规律;最后结合双通道注意力机制,增强预测模型的特征提取能力,最大限度地保留特征信息,提升模型的预测精度,从而得到最终短时流量的预测目标值。为验证模型的适用性,采用多组短时交通流数据进行仿真实验,与其他基准模型对比发现:该交通流预测模型能够有效捕获交通流的动态时空特征,加强关键信息的提取,所预测的流量更加接近真实值,具有良好的泛化能力。其中测试集的均方根误差值下降了约0.061~0.604,平均绝对误差值下降了约0.025~0.512,相关系数值R2提高了约0.007~0.062。研究结果表明,随着预测步长的增加,该实验模型在交通流数据的时间特性上仍能表现出稳定的预测性能,所建的组合预测模型在预测精度和鲁棒性方面表现出更高水平。

DenseNet结合空间通道注意力机制的环境声音分类

音乐信息识别(MIR)和自动语音识别(ASR)都是以结构化声音为特点的声音识别,环境声音识别在声音识别领域的难度很大。为了充分利用从环境声中提取的Log-Mel谱图的空间特征与通道特征,提出了一种基于密集连接卷积网络(DenseNet)的空间通道注意力机制。使用DenseNet对Log-Mel谱图进行特征提取,引入空间通道注意力机制使网络更加关注显著特征;为了解决数据不足导致的过拟合问题,将混合数据增强的方法应用于Log-Mel谱图,从而保证了数据的多样性;在2个公共数据集(ESC-50和ESC-10)验证所提方法的有效性。结果表明:所提的空间通道注意力机制模型能够使神经网络对环境声音的识别率分别达到79.3%(ESC-50)和94.3%(ESC-10)。

基于注意力机制和多空间金字塔池化的实时目标检测算法

YOLOv4计算复杂度高,空间金字塔池化模块仅一次增强特征融合网络的深层区域特征图的表征能力、检测头网络的特征图难以突出重要通道特征;针对以上问题,提出一种基于注意力机制和多空间金字塔池化的实时目标检测算法;该算法采用多空间金字塔池化,提取局部特征和全局特征,融合多重感受野,加强特征融合网络的浅、中、深层特征图的表征能力;引入压缩激励通道注意力机制,建模通道间的相关性,自适应调整特征图各个通道的权重,从而使网络更加关注重要特征;特征融合和检测头网络中使用深度可分离卷积,减少了网络参数量;实验结果表明,所提算法的均值平均精度均高于其他7种主流对比算法;与YOLOv4相比,参数量、模型大小分别减少了27.85 M和106.25 MB,所提算法在降低复杂度的同时,提高了检测准确度,且该算法的检测速率达到33.70帧/秒,满足实时性要求。

基于高效通道注意力机制的Fair MOT多目标跟踪

多目标跟踪是计算机视觉领域中的一个重要且热门的任务。针对在真实复杂场景中目标的漏检以及ID匹配不准确的问题,提出一种基于FairMOT算法的改进算法。通过引入双分支高效注意力机制模块即DMECA,分别加强检测与重识别分支的特征,以解决多任务训练平衡问题。优化分支头的结构,将传统卷积方式修改为深度可分离卷积,并采用LeakyRelu激活函数。在数据关联模块的第二阶段匹配中,使用距离交并比(DIOU)替代交并比(IOU)计算代价矩阵进行匹配。实验结果表明,在MOT17数据集上IDS下降了625,此外HOTA、IDF1分别提高了0.3%、0.4%。

一种基于通道注意力机制的交通监控视频超分辨率算法

为提升交通监控视频的显示质量,进而提高监控视频车牌识别成功率,提出一种基于通道注意力机制(Channel-wise Attention,CA)和BasicVSR模型的监控视频超分辨率模型。在BasicVSR模型中引入CA,使模型能学习不同通道之间的非线性依赖关系,从而有效提升监控视频超分辨率图像的质量。在某交通监控场景下开展车牌识别试验,对该CA-BasicVSR模型的有效性进行验证,结果表明:在交通监控画面还原任务中,该模型对画面还原的峰值信噪比相比EDVR-L模型和BasicVSR模型能分别提高约1.3 dB和0.3 dB;在车牌识别任务中,使用该模型处理的交通监控视频画面作为输入,相比原始低分辨率的视频画面,能提高车牌识别的成功率。

基于融合注意力机制LSTM网络的地下水位自适应鲁棒预测

地下水水位是旱天污水管网地下水入渗量的重要影响因素,快速精准地预测地下水水位能有效提升旱天污水管网地下水入渗量估算准确度,辅助优化管网病害治理与维护策略。针对目前城市复杂水文预测存在的准确度低、灵敏度低、泛化能力弱等问题,本文提出了一种新的鲁棒自适应水位预测算法。首先,对水文数据进行预处理,解决了数据时间跨度大、噪声多、缺失及异常、非平稳等问题。其次,针对不同输入特征对预测指标的影响,在模型训练阶段提出一种新的空间变量注意机制,可快速识别与水位关联的关键变量,并对输入特征赋予不同的影响权重。然后,针对不同序列长度对预测效果的影响,还设计了自适应时间注意力机制,帮助网络自适应地找出与不同时间序列长度预测指标相关的编码器隐藏状态,以更好地捕捉时间上的依赖关系。在此基础上,以上下文向量作为输入,提出一种融合注意力机制的长短时记忆网络水文预测算法。最后,通过意大利Petrignano水文数据验证了所提算法的有效性,并与GRU、Elman、LSTM、VA–LSTM和S–LSTM等方法进行预测性能比较。结果表明,基于融合注意力机制的LSTM网络在面临大规模、噪点多的复杂数据时有优于其它几种算法的预测效果,表明该算法具有强自适应性和鲁棒性。本文研究结果可以为市政排水策略合理调整、及时控制提供参考。

基于注意力机制及多分支特征融合的实时语义分割算法

为了合理平衡语义分割中的精确度与实时性,基于快速卷积神经网络模型(Fast-SCNN)提出了一种基于注意力机制及多分支特征融合的实时语义分割算法模型。该算法模型首先通过注意力模块捕获空间特征之间的相互联系,增强空间细节信息;然后合理设计融合模块,最大化利用各分支信息,实现深层特征与浅层特征更好的融合;最后引入自适应特征增强注意力模块,捕获长距离像素间的相互依赖关系。实验结果表明,文中算法模型在Cityscapes数据集上获得了71.55%的分割精度,推理速度FPS达到97.6帧/s,模型参数量为1.39 M,验证了该算法所构成网络模型的有效性。

基于高效通道注意力的多阶段图像去雨网络

针对现有图像去雨算法不能更好地保留图像背景细节的问题,提出一种基于高效通道注意力的多阶段图像去雨网络。首先,网络使用3×3卷积提取雨图的浅层特征并传递给高效通道注意力模块,为不同的特征通道分配不同的权重;然后,传递给3个并行阶段,在前2个阶段中,使用编码-解码器进行多尺度特征提取,减少雨纹信息丢失,其中使用Transformer模块抑制无用信息传递;最后,在第3个阶段使用初始分辨率模块代替编码-解码器,从而保留输出图像的精细特征。实验结果表明,所提算法在Rain800、Rain12、Rain100L和Rain100H公开测试集上的结构相似性分别为0.830、0.968、0.960和0.944,峰值信噪比分别为27.33 dB、35.27 dB、36.79 dB和28.94 dB。所提算法相比于经典和新颖的图像去雨算法,在去除雨纹和恢复背景细节上具有更好的效果。

基于空间自注意力机制和深度特征重建的脑MR图像分割方法

准确分割核磁共振(magnetic resonance,MR)图像中的脑组织是临床诊断、手术计划和辅助治疗的关键步骤.深度学习在各种图像分割任务中表现出巨大潜力,现有模型没有一种有效方法汇总远距离像素间的关系.在网络解码阶段不能很好地融合不同层级的特征,导致无法准确定位.为克服上述问题,本文提出一种基于空间自注意力机制和深度特征重建的脑MR图像分割方法,构建了一个可以融合3维信息的2D模型,可快速准确对3D结构图像进行密集预测.在MRBrainS13数据集和IBSR数据集上进行充分地实验研究,结果表明本文方法在3D多模态和单模态脑MR图像分割方面优于目前的2D模型,运算和推理时间相比3D模型小很多,性能却十分接近.

通道分离双注意力机制的目标检测算法

对于两阶段目标检测算法中模型存在检测精度低、小目标漏检率高等问题,提出通道分离双注意力机制的目标检测算法,通过改进Faster+FPN主干网络来提高小目标的检测精度。首先针对神经网络不能自动学习特征间的重要性问题,在通道分离过程中提出双注意力机制来构建深度神经网络,另结合分组卷积、空洞卷积等技术减少网络参数。其次针对高分辨率特征经过深度CNN后导致的信息丢失问题,通过添加细节提取模块以及通道注意力特征融合模块来提取更多的细节特征。最后考虑到一般损失函数不可重点评估目标物位置的置信度,结合KL散度进行损失函数优化,通过训练使得预测分布更接近真实分布,有效地解决了神经网络直接用于目标检测存在的问题。采用PASCAL VOC2007、KITTI以及Pedestrian三类数据集对网络进行训练,并将提出的模型与多个目标检测算法进行对比。实验结果表明,该算法能够高效地对图像进行识别,且具有较高的检测精度。

全局通道注意力增强的毫米波图像目标检测

针对主动毫米波图像中目标与背景纹理区分度较低导致隐匿目标漏检问题,并根据安检实时性要求,提出一种基于全局通道注意力增强的主动毫米波图像目标检测方法。该方法以YOLOv5s为载体,在坐标注意力位置方向上引入全局通道注意模块,增强对隐匿目标全局通道信息的关注,从而提升在隐匿目标与背景纹理区分度较低时的检测能力;再利用K-means++聚类算法重新生成适合毫米波图像目标检测的锚框。实验结果表明,无论是阵列图像数据集还是线扫图像数据集,该方法增强了对隐匿目标的特征注意,提高了召回率,在满足安检实时性的前提下,提升了检测性能。通过增加少量参数,在阵列图像数据集上,精度、召回率和mAP@.5达到了92.0%、90.93%和95.32%;在线扫图像数据集上,精度、召回率和mAP@.5达到了94.65%、92.67%和97.73%。平均单张图像推理时间在两个数据集上均达到1 ms,满足实时性要求。

基于通道和空间注意力的机场道面地下目标自动检测

针对机场道面地下目标检测任务中,探地雷达(GPR)生成的B-scan图背景复杂、包含大量噪声,尤其是单个B-scan图不能反映地下目标的完整信息等问题,构建一种三维通道和空间注意力的UNet(3D-CSA-UNet)模型对地下目标进行自动检测。首先,设计三维通道和空间注意力并行模块(3D-CS-Block),使模型重点关注雷达C-scan中的地下目标信息,抑制背景和噪声的干扰;其次,设计多尺度的三维分割模型从雷达C-scan中提取不同大小的特征图,以增强3D-CS-Block提取目标特征的能力;最后,使用交叉熵损失函数计算每个尺度下特征图的损失值,从而提高模型的检测精度。在采集的实际机场道面地下目标数据集上,相较于3D-FCN、3D-UNet等模型,3D-CSA-UNet对于脱空、钢筋和钢筋平行目标预测的平均F1至少提高12.33、9.05、11.05个百分点。实验结果表明,3D-CSA-UNet可以较好地满足工程实际要求。

DMANet:针对空间非合作目标位姿估计的密集多尺度注意力网络

利用单目相机对空间非合作目标进行准确的姿态估计对于空间碎片清除、自主交会和其他在轨服务至关重要。然而,单目姿态估计方法缺乏深度信息,导致尺度不确定性问题,大大降低了其精度和实时性。本文首先提出了一种多尺度注意块(Multi-scale attention block, MAB),从输入图像中提取复杂的高维语义特征。其次,基于MAB模块,提出了空间非合作目标6自由度位姿估计的密集多尺度注意网络(Dense multi-scale attention network, DMANet),该网络由平面位置估计、深度位置估计和姿态估计3个分支组成,通过引入基于欧拉角的软分类方法,将位姿回归问题表述为经典分类问题。此外,设计了空间非合作目标模型,并利用Coppeliasim构建了姿态估计数据集。最后,与其他最先进的方法相比,在SPEED+、URSO数据集和本文数据集上全面评估了所提出的方法。实验结果表明,该方法具有较好的姿态估计精度。

融合空洞空间金字塔池化和注意力的轻量化遥感影像道路提取

针对高分辨率遥感影像中道路形状结构错综复杂,出现窄小型道路提取错误或漏分的问题,提出一种基于空洞空间金字塔池化和注意力机制的轻量化遥感影像道路提取方法。首先,在原始高分辨率网络(HRNet)基础上,通过引入空洞空间金字塔池化模块,实现多尺度道路信息融合;再引入挤压激励通道注意力机制,增强网络特征表征质量;最后使用深度可分离卷积方法改进网络残差模块实现模型轻量化,以降低模型计算复杂度。在公开数据集上进行了模型性能测试,实验结果表明,文章所提算法的准确率、精确率、召回率、F1分数和平均交并比,相比原始HRNet分别提升了5.35%、2.15%、4.1%、3.15%和14.34%,且减少了36.1%的参数数量;相比其他网络,该算法突出了细小道路的特征,道路预测结果连续性、完整性好,并且模型小易于部署在实时检测设备中,有效改善了道路提取任务中错分和缺失的情况,是一种适应性更强、分割精度更高、更轻量化的多尺度道路提取算法。

注意力机制的TS-PVAN双流动作识别

人体动作识别是计算机视觉领域的重要研究方向之一,越来越多地应用在视频监控、自动驾驶等场景.目前大多数双流方法采用卷积神经网络分别提取动作的时空特征,而卷积网络仅关注于动作的局部空间特征,缺乏动作的长距离依赖关系,且卷积造成的特征损失及视频背景噪声的影响不利于动作特征的提取.同时,注意力机制愈加广泛地应用在各类视觉任务中,并达到了较高的性能.针对以上问题,本文提出一种基于注意力机制的TS-PVAN双流动作识别模型,该模型以TSN双流网络框架作为基线,为空间流设计一种P-VAN网络处理RGB帧以提取视频动作的空间特征.该模型提高了空间网络提取动作特征的能力,以及双流时空特征信息的融合效果.通过在HMDB51和UCF101两个数据集上的实验对比分析,验证了所提方法的有效性.