基于多尺度通道注意力机制的行为识别方法

针对可穿戴行为识别任务中小尺度的感受野难以提取长序列关联,大尺度感受野会导致特征压缩降低网络对信号特征的分辨率的问题。提出了一种基于多尺度通道注意力机制的行为识别方法。首先,从多个感受野提取时间特征和传感器通道特征,在保证信号具有低语义特征的同时提取信号的高语义特征;其次,在多尺度特征图之间建立跨通道关联,保证低语义特征和高语义特征之间的交互。多尺度通道注意力机制能够充分融合多尺度特征和多个特征图的关联信息,增强对微弱信号和剧烈信号的识别能力。在UCIHAR、DSADS、PAMAP2和UniMib-SHAR数据集上进行了对比实验,结果表明MSCA-HAR方法相比目前的主流方法在4个数据集上的分类准确率分别提升0.43%,0.75%,2.90%和0.83%。

基于多尺度通道注意力机制的人体姿态估计

人体姿态估计是当前的研究热点,可应用在动作识别、人机交互、医疗监护、运动分析、虚拟现实等方面。人体姿态估计主要从输入数据中获取人体的关键节点,比如肩膀、手肘、膝盖。鉴于现有深度学习算法在遮挡情况下存在识别不准确的情况,通过多尺度通道注意力机制对人体姿态估计的任务进行算法优化,核心思想是获取特征图的通道权重,聚合本地和全局特征的上下文信息。通过多个尺度自适应地融合通道维度的权重,实现对通道信息的加强,也就是选择性地增强重要特征和抑制无意义的特征。实验以SimpleBaseline为基准网络,插入多尺度通道注意力模块后,在MPII人体姿态数据集上进行训练和测试,达到88.402%的精度。实验在COCO数据集上进行训练和测试达到72.8的AP结果。

融合多尺度特征和注意力机制的超声甲状腺结节分割

针对目前超声影像下甲状腺结节分割不够精准的问题,提出一种融合多尺度特征和注意力机制的超声甲状腺结节分割方法。该模型编码设计了多感受野通道选择模块,通过核心选择注意力对多个不同感受野的特征进行自适应加权组合,使包含目标的感受野通道占据主导。同时,设计自适应全局上下文模块自适应地提取瓶颈层多个尺度的全局上下文特征,以实现对瓶颈层高级语义的有效编码。此外,设计双注意力引导模块增强编解码器对等层之间的特征融合,以减少上采样过程中的信息损失。在公开的超声甲状腺结节数据集上进行实验,结果表明,文中所提方法优于其他对比网络,能更加精准地分割出甲状腺结节,有效提升了甲状腺结节的分割性能。

基于多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合

针对目前红外与可见光图像融合存在特征提取不足、融合图像目标区域不显著、细节信息缺失等问题,提出了一种多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合方法。首先,设计了多尺度对比度增强模块,以增强目标区域强度信息利于互补信息的融合;其次,采用密集连接块进行特征提取,减少信息损失最大限度利用信息;接着,设计了一种跨维度交互注意力机制,有助于捕捉关键信息,从而提升网络性能;最后,设计了从融合图像到源图像的分解网络使融合图像包含更多的场景细节和更丰富的纹理细节。在TNO数据集上对提出的融合框架进行了评估实验,实验结果表明本文方法所得融合图像目标区域显著,细节纹理丰富,具有更优的融合性能和更强的泛化能力,主观性能和客观评价优于其他对比方法。

基于Elmo和注意力机制的双通道文本分类模型

针对中文文本分类过程中文本特征提取不全面、语义表征不准确的问题,提出一种基于改进Elmo模型、带有注意力机制的卷积神经网络与门控循环网络相结合的双通道文本分类模型。模型首先将静态词向量输入Elmo模型生成动态词向量对文本进行表示;然后利用双通道结构构建加入注意力机制的卷积神经网络和双向门控循环网络分别提取文本内部特征和全局语义信息;最后,将双通道特征向量融合处理后通过分类器完成文本分类。依托THUCNews数据集进行模型的仿真,所提模型分类准确率和召回率分别为90.21%、90.45%,实验结果表明,与其它分类模型相比,所提模型具有更好的分类性能。

基于双向LSTM的双任务学习残差通道注意力机制手写签名认证

随着人工智能深度学习的发展,网络模型对于在线签名认证系统(Online Signature Verification, OSV)的性能有了显著的提升。然而,如何进一步提高在线手写签名认证的准确性仍然是一个需要解决的问题。为此,本文提出了一种基于双向LSTM的双任务学习残差通道注意力机制网络模型,用于改进手写签名认证。该模型使用残差通道注意力机制来学习序列特征的权重以便解决不同通道的权重分配问题,双向长短期记忆网络来缓解在深度神经网络中增加深度时可能带来的梯度消失和梯度爆炸问题。此外,引入多任务学习,包括有监督学习和深度度量学习,以更好地进行特征学习。最终,本文提出了一种基于多任务学习的训练方法,使得OSV系统的准确性进一步提高。所提出的方法在SVC-2004数据集中取得了2.33%的等错误率和97.03%的准确率。实验结果表明,所提出的方法能够有效地提高OSV系统的身份验证准确性。

基于多尺度与注意力机制的毛尖茶分类及掺假程度

针对消费者在生活中难以区分毛尖茶品种及掺假程度多少的问题,提出了一种基于多尺度特征提取与高效通道注意力机制相结合的网络模型.在DenseNet121的基础上使用多尺度特征提取结构替换原来单一的卷积核,丰富特征层信息,在模型的密集连接块中引入ECA-Net注意力机制,增强有效特征信息的传递,而后,对模型的参数进行调优,进一步提高模型的识别性能.结果表明:改进后的MS-ECA-DenseNet121-C分类模型在收集的8个类别的毛尖种类及掺假种类数据集上的识别准确率达到了96.95%,可以有效鉴别毛尖茶品种的真实性,且改进后的模型大小仅为27.3 MB,便于部署于手机端,在茶叶识别领域具有一定的应用价值.

基于注意力机制与多尺度融合的PCB缺陷检测

针对印制电路板(PCB)缺陷区域受背景干扰过多以及缺陷目标尺度较小导致缺陷检测精度低的问题,提出了一种基于注意力机制与多尺度融合的PCB缺陷检测方法。在YOLOv5模型的特征提取网络中,引入一种三维注意力模块,以增强缺陷目标特征的显著度,使模型更加注重目标特征;为充分利用微小缺陷目标的多尺度特征,在特征融合网络中引入加权双向特征金字塔网络(Bi-directional Feature Pyramid Network, BiFPN),减少缺陷目标特征信息的丢失,提高模型对微小缺陷目标的检测精度。实验结果表明,该方法能够准确检测出PCB图像中的缺陷目标,在保证实时性的同时,较原方法的平均检测精度提高了3.9%,表明了该方法的有效性。

结合MGCC特征与多尺度通道注意力的环境声深度学习分类方法

环境声分类技术在家居安全监测、人机语声交互等领域具有关键作用。然而,声源的多样性与混合性给环境声分类方法设计带来了重大挑战。为提高分类准确率与节约计算资源,该文提出一种基于多尺度通道注意力机制的深度学习分类模型。所提模型由特征提取模块、多尺度卷积模块、高效通道注意力模块、输出层四部分组成。首先,通过引入加权型梅尔Gammatone频率倒谱系数(MGCC)挖掘环境声频谱幅值与相位结构信息;其次,融合多尺度卷积核与高效通道注意力机制优选出声频关键局部细节和通道特征;最后,在全连接层采用softmax函数映射特征并输出环境声类型的概率值。所提模型在6种环境声的iFLYTEK、10种环境声的Urbansound8k数据集上开展测试验证,分别取得了94%、76.52%、79.24%(iFLYTEK+Urbansound8k)的分类准确率。消融实验结果进一步表明:引入的多尺度卷积模块、通道注意力机制模块对分类准确率的提升贡献率分别接近于3.77%和1.89%。实验还详细对比了7种现有的深度学习分类方法,所提算法在分类准确率上排名第二;另外,在同级别算法中如ResNet18、GoogLeNet,所提算法在模型参数量和计算复杂度方面上实现了进一步的约减。

融合多尺度和注意力机制的小样本目标检测

现有基于微调的二阶段小样本目标检测方法对新类特征不敏感,易将新类别误判成与它相似度高的基类,影响模型的检测性能。针对上述问题,提出一种融合多尺度和注意力机制的小样本目标检测(MA-FSOD)算法。首先在骨干网络使用分组卷积和大卷积核提取更具类别区分性的特征,并加入卷积注意力模块(CBAM)实现特征的自适应增强;再通过改进的金字塔网络实现多尺度的特征融合,使候选框生成网络(RPN)可以准确找到感兴趣区域(RoI),从多个尺度向分类头提供更丰富的高质量正样本;最后在微调阶段采用余弦分类头进行分类,降低类内方差。在PASCAL-VOC 2007/2012数据集上与基于候选框编码对比损失的小样本目标检测(FSCE)算法相比,MA-FSOD算法对新类的AP_(50)提升了5.6个百分点;在更具挑战性的MSCOCO数据集中,与Meta-Faster-RCNN相比,10-shot和30-shot对应的AP则分别提升了0.1个百分点和1.6个百分点。实验结果表明,相较于一些主流的小样本目标检测算法,MA-FSOD算法能更有效地缓解误分类问题,实现更高精度的小样本目标检测。

结合注意力机制与多尺度特征融合的视频彩色化方法

针对现有视频彩色化方法难以同时保证着色质量和时间一致性的问题,提出一种结合注意力机制和多尺度特征融合的视频彩色化方法AMVC-GAN。首先,提出以GAN为主体的视频彩色化网络模型,通过在GAN的生成器中设计以循环时间网络为主体的多尺度特征融合模块,来获取不同时间频率的信息;其次,为了有效地考虑相邻帧之间的关系,将不同时间频率提取的特征进行融合,加强帧与帧之间的联系,以此增强彩色化的时间一致性;最后,为了获取更多的有效信息,在主网络的上采样部分引入了注意力模块,并通过使用PatchGAN来对结果进行优化训练,以增强最终的着色效果。在DAVIS和VIDEVO数据集上与先进的全自动视频彩色化方法进行对比实验。结果表明,AMVC-GAN在多项指标上排名第一,具有更好的时间一致性和着色效果。相比于其他方法,AMVC-GAN能够有效地减少时间闪烁,同时保证着色效果更为真实、自然。

基于多尺度特征与注意力机制的宫颈病变检测

宫颈上皮内瘤变(Cervical Intraepithelial Neoplasm,CIN)是宫颈浸润癌变相关度较高的癌前病变,准确检测CIN并对其分类处理有利于减少宫颈癌重症率。针对宫颈病变检测与分类准确率低等问题,文中提出一种融合多尺度特征与多注意力机制的YOLOv5-CBTR(You Only Look Once version 5-Convolutional Block Transformer)宫颈病变图像检测方法。主干网络采用带有SENet(Squeeze-and-Excitation Networks)注意力机制的SE-CSP(SENet-BottleneckCSP)进行特征提取。引入Transformer编码器模块,融合多特征信息并放大,采用多头注意力机制增强病变区域的特征提取能力。在特征融合层引入卷积注意力模块,多尺度融合病变特征信息。在边界回归框计算中引入幂变换,加快模型损失函数的收敛,整体实现宫颈病变的检测与分类。实验结果表明,YOLOv5-CBTR模型对RGB(白光)宫颈病变图像检测与分类的准确率、召回率、mAP(mean Average Precision)和F值分别为93.99%、92.91%、92.80%和93.45%,在多光谱宫颈图像检测与分类中模型的mAP值和F值分别为97.68%和95.23%。

基于多尺度注意力机制的实时激光雷达点云语义的分割

为既能提高分割精度,又能克服车载计算资源局限,提出一种面向移动机器人平台的车载实时点云语义分割方法,并进行了综合实验。该方法采用基于投影的激光雷达语义分割方法,将三维点云投影到球面图像,并结合二维卷积进行分割。引入多头注意力机制(MHSA),实现轻量级语义分割模型,以一种全新的方式,将一种深度学习模型架构Transformer映射到卷积。将Transformer的MHSA迁移至卷积,以形成多尺度自注意力机制(MSSA)。结果表明:与当前主流方法CENet、FIDNet、PolarNet相比,本方法在NVIDIA JETSON AGX Xavier计算平台上保持了较高的分割精度(平均交并比为63.9%)及较高的检测速率(41帧/s),从而证明了其对移动机器人平台的适用性。

CINO双通道结合多头注意力机制藏文情感分类方法

为了解决藏文情感分类任务中现有的模型对文本语义信息理解和深层文本特征提取能力不足的问题,该文使用CINO(Chinese Minority PLM)预训练模型来获取动态词向量,通过TextCNN和BiGRU融合的双通道情感分类模型,分别实现获取文本局部特征和深层全局特征,并引入多头自注意力机制引导模型学习更重要的信息。实验结果表明,该文提出的双通道模型准确率高达92.84%,相较于该文的其他对比模型效果更佳。

基于多尺度频率通道注意力融合的声纹库构建方法

为解决声纹识别准确性易受外部因素影响的问题,提出一种基于多尺度频率通道注意力融合时延神经网络(MFCA-TDNN)模型的声纹识别算法。MFCA-TDNN在ECAPA-TDNN(Emphasized Channel Attention Propagation Aggregation Time Delay Neural Network)的基础上作了3点改进,包括:加入了多尺度频率通道注意力前端以从话语中获得高分辨率的特征表示、添加了多尺度通道注意力模块结合局部和全局的特征以融合多尺度信息、嵌入了特征注意力融合模块为多尺度的融合特征加权。这些改进使模型更好地利用多尺度的时频信息,提高识别能力。实验结果表明,与ECAPA-TDNN模型相比,MFCA-TDNN模型等错误率(EER)和最小检测代价函数(minDCF)分别下降5.9%和7.9%;最低的EER可达到3.83%,最低的minDCF可达到0.2202。

基于注意力机制的多尺度融合人群计数算法

针对人群计数图像人头尺度变化大、背景噪声高等问题,提出一种基于注意力机制的多尺度融合人群计数算法,以充分聚合多尺度信息,并有效区分背景噪声。构建基于残差连接的空洞空间金字塔池化,通过残差结构以及多个不同扩张率的空洞卷积在捕获多尺度头部目标特征的同时融入浅层特征图的空间细节信息,提高特征图质量;构建跨层多尺度特征融合模块,融合浅层和深层分支不同大小的边缘细节信息和上下文语义信息,并设计基于多分支的特征融合模块,融合不同感受野大小的多尺度信息以缓解大规模人头尺度变化的问题;构建基于矩阵相似运算的通道和空间注意力机制模块提取像素级特征权重,加强网络对于背景和人头目标的判别能力,自适应矫正位置信息。实验结果表明,相比11种对比算法的最优值,所提算法在SHA数据集上的平均绝对误差和均方根误差指标降低1.4%、4.2%,在UCF_CC_50数据集上降低4.9%、1.8%,能够精确地预测人群分布状态和估计人群数量,生成高质量的人群密度图。

基于卷积神经网络与通道和空间注意力机制的房颤预测模型研究

目的采用人工智能技术提出一种模型,以对房颤进行早期预防和诊断。方法提出一种基于卷积神经网络(convolutional neural network,CNN)与通道和空间注意力机制(convolutional block attention module,CBAM)的模型用于对房颤的诊断与预测。结果根据长期心房颤动数据库、MIT-BIH心房颤动数据库和MIT-BIH正常窦性心律数据库的数据,提出的模型在全盲的情况下总体准确率达94.2%。结论提出的模型满足了医学心电图解释的需要,为房颤的预测研究提供了新思路。

基于双通道多尺度特征提取和注意力的SAR与多光谱图像融合

图像融合的根本任务是提取图像特征,由于合成孔径雷达(Synthetic Aperture Radar,SAR)图像和多光谱(Multi Spectral,MS)图像存在通道差异,针对现有算法难以充分提取和利用SAR图像的高频细节信息和多光谱图像的低频光谱信息,融合图像存在细节丢失和光谱失真问题。本文提出了一种基于双通道多尺度特征提取和混合注意力的图像融合算法。首先采用双通道网络提取SAR和多光谱图像的多尺度高频细节特征和低频光谱特征,并连续使用不同空洞率的扩张卷积扩大感受野。然后将提取的特征映射到混合注意力模块中进行特征增强,再将这些增强特征与上采样的多光谱图像叠加。同时构建了基于光谱角度距离的损失函数,可以进一步缓解细节丢失和光谱失真。最后通过解码网络重建图像,得到高分辨率的融合图像。实验结果表明,本文算法达到了领先水平,并且融合图像在细节和光谱上保持了较好的平衡。

基于多尺度卷积和注意力机制的枣品种识别

为提高自然场景下枣品种识别方法的准确率,提出一种融合多尺度卷积和注意力机制的枣品种识别模型(Jujube-ResNet-18)。以自然场景下的10类枣品种为对象,根据枣品种图像的特点,该模型在ResNet-18基础上进行改进。引入多尺度卷积模块,增强模型对枣果多尺度特征的提取能力;在每个残差块中加入注意力机制CBAM,提高枣果特征信息权重,减弱复杂背景等无用特征的影响。试验结果表明,Jujube-ResNet-18在枣品种数据集上的准确率为89.5%,参数量和权重大小分别为1.135×10^(7)和43.41 MB。与其他算法相比,Jujube-ResNet-18有更好的特征提取能力、抗干扰能力和较小的模型复杂度,可为自然场景下的枣品种识别研究提供参考。

综合多尺度信息和注意力机制的水下图像增强

针对水下图像由于水的散射和吸收而存在颜色失真和细节丢失等问题,提出了一种综合多尺度信息和注意力机制的生成对抗网络模型来增强水下图像。首先,为了充分利用和增强图像的局部信息和全局信息,使用局部编码器和全局编码器分别提取图像的局部特征和全局特征,并互相融合以实现互补性。接着,设计多尺度混合卷积来捕捉多尺度信息,增加网络对不同尺度特征的适应性。然后,利用注意力机制增加特征提取的准确性,加强网络对高价值特征的关注度。最后,重复使用多尺度混合卷积和注意力机制进一步细化特征后,逐步上采样得到增强图像。与六种经典和最新的方法相比,提出的模型不仅在主观评价中取得了最好的视觉感受,而且在整个测试集上,峰值信噪比(PSNR)、结构相似指数(SSIM)、水下图像质量指标(UIQM)和自然图像质量(NIQE)四种客观评价指标分别取得了22.499,0.789,2.911和4.175的平均分数,均优于六种对比方法,较对比方法中的最优值分别提升0.353,0.002,0.025和0.307,证明提出的模型不仅能够矫正图像颜色失真,而且在恢复图像细节、增加图像对比度和清晰度等方面均有较好的表现,具有良好的应用前景。