基于改进一维卷积神经网络和通道注意机制的刀具磨损预测研究

对刀具磨损状态的准确预测有利于提高产品质量和降低生产成本,而现有预测模型多采用人工提取特征,存在费时费力等问题。提出一种结合通道注意机制的改进一维卷积神经网络的刀具磨损预测模型。该模型将卷积神经网络中的全连接层替换为卷积、池化层来增强模型的特征提取能力;最后一层采用1×1卷积和全局平均池化整合全局信息来提高预测精度;同时引入通道注意机制来增强重要特征通道的权重,进一步提高预测精度。实验结果表明,该预测模型的MAE为6.89μm,比预测模型MLP和SVR分别降低了15.54μm,12.27μm,比CNN降低了8.78μm。

基于双向LSTM的双任务学习残差通道注意力机制手写签名认证

随着人工智能深度学习的发展,网络模型对于在线签名认证系统(Online Signature Verification, OSV)的性能有了显著的提升。然而,如何进一步提高在线手写签名认证的准确性仍然是一个需要解决的问题。为此,本文提出了一种基于双向LSTM的双任务学习残差通道注意力机制网络模型,用于改进手写签名认证。该模型使用残差通道注意力机制来学习序列特征的权重以便解决不同通道的权重分配问题,双向长短期记忆网络来缓解在深度神经网络中增加深度时可能带来的梯度消失和梯度爆炸问题。此外,引入多任务学习,包括有监督学习和深度度量学习,以更好地进行特征学习。最终,本文提出了一种基于多任务学习的训练方法,使得OSV系统的准确性进一步提高。所提出的方法在SVC-2004数据集中取得了2.33%的等错误率和97.03%的准确率。实验结果表明,所提出的方法能够有效地提高OSV系统的身份验证准确性。

基于卷积神经网络与通道和空间注意力机制的房颤预测模型研究

目的采用人工智能技术提出一种模型,以对房颤进行早期预防和诊断。方法提出一种基于卷积神经网络(convolutional neural network,CNN)与通道和空间注意力机制(convolutional block attention module,CBAM)的模型用于对房颤的诊断与预测。结果根据长期心房颤动数据库、MIT-BIH心房颤动数据库和MIT-BIH正常窦性心律数据库的数据,提出的模型在全盲的情况下总体准确率达94.2%。结论提出的模型满足了医学心电图解释的需要,为房颤的预测研究提供了新思路。

基于通道注意力机制和多路径深度卷积的混合型晶圆缺陷分类

晶圆图缺陷的准确分类对改进制造工艺具有至关重要的作用。相比于单一缺陷,混合缺陷具有特征复杂、种类繁多的特点,更加符合真实工业制造情况。为了有效识别并分类混合缺陷,提出一种结合通道注意力机制和多路径深度卷积神经网络的方法。此方法在多路径深度卷积神经网络支路上增加通道注意力机制,以关注混合型晶圆图的详细特征。在38类缺陷真实数据集上的实验结果表示,模型在精度方面优于一些现有的深度学习模型,其平均正确率高达97.67%,可以有效分类晶圆图混合缺陷。

基于双通道注意力机制的AE-BIGRU交通流预测模型

交通流预测是智能交通系统的关键。针对目前交通流数据复杂的时空关联性以及自身的不确定性,为准确预测高速公路交通流并缓解交通拥堵问题,提出以自编码器网络(AE)和双向门控循环单元(BIGRU)相结合的深度学习组合预测模型(AE-BIGRU),并在此基础上引入双通道注意力机制进行模型训练。将预处理后的数据采用滑动窗口的方式作为参数输入模型,通过AE提取交通流的空间特征,得到输入信息特征的最优抽象表示;利用BIGRU从前向和后向传播中获取信息,充分提取交通流的时间相关特征,更全面地捕捉时间演变规律;最后结合双通道注意力机制,增强预测模型的特征提取能力,最大限度地保留特征信息,提升模型的预测精度,从而得到最终短时流量的预测目标值。为验证模型的适用性,采用多组短时交通流数据进行仿真实验,与其他基准模型对比发现:该交通流预测模型能够有效捕获交通流的动态时空特征,加强关键信息的提取,所预测的流量更加接近真实值,具有良好的泛化能力。其中测试集的均方根误差值下降了约0.061~0.604,平均绝对误差值下降了约0.025~0.512,相关系数值R2提高了约0.007~0.062。研究结果表明,随着预测步长的增加,该实验模型在交通流数据的时间特性上仍能表现出稳定的预测性能,所建的组合预测模型在预测精度和鲁棒性方面表现出更高水平。

联合图像通道与像素双注意力机制精细化单幅图像去雪

针对雪天退化图像中不规则和多变的雪花形态,提出一种双注意力机制的精细化图像去雪网络(Dual Attention Refinement Desnowing Network,DARDNet)。网络引入维度拆分处理策略,并行处理通道和像素双维度特征,旨在有效配置两种注意力机制,兼顾提取复杂特征和保护纹理细节。其中,通道注意力机制针对雪花形态构建基础模块,形成U型金字塔结构分层提取深层次特征;像素注意力机制结合卷积形成自校准模块,串联高效Transformer关注图像纹理细节;两种注意力机制并行化处理后进行特征融合,提升信息融合度。在CSD,SRRS和Snow100K三个数据集上进行验证测试,其中在CSD数据集上PSNR达到32.16 dB,SSIM达到0.96。本文方法在处理多种雪花形态方面具有一定优势,能很好地重建纹理细节,获得高质量的去雪图像。

采用空间和通道激励注意力机制优化ResNet-50的CFRP/TC4叠层材料钻削刀具磨损状态监测

针对碳纤维增强复合材料(CFRP)与钛合金组成的叠层材料在制备装配孔时存在刀具磨损严重的问题,提出了一种空间和通道激励注意力机制(scSE)优化深度残差神经网络(ResNet-50)的刀具磨损监测方法。开展钻削实验,采集钻削过程中的力和温度信号,信号经连续小波变换转换为小波尺度谱。搭建ResNet-50网络结构,从空间和通道双维度对卷积提取的特征图进行权重标定。研究结果表明,scSE可以从空间和通道两个维度做到增强有用特征,抑制无用特征,经scSE优化的网络结构识别准确度达到96.15%。

基于高效通道注意力机制的Fair MOT多目标跟踪

多目标跟踪是计算机视觉领域中的一个重要且热门的任务。针对在真实复杂场景中目标的漏检以及ID匹配不准确的问题,提出一种基于FairMOT算法的改进算法。通过引入双分支高效注意力机制模块即DMECA,分别加强检测与重识别分支的特征,以解决多任务训练平衡问题。优化分支头的结构,将传统卷积方式修改为深度可分离卷积,并采用LeakyRelu激活函数。在数据关联模块的第二阶段匹配中,使用距离交并比(DIOU)替代交并比(IOU)计算代价矩阵进行匹配。实验结果表明,在MOT17数据集上IDS下降了625,此外HOTA、IDF1分别提高了0.3%、0.4%。

一种基于通道注意力机制的交通监控视频超分辨率算法

为提升交通监控视频的显示质量,进而提高监控视频车牌识别成功率,提出一种基于通道注意力机制(Channel-wise Attention,CA)和BasicVSR模型的监控视频超分辨率模型。在BasicVSR模型中引入CA,使模型能学习不同通道之间的非线性依赖关系,从而有效提升监控视频超分辨率图像的质量。在某交通监控场景下开展车牌识别试验,对该CA-BasicVSR模型的有效性进行验证,结果表明:在交通监控画面还原任务中,该模型对画面还原的峰值信噪比相比EDVR-L模型和BasicVSR模型能分别提高约1.3 dB和0.3 dB;在车牌识别任务中,使用该模型处理的交通监控视频画面作为输入,相比原始低分辨率的视频画面,能提高车牌识别的成功率。

基于高效通道注意力的多阶段图像去雨网络

针对现有图像去雨算法不能更好地保留图像背景细节的问题,提出一种基于高效通道注意力的多阶段图像去雨网络。首先,网络使用3×3卷积提取雨图的浅层特征并传递给高效通道注意力模块,为不同的特征通道分配不同的权重;然后,传递给3个并行阶段,在前2个阶段中,使用编码-解码器进行多尺度特征提取,减少雨纹信息丢失,其中使用Transformer模块抑制无用信息传递;最后,在第3个阶段使用初始分辨率模块代替编码-解码器,从而保留输出图像的精细特征。实验结果表明,所提算法在Rain800、Rain12、Rain100L和Rain100H公开测试集上的结构相似性分别为0.830、0.968、0.960和0.944,峰值信噪比分别为27.33 dB、35.27 dB、36.79 dB和28.94 dB。所提算法相比于经典和新颖的图像去雨算法,在去除雨纹和恢复背景细节上具有更好的效果。

基于重参数化的注意力机制算法

为提高注意力机制对深度神经网络准确率的提升效果,提出一种重参数化通道注意力模块(RCAM)。鉴于挤压激励网络的通道压缩方法对网络精度存在较大误差,故提出一种基于重参数化技术的通道重参数化模块,将此模块与注意力机制进行有效结合;按集成策略消融实验所获得的结果,将此注意力模块放置进主干网络中。实验结果表明,在公共数据集CIFAR-100和ImageNet-100,主干网络为RepVGG_A0、ResNet-18时,其准确率分别较未添加注意力机制的网络提升了2.37%和1.72%,1.61%和0.71%,将结果与其它注意力机制进行比较,验证了基于重参数化的注意力机制对主干网络的提升远优于其它方法。

引入通道注意力机制的SSD目标检测算法

为提升原始SSD算法的小目标检测精度及鲁棒性,提出一种基于通道注意力机制的SSD目标检测算法。在原始SSD算法的基础上对高层特征图进行全局池化操作,结合通道注意力机制增强高层特征图的语义信息,并利用膨胀卷积结构对低层特征图进行下采样扩大其感受野以增加细节与位置信息,再通过级联的方式将低层特征图与高层特征图相融合,从而实现小目标及遮挡目标的有效识别。实验结果表明,与原始SSD算法相比,该算法在PASCAL VOC数据集上的平均精度均值提升了2.2%,具有更高的小目标检测精度和更好的鲁棒性。

融合高效通道注意力的复杂场景违禁品检测

针对X射线在违禁品检测任务中安检图像色彩存在对比度低、检测精度低、极易出现漏检错检的问题,在快速区域卷积神经网络(Faster R-CNN)算法基础上,通过K-means聚类算法改进锚框(Anchor)的生成方式;提出将高效通道注意力机制(ECANet)引入到感兴趣池化层(ROIpooling)后,突出违禁品的轮廓、色彩等信息。本文算法在S_DXray数据集上的m AP达到92.06%,改进后网络模型检测精度提高5.06个百分点。有效提高X射线图像违禁品检测的精度和小尺度目标的检测能力,有效避免错检、漏检的现象。

DenseNet结合空间通道注意力机制的环境声音分类

音乐信息识别(MIR)和自动语音识别(ASR)都是以结构化声音为特点的声音识别,环境声音识别在声音识别领域的难度很大。为了充分利用从环境声中提取的Log-Mel谱图的空间特征与通道特征,提出了一种基于密集连接卷积网络(DenseNet)的空间通道注意力机制。使用DenseNet对Log-Mel谱图进行特征提取,引入空间通道注意力机制使网络更加关注显著特征;为了解决数据不足导致的过拟合问题,将混合数据增强的方法应用于Log-Mel谱图,从而保证了数据的多样性;在2个公共数据集(ESC-50和ESC-10)验证所提方法的有效性。结果表明:所提的空间通道注意力机制模型能够使神经网络对环境声音的识别率分别达到79.3%(ESC-50)和94.3%(ESC-10)。

通道-空间联合注意力机制的显著性检测模型

针对显著性区域突出不均匀和边缘不清晰导致显著性检测鲁棒性差等问题,提出了一种通道-空间联合注意力机制的显著性检测模型。改进了一种通道注意力机制,将特征图中的像素概率值逐像素相加以更好的获取通道中层间信息的关联性;在通道注意力机制的基础上并行融入了空间注意力机制,对特征图的空间信息进行加权获得目标突出的显著性区域;将通道注意力机制与空间注意力机制输出的两个特征图加权融合反馈至通道-空间联合注意力机制,从而得到细粒度更高的显著图。实验结果表明,该模型在公开的数据集DUTS-TE和SOD上,使用F-measure和平均绝对误差作为评估标准均优于其他同类模型。

基于通道注意力机制的行人重识别方法

针对行人特征表达不充分的问题,提出了一种基于通道注意力机制的行人重识别方法。将通道注意力机制SE模块嵌入到骨干网络ResNet50中,对关键特征信息进行加权强化;采用动态激活函数,根据输入特征动态调整ReLU的参数,增强网络模型的非线性表达能力;将梯度中心化算法引入Adam优化器,提升网络模型的训练速度和泛化能力。在Market1501、DukeMTMC-ReID和CUHK03主流数据集上对改进后的模型进行测试评价,Rank-1分别提升2.17%、2.38%和3.50%,mAP分别提升3.07%、3.39%和4.14%。结果表明:改进后的模型能够提取更强鲁棒性的行人表达特征,达到更高的识别精度。

融合频率分离通道注意力机制的真实图像风格迁移算法

目前的真实图像风格迁移算法普遍存在过于注重提升图像真实感而忽视算法的风格化强度问题.为了解决这一问题,选择PhotoWCT~2算法作为基准算法,并在此基础上引入并优化了通道注意力机制,提出了一种融合频率分离通道注意力机制的真实图像风格迁移算法.算法使用离散余弦变换进行特征分解,将分解得到的不同频率分量并行输入共享感知机内部.在每个编码器块的相应卷积层后引入频率分离通道注意力机制,对通道域中不同尺度的特征进行自适应筛选,筛选出高价值的纹理和颜色特征,进而增强了算法风格化强度.对比实验表明,所提算法在保证图像细节信息不丢失的同时,增强了算法的风格化强度,在定性视觉效果和定量评价指标上都获得了较好效果.

基于多分支结构的不确定性局部通道注意力机制

近几年的研究表明视觉注意力机制是提升深层卷积神经网络性能的有效途径.然而,现有的视觉注意力方法更多地致力于建模所有卷积通道之间的相关性,在一定程度上限制了模型的计算效率.此外,这些方法尚未明确考虑相关性建模过程中不确定性带来的影响,缺少对注意力机制在泛化能力和稳定性方面的探索.为解决上述问题,提出了一种多分支局部通道注意力模块(Multi-Branch Local Channel Attention,MBLCA).通过建模通道之间的局部相关性学习各个通道的权重,提升了模型的计算效率.并采用蒙特卡洛(Monte Carlo,MC)Dropout近似的深度贝叶斯学习方法对局部通道注意力模块进行不确定性建模,从而得到一个多分支的局部通道注意力模块.提出的MBLCA模块可以灵活地应用于各种深层卷积神经网络架构中,与同类型的工作相比,嵌入MBLCA模块的ResNet-50网络结构在ImageNet-1K和MS COCO数据集上分别取得了2.58%的分类精度提升和1.9%的AP提升.

基于高效通道注意力机制与多尺度特征融合的烟丝图像识别方法研究

针对现有方法在识别烟丝类型中泛化能力差、准确率低的问题,提出了一种基于高效通道注意力机制与多尺度特征融合的烟丝类型识别方法。对采集的梗丝、膨胀叶丝、叶丝和再造烟丝4类烟丝图像进行降噪处理,处理后的图像经K-means聚类得到图像的前景和后景并完成分割,提高输入图像的抗环境干扰能力和特征提取能力。在Inception-ResNet-V2网络中引入高效通道注意力机制,加强模型提取特征的能力;同时,将改进后的模块输出的特征图进行多尺度融合,增加特征代表性,降低过拟合风险。最后,在比较收敛性和准确性时,用PReLU和AdaBound代替了ReLU激活函数和Adam优化器。结果表明,提出的算法具有较好的泛化能力,能实现4类烟丝高效识别,最终识别精度为97.23%,单幅图像的检测时间为0.107 s。

结合区域引导和双注意力机制的高光谱目标检测判别式学习网络

高光谱图像(HyperSpectral Images,HSIs)具有高光谱分辨率和丰富的光谱信息,其具有的大量窄波段电磁波有利于获取感兴趣目标的理化信息,并根据对应的光谱特征对不同物质进行有效区分,从而完成目标检测任务.然而有限样本、少量先验信息、高维相似背景及不同类别差异小所导致的目标和背景混淆问题使得高光谱目标检测(Hyperspectral Target Detection,HTD)面临挑战.为此,本文提出结合区域引导和双注意力机制的高光谱目标检测判别式学习网络(Region-guided and dual-Attention Discriminative learning Network,RADN),以缓解标记样本少的条件下不同类别相似度高和相同类别差异性大导致的背景和目标不易区分的问题,减少高维冗余特征带来的计算复杂度,同时提升检测精度.本文使用经验性区域引导网络训练,采用光谱约束的无监督聚类方法确定网络输入,选择性地关注高光谱图像中的显著性特征和感兴趣区域.此外,本文在网络中添加双通道注意力机制来辅助复杂背景分布的估计,并在网络中引入不同类别光谱先验损失函数,进一步减少高维复杂背景以及光谱变化对于目标的干扰.实验结果和分析表明,RADN在不同数据集上的性能优于现有先进的算法.