基于WGAN-GP和高效卷积块注意力机制IPOA-ICNN的变压器故障诊断

针对目前变压器故障诊断采集到的故障样本存在数据不平衡、特征信息提取不足的问题,提出了一种基于数据增强型和高效卷积块注意力机制(ECBAM)优化一维改进卷积神经网络(1D-ICNN)的变压器故障诊断方法。首先,建立一个基于Wasserstein梯度惩罚生成对抗网络(WGAN-GP),对不平衡的变压器数据样本进行训练以生成合成样本,用于数据增强,并采用方差分析法选取关联性强的气体特征参量;其次,使用残差和高效卷积块注意力机制模块对重构的平衡样本进行更为细节的特征提取,以实现故障诊断网络的分类;最后,利用改进的鹈鹕优化算法(IPOA)对ICNN参数进行寻优。算例对比分析表明,所提算法的故障诊断性能具备更高的精确度和稳定性,验证了所提模型故障诊断分类性能的有效性。

基于集成改进卷积注意力块的SAR图像目标分类算法

在合成孔径雷达(Synthetic Aperture Radar,SAR)图像中,目标的轮廓和细节通常比较复杂。传统的卷积神经网络(Convolutional Neural Network,CNN)只使用单一均值参数进行无差别的特征提取,不能很好地区分SAR特征之间的差异。为了解决此问题,文章提出了1种基于集成改进卷积注意力块(Improved Convolutional Block Attention Module,ICBAM)的SAR图像目标分类算法ICBAM_CNN。首先,该模块通过引入方差参数至传统CBAM模块中,设计了1种改进的CBAM注意力机制,有助于分类识别网络更好地学习SAR图像不同目标卷积层输出与通道注意力之间的差异信息,提升不同SAR目标特征的可分离性;然后,ICBAM设计了1种中心坐标注意力机制,能更好地捕捉SAR图像中目标的中心分布特征,有效抑制杂波对SAR目标分类影像的干扰;最后,为了提高效率,将改进后的ICBAM模块集成到CNN网络中,实现SAR图像目标分类。ICBAM_CNN深度融合了SAR图像目标的多层级特征,提升了SAR目标特征的可分离性,可实现SAR图像目标的高精度、高效率识别分类。通过MSTAR数据集进行实验,结果表明,相比于传统CBAM方法,改进ICBAM方法的精确率提升了2.44%,召回率提升了2.24%,F1-score提升了2.34%。

基于融合注意力机制深度网络的半色调图像分类

现有的半色调图像分类方法存在着识别半色调图像类型较少、分类准确率较低等问题。为了进一步提高半色调图像的分类准确率,本文提出一种基于融合注意力机制深度网络的半色调图像分类方法。首先,应用稠密残差块深度提取半色调图像信息,并应用通道注意力机制提取不同通道间的半色调图像噪点分布特征;然后,应用空间注意力机制提取不同通道不同空间下半色调图像噪点之间的关系;最后,应用分类器对识别到的半色调图像噪点分布特征进行分类,从而实现对半色调图像的分类。实验结果表明,运用基于融合注意力机制深度网络的半色调分类方法可以以99.72%的准确率、0.9971的F1分数实现14类半色调图像的分类。与其他方法相比,本文提出的方法在半色调图像分类准确率上提高了0.14%~0.24%,在F1分数上提高了0.0014。该方法可以以最高的准确率实现最多类型的半色调图像的分类。

基于混合空洞卷积和注意力多尺度网络的残饵密度估计

及时、准确地估算饵料盘中残留饲料量是提高养殖效益的重要措施。针对虾类养殖场景下残饵检测模型复杂度高、计数精度低的问题,提出了一种基于混合空洞卷积和注意力多尺度网络(hybrid dilated convolution and attention multi-scale network,HAMNet)的残饵密度估计方法。首先,借鉴MCNN(multi-column convolutional neural network)多列架构的思想设计并行卷积块(parallel convolution block,PCB),使网络在单列架构中提取多种尺度的残饵特征,简化了网络结构并减轻了计算量;同时为了弥补网络结构简化造成残饵特征表示能力略有不足的问题,引入混合空洞卷积块(hybrid dilated convolution block,HDCB)避免信息丢失并增大感受野,增强模型深入挖掘多尺度残饵信息的能力。其次,在网络中嵌入通道注意力机制(channel attention mechanism,CAM),利用通道之间的相互依赖性重新校准有用特征信息的权重,凸显目标与背景的差异性。最后,针对下采样导致密度图质量差的问题,应用可学习的转置卷积恢复特征图细节信息,进而提升模型计数性能。利用饵料盘条件下采集的残饵图像进行了验证,试验结果表明,与基准模型MCNN相比,HAMNet模型的平均绝对误差、均方根误差和计算量分别降低了44.4%、40.8%和13.7%,参数量仅为0.52 MB。与经典密度估计模型CMTL(cascaded multi-task learning)、SANet(scale aggregation network)、CSRNet(congested scene recognition network)相比,该模型在各项性能指标上保持了最佳平衡,明显处于优势。该研究可为人工智能在水产养殖中快速量化残饵提供参考。

融合高效通道注意力的复杂场景违禁品检测

针对X射线在违禁品检测任务中安检图像色彩存在对比度低、检测精度低、极易出现漏检错检的问题,在快速区域卷积神经网络(Faster R-CNN)算法基础上,通过K-means聚类算法改进锚框(Anchor)的生成方式;提出将高效通道注意力机制(ECANet)引入到感兴趣池化层(ROIpooling)后,突出违禁品的轮廓、色彩等信息。本文算法在S_DXray数据集上的m AP达到92.06%,改进后网络模型检测精度提高5.06个百分点。有效提高X射线图像违禁品检测的精度和小尺度目标的检测能力,有效避免错检、漏检的现象。

基于注意力机制的U-Net叶片缺陷图像分割

为解决风力发电机叶片表面缺陷检测存在分类困难和微小缺陷分割模糊的难题,构建一种基于扩张卷积和卷积注意力模块的改进U-Net语义分割网络。该网络基于网络模型的编码-解码结构,使用可迁移的VGG16的特征提取层代替U-Net网络的编码部分,在编码-解码之间的跳跃模块加入卷积注意力模块。通过对微小缺陷信息选取加强全局权重,使用扩张卷积增强网络特征,采用VGG16预训练模型实现迁移学习。开展Focal与Dice结合的混合损失函数验证,对比分析DeeplabV3+、PSPnet、HRNet、U-Net这4种模型。结果表明:对于叶片缺陷数据集,改进的U-Net网络模型对叶片缺陷的分类和分割任务具有更高的精度,均交并比、均像素精度和召回率等指标值分别为83.60%、92.84%和88.50%。改进U-Net网络的均交并比值比DeeplabV3+模型高13.98%,比标准U-Net模型高9.38%,能够提高叶片缺陷检测的灵敏度,有效降低检测结果的误报警率,有助于准确检测风机叶片缺陷。

基于注意力机制轻量化模型的植物病害识别方法

针对现有植物病害识别模型存在响应速度慢、参数量多、计算机内存资源消耗大等问题,本研究提出了一种轻量化神经网络模型,该模型由特征提取层、特征增强层和分类器组成。为了减小模型大小并提高网络响应速度,在特征提取层中使用深度可分离卷积进行特征提取。为了防止网络传播过程中的梯度消失并增强病害像素特征融合,在特征提取层中引入了大卷积核倒置残差结构(IRBCKS)模块。此外,在特征增强层集成了轻量级卷积块注意力模块(CBAM)注意力机制,以捕捉植物病害相关图像中像素之间的关系,增强关键信息的提取。最后,采用剪枝技术剔除模型中冗余特征信息,从而再次减少模型参数量,形成最终的轻量级网络模型Cut-MobileNet。为验证该模型的先进性,将其与轻量化模型(MobileNet V2、SqueezeNet、GoogLeNet)和非轻量化模型(Vision Transformer、AlexNet)进行性能对比,研究结果表明,Cut-MobileNet在浮点运算量、准确率、单张图片推理时间、参数量、F1值和模型大小等性能指标上都取得了较优的效果。

基于注意力机制和残差块的真实图像去噪

为有效去除真实图像噪声,提出一种基于注意力机制和残差块的图像去噪算法。采用通道和空间注意力机制相结合的双重注意力模块给不同的特征赋予权重,并与残差块合并于编解码结构;应用增大感受野模块,在保护图像结构的同时增大感受野;整体架构采用密集特征融合保留更多细节。实验结果表明,该算法在SIDD和DND数据集的峰值信噪比分别达到了39.59 dB和39.73 dB,结构相似性分别达到了0.911%和0.953%,具有最佳视觉效果。所提算法在去噪的同时能够保留更多图像细节信息。

基于高效注意力机制的说话人识别

注意力机制已被证明能够提升识别任务中的识别准确率。但是,大多数现有注意力机制致力于开发更复杂的模型以实现更好的性能,这不可避免地增加了模型的复杂性。针对这一问题,将高效通道注意力机制与改进的残差网络相结合,使用附加角裕度损失作为损失函数,提出了一种基于高效通道注意力机制的说话人识别模型。通过消融实验比较跨通道信息交互范围,确定高效通道注意力机制的最佳卷积核。实验结果表明,该模型在中文语料库Zhaishell子集上取得了98.54%的识别准确率。相较于使用交叉熵损失函数的挤压激励残差网络模型和使用附加角裕度损失函数的挤压激励残差网络模型,模型准确率分别提高了3.73%和2.19%,模型的估计参数总量减少。因此,基于高效注意力机制的说话人识别更适用对参数总量有要求的轻量级任务。

引入卷积块注意力模块的YOLOv5网络在地铁车辆一系弹簧断裂检测中的应用

作为地铁车辆关键部件的一系弹簧会发生断裂,威胁列车运行安全。由于一系弹簧断裂的位置、形状不同,并且断裂位置常常被遮挡,使得采用目标检测方法检测时,目标面积较小。对于小目标,采用的基于深度学习的目标检测方法检测难以达到好的效果。针对这一问题,在YOLOv5网络的基础上加以改进,加入更小的初始检测锚框,并且在主干网络加入空间和通道注意力模块。对比试验结果表明,改进后平均准确率提高3%,有效提高了小目标的检测能力。

基于混合注意力机制的动态人脸表情识别

针对自然环境中存在人脸遮挡、姿势变化等复杂因素,以及卷积神经网络(CNN)中的卷积滤波器由于空间局部性无法学习大多数神经层中不同面部区域之间的长程归纳偏差的问题,提出一种用于动态人脸表情识别(DFER)的混合注意力机制模型(HA-Model),以提升DFER的鲁棒性和准确性。HA-Model由空间特征提取和时序特征处理两部分组成:空间特征提取部分通过两种注意力机制——Transformer和包含卷积块注意力模块(CBAM)的网格注意力模块,引导网络从空间角度学习含有遮挡、姿势变化的鲁棒面部特征并关注人脸局部显著特征;时序特征处理部分通过Transformer引导网络学习高层语义特征的时序联系,用于学习人脸表情特征的全局表示。实验结果表明,HA-Model在DFEW和AFEW基准上的准确率分别达到了67.27%和50.41%,验证了HA-Model可以有效提取人脸特征并提升动态人脸表情识别的精度。

改进注意力机制的电梯场景下危险品检测方法

针对电动自行车和煤气罐搭乘电梯引起的火灾隐患,提出一种改进注意力机制的电梯场景下危险品检测方法。以YOLOX-s为基线模型,首先在加强特征提取网络中引入深度可分离卷积替换标准卷积,提升模型的推理速度。然后提出一种基于混合域的高效卷积块注意力模块(ECBAM)并嵌入主干特征提取网络中。在ECBAM模块的通道注意力部分,使用一维卷积替换两个全连接层,既降低了卷积块注意力模块(CBAM)的复杂度又提高了检测精度。最后提出一种多帧协同算法,通过结合多张图片的危险品检测结果以减少危险品入侵电梯的误报警。实验结果表明:改进后模型比YOLOX-s的平均精度均值(mAP)提升了1.05个百分点,浮点计算量降低了34.1%,模型体积减小了42.8%。可见改进后模型降低了实际应用中的误报警,且满足电梯场景下危险品检测的精度和速度要求。

混合注意力机制的异常行为识别

随着人工智能的快速发展,基于计算机视觉的人体异常行为识别受到极大的关注,并被广泛应用到智能安防等领域。针对人们在加油站等重要场所抽烟以及司机驾驶途中打电话等违规行为,提出一种混合注意力机制的异常行为识别方法。利用引入的卷积块注意力模块重点关注输入对象的显著性特征,并对输入信息进行精细化的分配和处理,在突出重要信息的同时弱化无关信息。为提升网络模型的特征挖掘能力及增强网络的信息交互性,利用提出的卷积特征提取模块进一步提取识别对象的高层语义特征,并将其与低层细节特征进行融合以达到多尺度特征交互的目的。此外,为了减少网络训练过程中错误标签造成的损失,采用标签平滑对交叉熵损失函数进行修正以此来驱动模型的学习过程。实验结果表明,所提出的模型优于当前的主流网络,可有效检测出异常行为。

基于注意力机制的卷积神经网络人脸表情识别

现有的卷积神经网络规模越来越大,导致参数量过大,结构不够轻量,并且现有的网络难以识别人脸表情的细微变化,不能对人脸表情特征进行精确提取,表情识别性能有待提高.针对以上问题,提出了一种基于注意力机制的卷积神经网络表情识别方法.该方法设计了一种新的网络结构,网络在卷积层的基础上增加了残差恒等块,同时引入注意力模块(Spatial Group-wise Enhance module,SGE),有效缓解了网络的过拟合现象,丰富了人脸表情特征学习,并利用全局特征和局部特征的相似性来指导语义特征的空间分布,使每个特征组自主增强人脸表情的特征学习.该网络结构较为轻量,参数量较少.在RAF-DB和CK+数据集上的实验结果表明,该方法有效改善了人脸表情识别的性能.

带有注意力机制的OCTA视网膜血管分割方法

视网膜血管分割是智能辅助诊断过程中的关键步骤。由于血管末端细小且易与背景混淆,导致很难精确分割。针对此类问题,提出一种基于深度可分离卷积与块注意力机制的高效视网膜血管分割算法。使用步长为2的卷积层代替最大池化层进行特征筛选;为了降低网络的参数量,用深度可分离卷积代替常规的卷积;引入注意力机制学习重要特征,对OCTA视网膜血管图像的像素进行精确分类。将该方法在2020版的公开数据集OCTA-500上进行充分实验。结果表明,该方法在分割性能指标F1、mIoU、Se、Sp、Acc和Pre上分别达到了80.01%、81.18%、84.39%、96.41%、95.32%和76.24%;和基准方法U-net相比,该方法的参数量和FLOPs也显著降低,分别只有U-net的19.2%和16.5%。

融合注意力与上下文信息的皮肤癌图像分割模型

为提高黑色素瘤分割性能,提出一种结合注意力机制和上下文信息的U-Net网络。以Resnet-34网络作为编码器,在跳跃连接中加入坐标注意力,通过捕捉精准的位置信息定位更准确的目标区域;设计上下文信息模块强化对前景特征的学习能力;加入高效通道注意力模块,重新校准权重并获得更高质量的分割图。在公共数据集ISIC 2017上验证改进模型,其结果表明,该模型召回率、F1分数达到85.29%、87.03%,与现有方法对比,在准确率、交并比、召回率、F1分数产生竞争性结果。

基于可变形卷积和注意力机制的图像去噪算法

为了增强图像的去噪效果和同时最大限度的保留图像的细节信息,提出了一种有效的图像去噪算法,该算法引入可变形卷积,并与扩张卷积、普通卷积组成“混合稀疏块”来完成主要的去噪任务。采用双重注意力机制,让网络能够关注到更多的重要信息,从而能挖掘到更深层次下的噪声信息;将网络设计成残差结构并在网络深处使用并行结构,以缓解梯度消失、训练缓慢等问题。实验结果证明,该算法与其他去噪算法相比,去噪表现优异且能更好的保留图像细节信息,拥有更高的数据评价指标,体现了更好的鲁棒性。

基于注意力的热点块和显著像素卷积神经网络的人脸防伪方法

人脸防伪用于验证被测试者是否为真实活体,是计算机视觉领域的一个研究热点。攻击手段的多样性以及人脸识别主要在嵌入式、移动式等不具备高计算能力的设备上应用,使得快速有效的人脸防伪计算成为具有挑战性的任务。针对该问题,文中提出了一种基于注意力的热点块和显著像素卷积神经网络的方法。其中,热点块机制以对5个热点块的判别来取代对整张人脸的判别,显著降低了计算量,迫使网络模型集中关注更具有鉴别信息的热点块,提高了网络模型的准确率;显著像素方法对输入的人脸图像进行显著像素预测,通过判断显著预测图是否符合人脸的深度特性来鉴别活体与攻击。该方法将热点块与显著像素的结果进行融合,充分发挥了局部特征和全局特征的作用,进一步提升了人脸防伪的效果。与现有方法相比,所提方法在CASIA-MFSD、Replay-Attack以及SiW数据集上都达到了很好的效果。

融合双残差密集与注意力机制的视网膜血管分割

针对视网膜血管末端细小,且容易与背景混淆等现象从而导致细小血管不易分割和断裂等情况,提出了一种融合双残差密集与注意力机制的视网膜血管分割算法。首先,在编码器部分利用双残差密集块与高效通道注意力机制来获取特征;其次,为了解决细小血管分割不足的现象,在编码器与解码器中间使用空洞卷积替换标准卷积来增大感受野;最后,自适应聚合块将之前所有块的特征映射组合起来,形成一个新的特征映射,作为后续层的输入,在自适应聚合块或DDRB之后,将使用卷积层来压缩特征映射,则双残差密集块(从DDRB1到DDRB5)的输出特征映射被完全重用。分别在DRIVE和STARE数据集上进行验证,其ACC分别为96.85%和97.84%,AUC分别为98.61%和99.45%。

基于高效通道注意力机制的语音情感识别方法

传统语音处理方式是把语音样本分割成固定长度的片段,但这种语音样本的切割会导致语音情感分类准确性下降。本文引入循环填充法处理可变长度的log-Mel谱图,该方法能够更好的利用时间动态信息,同时可以减少填充的无效数据对模型参数学习的干扰。由于人类的情感只能在语音中某些特定的时刻出现,为了寻找关键情感特征,本文构建了基于高效通道注意力机制的语音情感识别模型,其中高效通道注意力机制能够计算通道图的重要性,有选择的强调通道图,改进特定情感的表达。本文在交互式情感二元动作捕捉(IEMOCAP)数据库上进行相关实验。在IEMOCAP上采用循环填充法的加权精度(WA)和非加权精度(UA)分别达到73.2%和70.9%,采用本文提出模型的WA和UA分别达到76.0%和73.4%。