基于卷积—反残差和组合注意力机制的航天器多余物检测

航天器密闭电子设备内腔多余物给航天器飞行安全带来了巨大隐患。由于多余物体积小、与设备内常规组件形态结构相似且易被其他组件遮挡,采用现有的方法对其进行检测时误检、漏检频发。为解决上述问题,提出一种基于卷积—反残差和组合注意力机制的航天器密闭电子设备多余物检测网络RPDN。首先,网络通过构建卷积—反残差模块,保证了多余物细粒度特征的完整性;其次,设计组合注意力机制,增强了多余物特征的表征能力;最后,结合多尺度特征融合模块与目标检测层从多维度进行目标预测。实验结果表明RPDN在各项评价指标上均取得了良好的效果,mAP达到92.16%,检测效率达到了13FPS,实现了航天器密闭电子设备内腔多余物高效、精准检测。

基于注意力机制和迁移学习的服装分类方法

针对服装图像分类效率低、准确率不高等问题,提出了一种基于注意力机制和迁移学习的服装图像分类方法。主要采用预训练的ResNet50网络模型在服装数据集上进行迁移学习,以降低对数据集的依赖,并减少网络训练时间;通过几何变换和颜色抖动2种数据增强手段处理数据集,提高模型的泛化能力;以ResNet50为基础网络,加入卷积注意力机制模块(convolutional block attention module, CBAM),依次从通道和空间2个维度提高对服装不同区域的关注度,增强了特征表达能力。在CD和IDFashion两类背景干扰信息不同的数据集上进行验证,实验结果表明:所提出的模型能够提取更多服装特征信息,在IDFashion数据集的平均分类准确率为95.60%,分别高于ResNet50、ResNet50+STN和ResNet50+ECA模型6.65%、6.69%、6.62%,一定程度上提高了服装图像分类的准确率和效率。

基于注意力机制和Mogrifier LSTNet的道路交通占有率预测

提出一种改进的LSTNet深度学习框架用于交通占有率数据预测。采用不同大小的卷积核来捕捉时间序列数据中不同时间范围内的模式和趋势,并融合CBAM注意力机制可以在通道维度和空间维度上自适应地调整特征的权重。通过引入Mogrifier机制多次迭代交替更新LSTM的输入门和遗忘门的权重,以更好地捕捉序列数据中的长期依赖关系。而AR模型充分考虑了数据集的自相关性帮助模型更好地理解历史信息。实验结果表明,提出的模型相对绝对值误差为0.3497,明显优于其他模型,能够有效提高交通占有率的准确预测。

融合动态场景感知和注意力机制的声学回声消除算法

在实时语音频通话系统中,如何去除声学回声得到清晰语音是目前最受关注的难题之一。声学回声消除(Acoustic echo cancellation,AEC)技术旨在消除语音频通话系统中的声学回声,提高通话过程中的语音质量,给予用户良好的通话体验,但是传统回声消除系统存在去回声效果不明显、存在非线性回声残留以及无法实时处理回声等问题。因此,为解决上述存在问题,提出了一种动态场景感知模块(Dynamic scene perception module,DSPM)和全局注意力机制(Global attention mechanism,GAM)相结合的声学回声消除算法。该算法以卷积循环网络(Convolutional recurrent network,CRN)作为基线模型,提取语音信号的序列特征;首先,在其编码器中引入DSPM模块替换原因果卷积,根据场景动态分配卷积内核数量,加强模型的自适应性;其次,在编码器最后两层中分别引入GAM模块,放大空间通道间关系以及统筹全局交互,提升对语音信号特征的提取能力以及消除回声的性能;最后,通过将MSE损失函数和HuberLoss损失函数线性相加生成一种新的损失函数——MSE-HuberLoss,进一步提高模型的鲁棒性。实验结果表明,提出的GAM-DSPM-CRN模型的回声消除性能优秀,且获得较基线模型更加清晰的重构语音信号;在双端通话环境下,提出的GAM-DSPM-CRN模型声学回声消除算法较其他对比算法性能有较大提升;在Microsoft AEC Challenges数据集上,MOS、ERLE和STOI的得分分别达到了4.09、57.43和0.78。

基于注意力机制的U-Net叶片缺陷图像分割

为解决风力发电机叶片表面缺陷检测存在分类困难和微小缺陷分割模糊的难题,构建一种基于扩张卷积和卷积注意力模块的改进U-Net语义分割网络。该网络基于网络模型的编码-解码结构,使用可迁移的VGG16的特征提取层代替U-Net网络的编码部分,在编码-解码之间的跳跃模块加入卷积注意力模块。通过对微小缺陷信息选取加强全局权重,使用扩张卷积增强网络特征,采用VGG16预训练模型实现迁移学习。开展Focal与Dice结合的混合损失函数验证,对比分析DeeplabV3+、PSPnet、HRNet、U-Net这4种模型。结果表明:对于叶片缺陷数据集,改进的U-Net网络模型对叶片缺陷的分类和分割任务具有更高的精度,均交并比、均像素精度和召回率等指标值分别为83.60%、92.84%和88.50%。改进U-Net网络的均交并比值比DeeplabV3+模型高13.98%,比标准U-Net模型高9.38%,能够提高叶片缺陷检测的灵敏度,有效降低检测结果的误报警率,有助于准确检测风机叶片缺陷。

基于注意力机制和可变形卷积的路面裂缝检测

针对较复杂背景下路面裂缝检测问题,由于基于深度学习的图像分割算法检测效果不甚理想,以及裂缝图像自身像素类别不平衡,提出了一种基于注意力机制和可变形卷积的路面裂缝检测网络,该网络基于编码-解码结构进行构建。为了解决较为复杂背景裂缝检测困难的问题,首先,由可变形卷积提升网络对不同形状裂缝线性特征的学习能力;其次,使用密集连接机制强化特征信息;然后,在解码阶段采用转置卷积和桥接方式与编码阶段特征逐步融合,并结合多级特征融合的思想,提高网络的检测精度;最后,引入注意力模块(SimAM),在不增加网络参数的前提下,更加关注目标特征的提取,抑制背景特征。在两个公开裂缝数据集上进行实验来验证该算法的有效性,实验结果表明,该算法的各项性能评价指标均优于对比算法,BCrack数据集的平均像素精度、平均交并比分别达到92.12%和84.79%,CFD数据集的平均像素精度、平均交并比分别达到91.02%和74.75%,在复杂背景裂缝检测下表现良好,可应用于路面维修工程。

融合残差和卷积注意力机制的U-Net网络高分影像道路提取

针对在高分辨率遥感影像中因道路特征模糊或“同谱异物”现象影响,出现局部道路提取缺失和提取错误的问题,提出一种融合残差和卷积注意力机制的U-Net网络高分影像道路提取方法。首先,以U-Net网络为基础,加入改进的残差模块缓解网络训练过程中易出现的网络性能退化问题;然后,嵌入卷积注意力机制模块加强对道路细节特征的深度表征能力;最后通过几何变换对数据集进行合理扩充,增强网络泛化能力。在公开数据集马塞诸塞州数据集(MassachusettsRoadsDataset)和DeepGlobe道路数据集上对模型进行测试,实验结果表明:文章提出的方法在两个数据集上整体精度分别达到97.02%和98.26%,相比其他模型具有更好的提取效果,对道路特征的深度表征性更强,抗干扰性较好,有效改善了道路提取中出现的错提、漏提现象,显著提高了道路提取的精度和完整性。

基于注意力机制的三维模型特征提取

目前在基于视图的三维模型检索技术中,对多视图特征提取的大多方法,关注于视图的全局特征信息而忽略了对视图局部特征信息和多视图之间的相关性的探究。针对此问题提出一种新的特征提取方法,利用深度学习中的卷积神经网络,并结合注意力机制提取特征,以提升其判别性。方法在ModelNet40上进行实验分析,将三维模型的多个视图作为输入,在网络层中加入注意力模块进行特征提取分类,结果表明,该方法在分类准确度方面优于已有的典型算法。

基于约束卷积与注意力机制的图像篡改检测

在进行图像篡改检测时,需要重点解决的问题是如何来挖掘图像中的篡改信息以及怎样对篡改信息进行提取,直接影响到了模型对篡改特征的学习程度和检测效果。当前基于目标检测网络来实施图像篡改检测的模型常依赖Faster R-CNN为根基进行构建,但卷积操作会擅自提取视觉特征并且存在卷积归纳偏差,致使网络无法对篡改图像信息进行全面的分析,一定程度上限制了模型对篡改区域的识别能力。同时,Faster R-CNN对目标区域的池化方式还会带来检测精度上的丢失。提出一种以Transformer模型为根基搭建的注意力机制图像篡改检测模型。模型首先融合篡改图像的RGB信息和约束卷积层提取的图像噪声信息,然后利用CBAM注意力模块对融合特征进行处理得到优化后的篡改特征,最后将优化特征送入Transformer进行篡改区域的识别并输出检测框和置信度分数。文中提出的模型与RGB-N、RGB-E和FCR-CNN模型相比,在NIST16数据集上的F1分数分别提高了7.57%、2.94%和0.31%,在Columbia数据集上的F1分数分别提高了16.22%、15.45%和2.36%。以热力图的形式对实验过程中的篡改特征图进行可视化与比对,进一步验证了上述方法的有效性。

引入卷积块注意力模块的YOLOv5网络在地铁车辆一系弹簧断裂检测中的应用

作为地铁车辆关键部件的一系弹簧会发生断裂,威胁列车运行安全。由于一系弹簧断裂的位置、形状不同,并且断裂位置常常被遮挡,使得采用目标检测方法检测时,目标面积较小。对于小目标,采用的基于深度学习的目标检测方法检测难以达到好的效果。针对这一问题,在YOLOv5网络的基础上加以改进,加入更小的初始检测锚框,并且在主干网络加入空间和通道注意力模块。对比试验结果表明,改进后平均准确率提高3%,有效提高了小目标的检测能力。

基于混合注意力机制的动态人脸表情识别

针对自然环境中存在人脸遮挡、姿势变化等复杂因素,以及卷积神经网络(CNN)中的卷积滤波器由于空间局部性无法学习大多数神经层中不同面部区域之间的长程归纳偏差的问题,提出一种用于动态人脸表情识别(DFER)的混合注意力机制模型(HA-Model),以提升DFER的鲁棒性和准确性。HA-Model由空间特征提取和时序特征处理两部分组成:空间特征提取部分通过两种注意力机制——Transformer和包含卷积块注意力模块(CBAM)的网格注意力模块,引导网络从空间角度学习含有遮挡、姿势变化的鲁棒面部特征并关注人脸局部显著特征;时序特征处理部分通过Transformer引导网络学习高层语义特征的时序联系,用于学习人脸表情特征的全局表示。实验结果表明,HA-Model在DFEW和AFEW基准上的准确率分别达到了67.27%和50.41%,验证了HA-Model可以有效提取人脸特征并提升动态人脸表情识别的精度。

一种注意力机制优化方法及硬件加速设计

针对注意力机制在卷积神经网络的应用过程中无法避免的计算量增大、延迟增加问题,本文提出一种优化后的CBAM(Convolutional Block Attention Module)算法模型,并进行了硬件设计实现.论文基于传统CBAM模型结构,分析算法内部隐藏的潜在问题,设计更加符合注意力重要性参数提取初衷的算法模型;同时,通过计算过程优化,减少数据计算量、对算子进行最大并行组合;利用FPGA(Field Programmable Gate Array)可设计高效灵活并行阵列的优势,为改进后的CBAM算法设计一种硬件加速引擎结构.实验结果表明,与传统CBAM机制相比,改进后的注意力机制可以保持与原有算法模型几乎相同的精度,部署在FPGA的硬件加速计算引擎以180 MHz工作频率进行推理实验,经分析可得,本文提出的设计方案在同等硬件资源条件下,针对注意力机制电路可实现10.2%的计算速度提升,针对VGG16网络模型可实现4.5%的推理速度提升.

基于多层注意力机制的图文双模态情感分析

针对在图文双模态情感分析任务中,容易忽略通道信息,造成关键信息遗漏以及特征融合不充分、不考虑各模态权重的问题,提出一种基于多层注意力机制的图文双模态情感分析模型(multi-level attention mechanism fusion,MAMF)。使用BERT模型和双向长短时记忆网络结合的方式获得文本特征;在图片特征抽取中,引入卷积注意力模块(convolutional block attention module,CBAM)生成视觉注意特征;利用视觉引导的文本注意力和文本引导的视觉注意力重构特征向量,在特征融合中使用注意力机制对不同模态加权以区别其影响,最后输出进行分类。在多模态情感数据集MVSA上的实验验证了模型的有效性。

混合注意力机制的异常行为识别

随着人工智能的快速发展,基于计算机视觉的人体异常行为识别受到极大的关注,并被广泛应用到智能安防等领域。针对人们在加油站等重要场所抽烟以及司机驾驶途中打电话等违规行为,提出一种混合注意力机制的异常行为识别方法。利用引入的卷积块注意力模块重点关注输入对象的显著性特征,并对输入信息进行精细化的分配和处理,在突出重要信息的同时弱化无关信息。为提升网络模型的特征挖掘能力及增强网络的信息交互性,利用提出的卷积特征提取模块进一步提取识别对象的高层语义特征,并将其与低层细节特征进行融合以达到多尺度特征交互的目的。此外,为了减少网络训练过程中错误标签造成的损失,采用标签平滑对交叉熵损失函数进行修正以此来驱动模型的学习过程。实验结果表明,所提出的模型优于当前的主流网络,可有效检测出异常行为。

基于全局金字塔和注意力机制的双流网络结构

人体行为识别是计算机视觉中最具吸引力和实践性的研究领域之一,近年来,双流卷积神经网络因其可以同时捕获行为的空间信息和运动信息来进行人体行为的识别而越发的流行。然而,现有的基于双流卷积神经网络的行为识别方法的卷积方式无法全面的捕获相邻光流帧之间的运动信息和边缘的表观信息。为了解决这一问题,提出了一种利用全局特征金字塔和空间注意模块的来识别人类行为的双流网络结构。首先,在时间流提出了一个主要由卷积编码器和全局多头自注意(global multi-head self attention,GMSA)机制组成的全局特征金字塔结构.较小的卷积核在早期阶段捕获低维度特性,而较大的卷积核在卷积编码器后捕获其高维特性。而全局多头注意力则捕获全局的运动信息。其次,设计了一个空间注意模块。通过使用平均池化操作来聚合特征映射的空间信息来生成一维映射来表示空间上的平均合并特征,然后经过3*3的卷积核进行卷积来对RGB图像的边缘表观信息进行提取。最后,利用长短期记忆(long short-term memory,LSTM)来提取密集光流中的时间序列信息。在数据集UCF101、HMDB51上进行实验,实验表明,与其它基于深度学习的方法相比,具有一定的优势。

嵌入注意力机制残差网络的人脸表情识别方法

针对非可控环境下人脸图像易受光照、姿态变化等复杂因素的影响,进而造成人脸表情识别中人脸检测率低、表情识别精度差的问题,提出了一种嵌入注意力机制残差网络的表情识别方法。在人脸检测阶段,采用改进的RetinaFace算法完成多视角人脸检测,获取人脸区域。在特征提取阶段,使用ResNet-50作为特征提取的主干网络。将预处理后的人脸图片,依次通过该网络的通道注意力网络和空间注意力网络,显式地建模全局图像的相互依赖性。在虚线残差单元的快捷连接中,加入平均池化层进行下采样操作,通过微调残差模块的操作,加强输入特征之间的映射,使提取的表情特征能够较完整地在网络之间传递,以减小特征信息的损失;在网络中再次传入卷积注意力机制模块,增强局部表情特征的通道维度信息和空间维度信息,加强特征图中与表情相关性高的特征区域的重点信息,同时抑制特征图中无关区域的干扰,进而加快网络的收敛速度,提高表情识别率。与基线算法相比,该方法在RAF-DB和FER2013表情数据集上分别取得了87.65%和73.57%的准确率。

融合注意力机制与轻量化网络的桥梁裂缝分类

提出一种基于注意力机制融合轻量化网络的桥梁裂缝图像分类方法。以轻量化卷积神经网络为理论基础分类识别桥梁裂缝图像,并在轻量化网络中加入注意力机制以解决网络无法自主关注所感兴趣区域的问题。根据桥梁图像中裂缝所占比例较小且边缘突出的特点,选用适合于识别桥梁裂缝的注意力机制——CBAM(convolutional block attention module),并将其嵌入轻量化卷积神经网络EfficientNetv2中,建立CBAM-EfficientNetv2模型。实验结果表明:CBAM-EfficientNetv2模型与VGG16、ResNet34等常用深度学习模型对比,可获得最优的桥梁裂缝图像分类效果,其分类识别准确率达到95.64%。

基于多尺度注意力卷积神经网络的苹果叶部病害识别方法

针对传统苹果叶部病害识别方法识别率低和现有卷积神经网络(CNN)训练时间长的问题,提出一种基于多尺度注意力卷积神经网络的苹果叶部病害识别方法。该方法由多尺度空洞卷积模块Inception与改进的残差模块组成,其中,多尺度空洞卷积模块Inception用于图像的多尺度特征提取,在卷积模块中引入双注意力机制增强网络模型,显著表示图像中叶部病斑区域特征,降低非病斑区域与背景区域对识别结果的干扰,在原始残差模块上引入卷积层与非线性激活函数改进的残差模块,增加鲁棒性判别特征的跨层融合,在苹果病害叶片图像数据集上的识别准确率达96%以上。结果表明,所提出的方法具有参数量少、占用内存小以及性能好的优势,可进一步应用于田间苹果叶部病害智能识别系统。

基于挤压激励的轻量化注意力机制模块

针对向卷积神经网络(CNN)中嵌入注意力机制模块以提高模型应用精度导致参数和计算量增加的问题,提出基于挤压激励的轻量化高度维度挤压激励(HD-SE)模块和宽度维度挤压激励(WD-SE)模块。为了充分利用特征图中潜在的信息,HD-SE对卷积层输出的特征图在高度维度上进行挤压激励操作,获得高度维度上的权重信息;而WD-SE在宽度维度上进行挤压激励操作,以得到特征图宽度维度上的权重信息;然后,将得到的权重信息分别应用于对应维度的特征图张量,以提高模型的应用精度。将HD-SE与WD-SE分别嵌入VGG16、ResNet56、MobileNetV1和MobileNetV2模型中,在CIFAR10和CIFAR100数据集上进行的实验结果表明,与挤压激励(SE)模块、协调注意力(CA)模块、卷积块注意力模块(CBAM)和高效通道注意力(ECA)模块等先进的注意力机制模块相比,HD-SE与WDSE在向网络模型中增加的参数和计算量更少的同时得到的精度相似或者更高。

深度迁移学习与注意力机制的垃圾图像分类方法

垃圾分类对节约资源和改善环境有着重大的意义。针对日益增长的消费能力带来的垃圾种类的增长,提出基于深度学习神经网络和迁移学习并引入注意力机制的垃圾分类图像识别方法。首先,建立以可回收垃圾、厨余垃圾、有害垃圾和其他垃圾四大分类为基础,其中包括210种子分类的二级分类数据集;其次,采用自训练加迁移学习融合的方式,先搭建自训练卷积神经网络,后建立VGG16、ResNet50和ResNeSt50卷积神经网络,迁移同构模型下的预训练特征模型,把两个网络提取的特征融合,再添加基于CBAM注意力机制的改进模型,最后再接入微调网络再训练。分析得出最好的垃圾分类模型。实验数据表明,论文方法对比非迁移学习网络,时间消耗平均节约了29.4%,模型准确度平均提升8.06%,准确度最高达到92.2%。该方式可以显著地提升垃圾分类自动化的效率。