局部注意力引导下的全局池化残差分类网络

大部分注意力机制虽然能增强图像特征,但没有考虑局部特征的关联性影响特征整体的问题。针对以上问题,本文提出局部注意力引导下的全局池化残差分类网络(MSLENet)。MSLENet的基线网络为ResNet34,首先改变首层结构,保留图像重要信息;其次提出多分割局部增强注意力机制(MSLE)模块,MSLE模块将图像整体分割成多个小图像,增强每个小图像的局部特征,通过特征组交互的方式将局部重要特征引导到全局特征中;最后提出池化残差(PR)模块来处理ResNet残差结构丢失信息的问题,提高各层之间的信息利用率。实验结果表明,MSLENet通过增强局部特征的关联性,在多个数据集上均有良好的效果,有效地提高了网络的表达能力。

注意力机制和全局卷积在光伏板分割中的应用

准确识别光伏对光伏产业有效健康发展至关重要。高分辨率遥感图像复杂的背景和光伏板形状颜色多变给光伏识别带来巨大的挑战。针对高分辨率遥感图像中光伏用地提取问题,提出网络以精确地提取光伏用地。该网络采用编码器和解码器的形式融合多层特征以结合丰富的语义信息,利用全局卷积和双注意力机制捕获重要的空间特征和通道特征,并使用通道融合模块恢复丢失的部分通道信息。提出的方法可以有效解决光伏板边缘模糊和光伏板粘连的问题。在公开光伏数据集上的实验表明,与U-Net、SegNet、DeepLabv3和DeepLabv3+相比,所提方法在PV01、PV03、PV08三个数据集上的IoU分别达到87.02%、92.98%和88.43%。实验证明所提方法能对高分辨率遥感图像光伏板进行高准确率分割。

基于全局补偿注意力机制的战场图像去雾方法

在现代化战争中,广泛利用图像等载体获取信息,但雾天环境下得到的图像不仅影响场景呈现,而且会掩盖重要特征。为提高雾天图像在现代化战争的利用价值,提出一种基于全局补偿注意力机制的战场图像去雾方法。构建全局补偿模块保证输出图像的完整性,并加入通道下采样恢复清晰图像;使用密集残差模块学习退化图像和清晰图像的非线性映射,同时加入注意力机制提高网络的灵活处理能力;通过提升输入图像的通道数量确保网络充分学习特征信息。实验结果表明,与经典和新颖图像去雾方法比较,所提方法在主观和客观评价上均取得出色成绩,说明该方法将注意力机制和全局补偿模块充分结合,有效缓解了战场图像退化问题,同时注重特征增强,使信息得以完整呈现,具有更优越的性能。

基于非局部注意力机制的在线多目标跟踪算法

针对多目标跟踪任务在人群拥挤场景存在目标漏检、遮挡等问题,在CenterTrack框架基础上引入非局部注意力机制以捕捉多个目标之间、目标与场景之间的非局部依赖关系,提出基于空间非局部注意力残差块的跟踪模型;并进一步扩展到时空域,建立基于时空关系非局部注意力模块的跟踪模型,同时实现检测和跟踪任务。在MOT17、MOT16、2D MOT15三个数据集的实验结果表明,提出的两种在线跟踪模型较CenterTrack算法有明显提升,且在MOT17中MOTA(Multiple Object Tracking Accuracy)指标达到了目前较为先进的水平,为62.4%和62.5%,验证了该算法的有效性。

基于全局注意力机制的Robust-PointPillars三维目标检测

提出了一种基于全局注意力机制的Robust-PointPillars三维目标检测方法,在智能驾驶的应用中,提高了目标检测的精度和鲁棒性。PointPillars等神经网络通过使用点云柱表示点云,具有实现三维目标检测的潜力。首先介绍了空间和通道双重注意力模块,以增强有学习价值的点云特征,解决了PointPillars缺乏点云柱内部学习机制和特征提取不足的问题;挤压与激励网络(SENet)模块的引入,使PointPillars对特征信息的学习理解能力得到进一步提高;最终,对受到干扰或缺失的传感器信号进行抑制,并利用全局注意力算法来提高鲁棒性。基于KITTI数据集上的目标检测结果,本文算法具有良好的目标检测精度和鲁棒性。

基于全局注意力机制的变电设备红外图像识别方法

常规的变电设备红外图像识别特征提取以目标标点提取为主,识别速度慢,容易导致红外图像的缺陷误识率升高。为此,提出对基于全局注意力机制的变电设备红外图像识别方法的设计与验证分析。根据当前识别需求,先采集红外图像数据,通过多尺度的方式,提高识别速度,进行多尺度特征提取。以此为基础,设计全局注意力机制变电设备红外图像识别模型,采用阈值辅助判别的方式来实现图像识别。测试结果表明:在选定的3个阶段中,对比的2种辅助方法对红外图像的缺陷误识率均高达15%以上,而所设计的全局注意力机制变电设备红外图像识别组误识率被较好地控制在10%以下,说明此次在全局注意力机制的辅助下,设计的图像识别方法针对性更强,识别效率高,更为高效。

融合全局和局部注意力机制的自然语言框架识别方法

框架识别是框架语义学研究中进行浅层语义分析的核心任务,要求根据句子中目标词的上下文语义场景从给定的框架库中选择最相符的框架。现有的识别方法只考虑了句子的全局特征,忽略了目标词周围的局部信息,基于此,提出一种融合全局和局部注意力机制的框架识别方法。通过BERT预训练模型生成输入文本的向量表示;利用全局注意力机制和局部注意力机制分别对上下文与目标词周边信息进行编码;融合全局和局部信息编码进行框架选择。实验结果表明,该方法在FrameNet和CFN数据集上分别取得了88.39%和74.90%的准确率,优于多个基线模型,且对中英文数据具有较好的适应性。

基于自注意力机制神经机器翻译的软件缺陷自动修复方法

循环神经网络对于代码序列数据有着良好的处理能力,软件缺陷修复的补丁生成模型大多采用循环神经网络实现.然而,基于循环神经网络的补丁生成模型在处理代码序列中长距离依赖问题时仍然具有局限性,其修复成功率和修复效率较低.针对此问题,提出一种基于自注意力神经机器翻译的软件缺陷自动修复方法(Self-attention Neural machine translation based automatic software Repair,SNRepair).首先,为有效缓解源码中的未登录词问题,对数据集引入子词切分技术进行预处理;其次,为解决源代码中棘手的长距离依赖问题并更充分地利用局部信息,构建融合局部建模的Transformer程序补丁生成模型;然后,采用缺陷自动定位技术定位缺陷语句位置,利用参数优化后的Transformer补丁生成模型生成候选补丁;最后,运行测试用例验证候选补丁.在具有395个真实Java软件缺陷的Defects4J缺陷库上实验评估,结果表明SNRepair方法与对比方法比较,修复成功率和修复效率更高.

融合动态场景感知和注意力机制的声学回声消除算法

在实时语音频通话系统中,如何去除声学回声得到清晰语音是目前最受关注的难题之一。声学回声消除(Acoustic echo cancellation,AEC)技术旨在消除语音频通话系统中的声学回声,提高通话过程中的语音质量,给予用户良好的通话体验,但是传统回声消除系统存在去回声效果不明显、存在非线性回声残留以及无法实时处理回声等问题。因此,为解决上述存在问题,提出了一种动态场景感知模块(Dynamic scene perception module,DSPM)和全局注意力机制(Global attention mechanism,GAM)相结合的声学回声消除算法。该算法以卷积循环网络(Convolutional recurrent network,CRN)作为基线模型,提取语音信号的序列特征;首先,在其编码器中引入DSPM模块替换原因果卷积,根据场景动态分配卷积内核数量,加强模型的自适应性;其次,在编码器最后两层中分别引入GAM模块,放大空间通道间关系以及统筹全局交互,提升对语音信号特征的提取能力以及消除回声的性能;最后,通过将MSE损失函数和HuberLoss损失函数线性相加生成一种新的损失函数——MSE-HuberLoss,进一步提高模型的鲁棒性。实验结果表明,提出的GAM-DSPM-CRN模型的回声消除性能优秀,且获得较基线模型更加清晰的重构语音信号;在双端通话环境下,提出的GAM-DSPM-CRN模型声学回声消除算法较其他对比算法性能有较大提升;在Microsoft AEC Challenges数据集上,MOS、ERLE和STOI的得分分别达到了4.09、57.43和0.78。

联合注意力机制和多分支特征的行人重识别

针对行人重识别技术中存在模型识别率低的问题,提出一个联合注意力机制和多分支特征的网络模型。在残差网络中嵌入自注意力机制模块强化图像有效特征的提取,在深度特征挖掘模块,使用全局特征分支、局部关联特征分支以及随机擦除特征分支形成对行人更全面的描述。在优化过程中提出联合余弦交叉熵损失、全样本三元组损失、中心损失以及特征对齐损失对网络使用最小最大策略进行更新。所提方法在Market-1501和DukeMTMC-reID数据集上首位准确率分别达到了95.8%和89.8%。

结合全局注意力机制的实时语义分割网络

针对轻量化网络结构从特征图提取有效语义信息不足,以及语义信息与空间细节信息融合模块设计不合理而导致分割精度降低的问题,本文提出一种结合全局注意力机制的实时语义分割网络(global attention mechanism with real time semantic segmentation network,GaSeNet)。首先在双分支结构的语义分支中引入全局注意力机制,在通道与空间两个维度引导卷积神经网来关注与分割任务相关的语义类别,以提取更多有效语义信息;其次在空间细节分支设计混合空洞卷积块,在卷积核大小不变的情况下扩大感受野,以获取更多全局空间细节信息,弥补关键特征信息损失。然后重新设计特征融合模块,引入深度聚合金塔池化,将不同尺度的特征图深度融合,从而提高网络的语义分割性能。最后将所提出的方法在CamVid数据集和Vaihingen数据集上进行实验,通过与最新的语义分割方法对比分析可知,GaSeNet在分割精度上分别提高了4.29%、16.06%,实验结果验证了本文方法处理实时语义分割问题的有效性。

基于LBP和注意力机制的改进VGG网络的人脸表情识别方法

为了提高训练速度和人脸表情识别效果,提出一种基于局部二值模式(Local Binary Pattern,LBP)和注意力机制的改进视觉几何群网络(Visual Geometry Group Network,VGG网络)的人脸表情识别方法。首先,通过LBP获取数据集的纹理特征。其次,利用全局平均池化层代替全连接层,并在基准模型卷积层后和全局平均池化层前引入注意力模块,创建新网络模型NEW-VGG;通过对NEW-VGG做消融实验,验证模型改进的正确性。最后,融合LBP+NEW-VGG模型对CK+和Fer2013两种数据集进行10倍交叉验证,取得了97.98%和76.75%的识别率。实验结果表明,该方法不仅能加快网络训练迭代速度,增强人脸表情识别效果,还具有较强的鲁棒性。

全局通道注意力增强的毫米波图像目标检测

针对主动毫米波图像中目标与背景纹理区分度较低导致隐匿目标漏检问题,并根据安检实时性要求,提出一种基于全局通道注意力增强的主动毫米波图像目标检测方法。该方法以YOLOv5s为载体,在坐标注意力位置方向上引入全局通道注意模块,增强对隐匿目标全局通道信息的关注,从而提升在隐匿目标与背景纹理区分度较低时的检测能力;再利用K-means++聚类算法重新生成适合毫米波图像目标检测的锚框。实验结果表明,无论是阵列图像数据集还是线扫图像数据集,该方法增强了对隐匿目标的特征注意,提高了召回率,在满足安检实时性的前提下,提升了检测性能。通过增加少量参数,在阵列图像数据集上,精度、召回率和mAP@.5达到了92.0%、90.93%和95.32%;在线扫图像数据集上,精度、召回率和mAP@.5达到了94.65%、92.67%和97.73%。平均单张图像推理时间在两个数据集上均达到1 ms,满足实时性要求。

基于全局注意力机制的单像素成像图像增强方法

单像素成像是一种仅需要使用无分辨能力的桶探测器结合空间光调制信息就能重构出一副完整图像的成像方式,具有非局域成像和高灵敏的特点,适合在外太空非合作目标下进行超远距离成像探测,但需要多次空间光调制后进行探测,重构图像信噪比低.本文提出一种基于全局注意力机制的低采样率下图像增强方法,利用Transformer结构搭建新型的SUNet(swin transformer unet)网络,解决传统卷积神经网络平移不变性和无法获得全局感受野的问题.根据切蛋糕(cake-cutting, CC)序改进的差分鬼成像算法在低采样条件下重构出低质量的图像,使用SUNet对图像进行增强.实验结果表明,该方法与2022年提出的GIDC(ghost imaging using deep neural network constraint)方法相比,在0.1的采样率下,峰值信噪比提升了3.29 dB,结构相似度提升了8%,为单像素成像的空间探测提供了新的技术途径.

融合全局上下文注意力的遥感图像检测方法

针对遥感图像场景复杂、目标尺寸不一、且小尺寸目标过多导致的检测精度不佳和出现漏检等问题,提出了一种融合全局上下文注意力的目标检测算法。该算法提出一种全局上下文注意力机制和YOLOv5中C3结构融合的模块,以提升网络捕捉图像全局特征的能力;通过Varifocal Loss损失函数来提升对密集、尺寸小的目标的检测性能;采用基于归一化的注意力模块,降低图像中不太显著的特征和权重,使网络能够达到更高的检测准确率;利用动态卷积学习各个维度的信息,让训练得到的模型在降低GFLOPs情况下,同时保持检测精度提升。在NWPU VHR-10数据集上实验结果mAP为96.0%、准确率为98.2%、召回率为94.9%,较原YOLOv5模型分别提升了1.8%、4.7%和2.2%,证明了所改进YOLOv5方法的有效性。

基于加权多头并行注意力的局部遮挡面部表情识别

面部表情识别在诸多领域具有广泛的应用价值,但在识别过程中局部遮挡会导致面部难以提取有效的表情识别特征,而局部遮挡的面部表情识别可能需要多个区域的表情特征,单一的注意力机制无法同时关注面部多个区域特征.针对这一问题,本文提出了一种基于加权多头并行注意力的局部遮挡面部表情识别模型,该模型通过并行多个通道-空间注意力提取局部未被遮挡的多个面部区域表情特征,有效缓解了遮挡对表情识别的干扰,大量的实验结果表明,本文的方法相比于很多先进的方法取得了最优的性能,在RAF-DB和FERPlus上的准确率分别为89.54%、89.13%,在真实遮挡的数据集Occlusion-RAF-DB和Occlusion-FERPlus的准确率分别为87.47%、86.28%.因此,本文的方法具有很强的鲁棒性.

基于全局注意力多任务网络方法的CT图像细小骨折检测研究

目的:通过全局注意力多任务网络提升CT图像细小骨折检测的感知,通过多任务实现实例级别细小骨折目标的检测,快速、准确地从大量CT图像中识别并定位骨折,以辅助临床及时开展治疗。方法:引入分组非局部(non-local)网络方法,计算CT图像连续切片任何位置和通道之间的远程依赖关系,将多目标检测模型3D RetinaNet单级检测器与医学图像语义分割(3D U-Net)架构相融合,实现端到端的多任务3D卷积网络,以多任务联合的方式实现对细小骨折的实例级别检测。选择医学图像计算与计算机辅助干预(MICCAI)2020挑战赛提供的肋骨骨折公开数据集(Rib Frac Dataset)600例CT扫描图像,通过5∶1的比例划分为训练集(500例)和验证集(100例),测试多任务3D卷积网络的精度性能。结果:多任务3D卷积网络方法的检测精度性能优于单任务网络FracNet、3D RetinaNet及3D Retina U-Net,其平均精度与3D RetinaNet和3D Retina U-Net网络相比分别高出7.8%和11.4%,且优于3D Faster R-CNN、3D Mask R-CNN两种单任务网络检测方法,平均精度分别高出约6.7%和3.1%。结论:全局注意力多任务网络融合不同模块,对于细小骨折检测性能均有提升,引入分组非局部(Non-local)网络方法能够进一步提升对细小骨折目标的检测精度性能。

基于全局时空注意力机制和PCA_3DNet的动作识别方法

针对基于3D卷积神经网络的动作识别方法存在参数量过大、无法捕捉时空特征的全局依赖关系等问题,提出了一种基于全局时空注意力机制(Global spatiotemporal attention mechanism, GSTAM)和PCA_3DNet的动作识别方法。该方法引入伪3D卷积结构减少网络参数,在伪3D卷积结构中嵌入通道注意力机制(Channel attention mechanism, CAM)来增强通道特征,并采用全局时空注意力机制来捕捉特征信息的全局依赖关系,加强时空特征的表征能力,从而提高动作识别的准确率。该方法在两个公开数据集UCF101和HMDB51上的识别准确率分别为93.5%和70.5%,模型参数量为13.46 Mi,浮点运算量为8.73 Gi;在准确率、参数量和计算量上的综合表现优于现有的传统方法和深度学习方法。实验结果表明该方法能够获取丰富的时空特征信息,有效提升动作识别的性能。

融合注意力谱非局部块的视网膜图像质量分级

视网膜图像质量评估(RIQA)是筛查糖尿病视网膜病变的关键组成部分之一。针对视网膜图像质量差异大且质量评估模型泛化能力不足等问题,提出一种融合注意力谱非局部块的多特征算法来对RIQA进行预测分级。首先采用融合光谱非局部块的ResNet50网络对输入图像进行特征提取;其次引入高效通道注意力用于提升模型对数据的表达能力,有效捕获通道间特征信息关系;再次利用特征迭代注意力融合模块对各局部特征信息融合;最后联合焦点损失和正则损失进一步提高质量分级的效果。在Eye-Quality数据集上准确率为88.59%,精确度为87.56%,敏感度和F1值分别为86.10%和86.74%。在RIQA-RFMiD数据集上准确率和F1值分别为84.22%和67.17%,仿真实验表明,文中算法对视网膜图像质量评估任务中具有较好的泛化能力。

轨迹预测中局部自注意力时序编码网络

针对传统编码器应用于轨迹预测时,难以捕捉短暂停车或急转弯等局部时间尺度下的轨迹变化(简称局部变化)从而影响预测准确性的问题,提出一种局部自注意力时序编码架构(Loc-SelfAttention)。该算法充分利用小尺度卷积核的优越局部感知能力,敏锐地捕捉和提取局部变化的特征,并利用自注意力机制,根据局部变化对于未来轨迹分布的影响程度动态赋予提取的局部特征注意力权重,从而过滤噪声和杂点,筛选出有效的局部特征,提高轨迹预测准确性。实验结果表明:Loc-SelfAttention算法在Argoverse运动预测基准上与HOME轨迹预测算法相比,最小平均位移误差降低3.7%,最小最终位移误差降低3.1%,失误率降低4.8%,在自动驾驶和智能交通管理等领域具有一定应用前景。