融合全局上下文注意力的遥感图像检测方法

针对遥感图像场景复杂、目标尺寸不一、且小尺寸目标过多导致的检测精度不佳和出现漏检等问题,提出了一种融合全局上下文注意力的目标检测算法。该算法提出一种全局上下文注意力机制和YOLOv5中C3结构融合的模块,以提升网络捕捉图像全局特征的能力;通过Varifocal Loss损失函数来提升对密集、尺寸小的目标的检测性能;采用基于归一化的注意力模块,降低图像中不太显著的特征和权重,使网络能够达到更高的检测准确率;利用动态卷积学习各个维度的信息,让训练得到的模型在降低GFLOPs情况下,同时保持检测精度提升。在NWPU VHR-10数据集上实验结果mAP为96.0%、准确率为98.2%、召回率为94.9%,较原YOLOv5模型分别提升了1.8%、4.7%和2.2%,证明了所改进YOLOv5方法的有效性。

双注意力随机选择全局上下文细粒度识别网络

针对细粒度图像识别任务中易忽视微小潜在性特征且外观差异细微等问题,提出一种基于双注意力随机选择全局上下文细粒度识别网络。首先,使用ConvNeXt作为主干网络,提出双注意力随机选择模块,对不同阶段提取到的特征进行通道随机选择和空间随机选择,使网络能够关注到其他潜在微小判别性特征;其次,利用全局上下文注意力模块将深层特征的语义信息融合到中间层,增强中间层定位微小特征的能力;最后,提出一种多分支损失,对中间层、深层和拼接层特征引入分类损失,结合不同分支提取到的特征,诱导网络获得多样性的判别特征。所提网络在Stanford-cars、CUB-200-2011、FGVC-Aircraft 3个公开细粒度数据集和真实场景下车型数据集VMRURS上分别达到了95.2%、92.1%、94.0%和97.0%的识别准确率,其性能相比其他对比方法有较大幅度提升。

基于上下文提取与注意力融合的遮挡服装图像分割

针对遮挡服装图像分割准确率低的问题,提出一种融合上下文提取与注意力机制的遮挡服装图像实例分割方法。以Mask R-CNN为基础网络,首先采用上下文提取模块优化ResNet的输出特征,通过融合不同速率的多路径特征从多个感受野中捕获图像的上下文信息,强化遮挡服装特征表示的识别及提取能力;然后引入通道注意力机制与空间注意力机制的残差连接,自适应地专注于捕捉遮挡服装图像的空间和通道维度上的语义相互依赖关系,降低上下文提取模块在处理特征图时因冗余的上下文关系扩大造成误定位与误识别的概率;最后,采用目标检测损失函数CIoU计算原理作为非极大值抑制的评判标准,关注预测框和真实框的重叠与非重叠区域,最大程度地选择遮挡服装的最优目标框,使预测框更加贴近真实框。结果表明,与其它方法相比,改进方法显著改善了不同遮挡程度服装图像的误分割现象,能提取出更精确的服装实例,其对遮挡服装图像的平均分割精度比原模型提升了4.4%。

注意力机制和全局卷积在光伏板分割中的应用

准确识别光伏对光伏产业有效健康发展至关重要。高分辨率遥感图像复杂的背景和光伏板形状颜色多变给光伏识别带来巨大的挑战。针对高分辨率遥感图像中光伏用地提取问题,提出网络以精确地提取光伏用地。该网络采用编码器和解码器的形式融合多层特征以结合丰富的语义信息,利用全局卷积和双注意力机制捕获重要的空间特征和通道特征,并使用通道融合模块恢复丢失的部分通道信息。提出的方法可以有效解决光伏板边缘模糊和光伏板粘连的问题。在公开光伏数据集上的实验表明,与U-Net、SegNet、DeepLabv3和DeepLabv3+相比,所提方法在PV01、PV03、PV08三个数据集上的IoU分别达到87.02%、92.98%和88.43%。实验证明所提方法能对高分辨率遥感图像光伏板进行高准确率分割。

结合上下文和注意力机制改进的视盘分割模型

青光眼为多发性眼底疾病,是致盲的主要原因之一。眼底图像来源广,质量参差不齐,且视盘区域具有多尺度性特征,融合上下文信息有利于准确分割多尺度视盘边界。以U-Net为基础,结合上下文信息和卷积注意力模块(CBAM),提出了一种改进的视盘分割模型,包括:(1)使用实例-批处理归一化(IBN)模块与注意力机制改进主干网络ResNet34,提升分割模型的泛化性和图像通道特征的提取能力;(2)提出一种多层次上下文信息提取(MCE)模块处理主干网络输出的特征,融合上下文信息增强分割模型对视盘边缘特征的提取能力;(3)使用Transformer机制替换U-Net中的跳跃连接和上采样,进一步提高视盘多尺度特征和图像通道特征的提取能力。将改进的分割模型与U-Net、U-Net++、DeeplabV3+、FCN和PSPNet分割模型进行视盘分割精度比较,结果表明提出的分割模型具有更好的分割效果,Dice、MIoU、MPA和FPS指标分别为98.18%、96.45%、98.11%和17.56 Img/s。该研究成果可为青光眼的早期诊断提供技术支撑。

基于全局补偿注意力机制的战场图像去雾方法

在现代化战争中,广泛利用图像等载体获取信息,但雾天环境下得到的图像不仅影响场景呈现,而且会掩盖重要特征。为提高雾天图像在现代化战争的利用价值,提出一种基于全局补偿注意力机制的战场图像去雾方法。构建全局补偿模块保证输出图像的完整性,并加入通道下采样恢复清晰图像;使用密集残差模块学习退化图像和清晰图像的非线性映射,同时加入注意力机制提高网络的灵活处理能力;通过提升输入图像的通道数量确保网络充分学习特征信息。实验结果表明,与经典和新颖图像去雾方法比较,所提方法在主观和客观评价上均取得出色成绩,说明该方法将注意力机制和全局补偿模块充分结合,有效缓解了战场图像退化问题,同时注重特征增强,使信息得以完整呈现,具有更优越的性能。

基于注意力机制上下文建模的弱监督动作定位

弱监督动作定位仅利用视频级标签信息检测动作实例的类别和时间边界,由于缺乏帧级分类标签,部分特征不明显的动作帧难以识别,且容易混淆动作帧和上下文帧。针对这两个问题,提出一种基于注意力机制上下文建模的弱监督动作定位方法。该方法在动作—背景注意力的基础上加入半软注意力,引导模型关注动作特征不明显的视频帧;通过上下文注意力对视频上下文信息建模,使模型可以区分动作帧和上下文帧。实验结果表明,所提方法的动作定位效果较好,当交并比(IoU)为0.5时,在公共数据集THUMOS14和ActivityNet1.3上的平均检测精度(mAP)分别达到32.6%和38.6%,优于现有弱监督动作定位模型。

基于全局注意力机制的Robust-PointPillars三维目标检测

提出了一种基于全局注意力机制的Robust-PointPillars三维目标检测方法,在智能驾驶的应用中,提高了目标检测的精度和鲁棒性。PointPillars等神经网络通过使用点云柱表示点云,具有实现三维目标检测的潜力。首先介绍了空间和通道双重注意力模块,以增强有学习价值的点云特征,解决了PointPillars缺乏点云柱内部学习机制和特征提取不足的问题;挤压与激励网络(SENet)模块的引入,使PointPillars对特征信息的学习理解能力得到进一步提高;最终,对受到干扰或缺失的传感器信号进行抑制,并利用全局注意力算法来提高鲁棒性。基于KITTI数据集上的目标检测结果,本文算法具有良好的目标检测精度和鲁棒性。

基于全局注意力机制的变电设备红外图像识别方法

常规的变电设备红外图像识别特征提取以目标标点提取为主,识别速度慢,容易导致红外图像的缺陷误识率升高。为此,提出对基于全局注意力机制的变电设备红外图像识别方法的设计与验证分析。根据当前识别需求,先采集红外图像数据,通过多尺度的方式,提高识别速度,进行多尺度特征提取。以此为基础,设计全局注意力机制变电设备红外图像识别模型,采用阈值辅助判别的方式来实现图像识别。测试结果表明:在选定的3个阶段中,对比的2种辅助方法对红外图像的缺陷误识率均高达15%以上,而所设计的全局注意力机制变电设备红外图像识别组误识率被较好地控制在10%以下,说明此次在全局注意力机制的辅助下,设计的图像识别方法针对性更强,识别效率高,更为高效。

融合注意力机制和上下文信息的实时交通标志检测算法

近年来交通标志检测任务得到了广泛的关注,然而现有方法常无法满足检测实时性要求,并且现有方法在检测小尺度交通标志时存在较多漏检情况,为此,提出融合注意力机制和上下文信息的实时交通标志检测算法。该算法以YOLOv5为基准模型,首先,在主干网络中嵌入空间注意力机制自适应地强化关键位置的特征,抑制干扰信息,提高主干网络的特征提取能力;其次,设计跨阶段局部窗口Transformer模块用于学习不同位置间信息的关联性,捕获交通标志周围丰富的上下文信息,有助于提高小尺度交通标志的检测精度;再次,提出轻量的特征融合网络对不同尺度的特征图进行融合,减少计算量的同时确保有效的特征融合;最后,在后处理阶段提出高斯加权融合方法修正检测框,进一步提高定位精度。在TT100K和DFG交通标志检测数据集上的实验表明,提出的算法有效地改善了小尺度交通标志的漏检情况,具有较高的准确性和实时性,可以满足实际场景的交通标志检测需求。

基于局部上下文焦点机制和交谈注意力的方面级情感分析

方面级情感分析是目前自然语言处理领域的一个重要研究方向,其目的是预测句子当中不同方面的情感极性。现有的方面级情感分析,通常忽略了情感极性与局部语境之间的关系,且在部分使用多头注意力机制的研究中,每个注意力头数的运算是相互独立的。为此,提出了一种基于局部上下文焦点机制和交谈注意力的方面级情感分析模型。首先,通过BERT预训练模型分别捕获局部上下文和全局上下文的初步特征。然后,在特征提取层,利用局部上下文焦点机制,通过上下文特征动态掩码层结合交谈注意力机制来进一步提取局部上下文特征;利用交谈注意力机制进一步提取全局上下文特征。最后,将局部和全局信息进行融合,输入非线性层获取情感分析结果。在3个公开数据集上进行了对比实验,实验结果表明,与现有的多个基线模型相比,所提模型的MF1值和准确率均有提升。

基于全局上下文注意力的点云语义分割

点云语义分割是三维环境感知的基础,直接基于点的语义分割方法避免了因点云结构化处理所造成的信息损失,但大多数深度学习模型的研究主要集中在提取局部几何特征,没有考虑点云不同局部结构之间的上下文关系,并且忽略了低级与高级特征之间的语义差距,限制了特征表示的能力,影响了点云语义分割的精度。因此,文中提出一种基于全局上下文注意力的点云语义分割方法,该方法主要由基于外部注意力的全局上下文特征聚合和基于后向竞争性注意力的邻近尺度特征融合两部分组成。通过外部注意力学习不同局部结构之间的长距离依赖关系,从而获得丰富的全局上下文信息。为了进一步增强模型的上下文感知能力,设计基于后向竞争性注意力的邻近尺度特征融合模块,学习低级与高级语义特征之间的相似度,重新为中间特征通道分配权重。在S3DIS大规模室内点云数据集上对所提方法进行评估,结果表明,所提方法的平均交并比在Area5上达到了65.2%,相比于RandLA-Net提高了2.5%,在6折交叉验证上的平均交并比达到了71.4%,相比于RandLA-Net提高了1.4%。证明了所提方法能够有效提取全局上下文特征,提高了语义分割的精度。

一种基于注意力机制和上下文感知的三维目标检测网络

随着自动驾驶的发展,行车安全成为关键性问题。由于点云场景杂乱、背景环境干扰大以及场景采集范围扩增,点云愈加稀疏,使得检测算法鲁棒性变弱。为缓解以上问题,文中提出了一种基于注意力机制和上下文感知的三维目标检测算法。在点云处理阶段,增加点云双向注意力机制生成点权重矩阵,显示标注重要点数据,抑制背景噪声干扰。在伪图特征提取模块中,添加FPN(Feature Pyramid Network)模块重复利用多尺度特征,引入上下文感知模块(Context Awareness Module,CAM)捕捉多比例的上下文语义,并基于源特征设计注意力导向模块(Attention Guide Module,AGM)生成空间位置清晰的导向权图,缓解冗余特征导致的空间模糊问题。文中网络基于KITTI数据集进行测试,结果表明在困难指标下,和基线网络相比,所提方法中行人、汽车和骑行者平均精度(Average Precision,AP)分别提升了0.59%、0.87%和1.42%;和新基线网络相比,在3种难度级别下,所提方法中行人的平均精度分别提升了3.04%、3.53%和3.23%,结果证明改进网络可有效提升三维目标检测性能。

融合动态场景感知和注意力机制的声学回声消除算法

在实时语音频通话系统中,如何去除声学回声得到清晰语音是目前最受关注的难题之一。声学回声消除(Acoustic echo cancellation,AEC)技术旨在消除语音频通话系统中的声学回声,提高通话过程中的语音质量,给予用户良好的通话体验,但是传统回声消除系统存在去回声效果不明显、存在非线性回声残留以及无法实时处理回声等问题。因此,为解决上述存在问题,提出了一种动态场景感知模块(Dynamic scene perception module,DSPM)和全局注意力机制(Global attention mechanism,GAM)相结合的声学回声消除算法。该算法以卷积循环网络(Convolutional recurrent network,CRN)作为基线模型,提取语音信号的序列特征;首先,在其编码器中引入DSPM模块替换原因果卷积,根据场景动态分配卷积内核数量,加强模型的自适应性;其次,在编码器最后两层中分别引入GAM模块,放大空间通道间关系以及统筹全局交互,提升对语音信号特征的提取能力以及消除回声的性能;最后,通过将MSE损失函数和HuberLoss损失函数线性相加生成一种新的损失函数——MSE-HuberLoss,进一步提高模型的鲁棒性。实验结果表明,提出的GAM-DSPM-CRN模型的回声消除性能优秀,且获得较基线模型更加清晰的重构语音信号;在双端通话环境下,提出的GAM-DSPM-CRN模型声学回声消除算法较其他对比算法性能有较大提升;在Microsoft AEC Challenges数据集上,MOS、ERLE和STOI的得分分别达到了4.09、57.43和0.78。

基于全局上下文注意力的风机叶片缺陷检测

针对YOLOv3目标检测算法在风机叶片表面缺陷检测任务中存在易产生冗余框和漏检等问题,提出了一种基于全局上下文(Global Context,GC)注意力机制的风机叶片表面缺陷检测方法,简称GC-YOLOv3。该方法通过对YOLOv3的特征提取网络Darknet53中的残差块嵌入全局上下文注意力模块,使得模型能够重点关注缺陷所在位置区域,达到有效减少冗余框和降低漏检风险的目的。实验结果表明,GC-YOLOv3相比于YOLOv3准确率提升了3.38%。同时,与基于Squeezeand-Excitation和Non-local的注意力机制相比,使用全局上下文注意力机制的模型检测精度更高。

结合全局注意力机制的实时语义分割网络

针对轻量化网络结构从特征图提取有效语义信息不足,以及语义信息与空间细节信息融合模块设计不合理而导致分割精度降低的问题,本文提出一种结合全局注意力机制的实时语义分割网络(global attention mechanism with real time semantic segmentation network,GaSeNet)。首先在双分支结构的语义分支中引入全局注意力机制,在通道与空间两个维度引导卷积神经网来关注与分割任务相关的语义类别,以提取更多有效语义信息;其次在空间细节分支设计混合空洞卷积块,在卷积核大小不变的情况下扩大感受野,以获取更多全局空间细节信息,弥补关键特征信息损失。然后重新设计特征融合模块,引入深度聚合金塔池化,将不同尺度的特征图深度融合,从而提高网络的语义分割性能。最后将所提出的方法在CamVid数据集和Vaihingen数据集上进行实验,通过与最新的语义分割方法对比分析可知,GaSeNet在分割精度上分别提高了4.29%、16.06%,实验结果验证了本文方法处理实时语义分割问题的有效性。

融合半波注意力机制的低光照图像增强算法研究

针对当前基于卷积神经网络的低光照图像增强算法(CycleGAN,Retinex-Net等)存在模型参数过大、内存消耗高、图像复原质量不佳等问题,在轻量级算法IAT基础上,提出了融合半波注意力模块的低光照图像增强算法HBTNet。为了改善网络频繁卷积造成的空间信息损失,在网络中引入半波注意力模块,可有效获得小波域的特性,丰富上下文信息,提高特征提取能力。通过引入MS-SSIM损失函数用来保存图像的边缘和细节信息,提升图像恢复的质量。实验结果表明,在LOL数据集上HBTNet相较于IAT算法PSNR提升了2.69%,SSIM提升了5.56%。HBTNet算法的模型参数量仅为0.11 M,可以满足终端用户实时性要求。

基于全局与局部多尺度上下文的电表数据检测

电力系统中配电箱的电表数据检测为电力管理和安全运行提供了重要的数据支持。传统的人工电表数据读取方法效率低下且易出错,而现有深度学习方法因模型参数量大限制了模型的应用。针对上述问题,提出了一种轻量化鲁棒的实时电表检测方法。通过减少特征提取网络的层数和通道数,减少模型的参数量,实现网络的轻量化。在减少网络参数量的同时,为了保证网络的特征表达能力和拟合能力,引入全局上下文和局部多尺度上下文丰富目标特征表达。全局上下文关注电表数据在电表箱中的位置,局部多尺度上下文适应不同尺寸的电表数据。实验结果表明,所提网络在参数量更小的情况下,仍能获得比其他检测方法更高的准确率和更快的检测速度。

改进多头注意力机制的车道检测方法

针对基于卷积神经网络(convolution neural network,CNN)的车道线检测方法存在的网络处理效率低和对车道线细长结构的建模能力不佳的问题,提出一种基于改进多头注意力机制(multi-head self-attention,MHSA)的轻量级车道检测方法。引入MHSA,融合Fuse MBConv、MBConv模块与特征压缩模块,降低模型的参数,同时利用上下文信息嵌入模块,建立兼顾检测精度和推理速度的全局注意力网络;利用Transformer的编码和解码器以及前向反馈网络将车道线参数化,结合匈牙利拟合损失函数提高所提出方法对车道线细长结构的建模能力。在TuSimple数据集对所提出的方法进行验证,结果表明,所提出的方法识别精度达到96.3%,推理速度达到95帧/s,同时在Apollo无人驾驶平台上的运行速度达到60帧/s,能够满足实时检测的要求。

全局通道注意力增强的毫米波图像目标检测

针对主动毫米波图像中目标与背景纹理区分度较低导致隐匿目标漏检问题,并根据安检实时性要求,提出一种基于全局通道注意力增强的主动毫米波图像目标检测方法。该方法以YOLOv5s为载体,在坐标注意力位置方向上引入全局通道注意模块,增强对隐匿目标全局通道信息的关注,从而提升在隐匿目标与背景纹理区分度较低时的检测能力;再利用K-means++聚类算法重新生成适合毫米波图像目标检测的锚框。实验结果表明,无论是阵列图像数据集还是线扫图像数据集,该方法增强了对隐匿目标的特征注意,提高了召回率,在满足安检实时性的前提下,提升了检测性能。通过增加少量参数,在阵列图像数据集上,精度、召回率和mAP@.5达到了92.0%、90.93%和95.32%;在线扫图像数据集上,精度、召回率和mAP@.5达到了94.65%、92.67%和97.73%。平均单张图像推理时间在两个数据集上均达到1 ms,满足实时性要求。