基于旋转框与位置注意力的无人机影像目标检测方法

针对无人机影像背景复杂、地面目标尺寸跨度较大且角度各异等问题,本文提出了一种基于YOLOv5模型与带有旋转角度的目标框(OBB)损失函数的无人机影像目标检测方法。首先,在主干网络中加入位置注意力模块(PAM),让模型更专注于学习正样本的纹理特征;其次,在特征增强网络中输出更大尺寸特征图,进一步增强对小目标的检测能力;再次,为更精准检出多角度目标,在输出端引入旋转框定位损失函数;最后,为增加样本数量并扩充训练集多样性,对训练集进行了增广处理。试验结果表明,基于旋转框与位置注意力模型(PAM-OBB-YOLOv5)在平均精度均值(mAP)上较YOLOv5模型提高了8.3%,在多种复杂环境中表现出良好的泛化能力,且该模型每秒检测影像帧数(FPS)达到32帧,能进行实时级检测结果输出。

视频目标检测中位置注意力网络

针对视频目标检测中,移动目标几何变化复杂使得边缘特征提取不足,导致边缘细节定位不准确问题,提出一种位置注意力网络(Position Attention Network, PA-Net)。通过在尺寸适中的特征图上引入位置注意力网络,根据移动目标边缘与背景像素的显著差异给目标不同位置动态赋予水平和垂直方向的注意力权值,增强对目标边缘的关注程度。既捕获前景和背景之间的依赖关系,又保留目标的确切位置信息,进而加强目标边缘细节特征的提取能力,提高目标框定准确度。实验结果表明:PA-Net算法在Argoverse-HD数据集上的检测结果与基准视频目标检测网络StreamYOLO相比,平均检测精度在不同交并比下分别提高0.3%、1.6%和0.6%,在机器人和自动驾驶等领域具有一定应用前景。

融合位置注意力的无人机影像多目标检测方法

无人机能够在城市规划、侦察、监视等场景下,通过目标检测技术提供准确的目标位置和类别信息,为后台处理提供详细的信息,但现有方法在无人机影像检测时存在场景泛化能力不足、小目标漏检率高等问题。鉴于此,提出一种基于回归的检测方法,在骨干网络中使用位置注意力机制为正负样本特征赋权,提高模型对正样本的学习能力;构建四个输出尺度的特征图融合金字塔,并采用改进的非极大值抑制算法精准筛选最终的输出检测框。为降低正负样本不均衡带来的影像,一方面采用交叉熵损失函数,另一方面对训练数据集进行样本增强处理。实验结果表明,所提出模型在测试数据集上的检测精度明显优于对比模型,并且在不同场景下表现出良好的泛化能力,其测试速度可达到实时检测的水平。

融合位置注意力的空洞卷积无人机影像多目标检测方法

针对以无人机影像为基础的多类别目标检测问题,提出一种融合位置注意力的卷积神经网络检测模型。在特征提取端使用级联空洞卷积核组实现特征提取,并通过位置卷积模块对提取后特征进一步筛选;为增强参与检测特征图内信息的复杂程度,通过多尺度特征融合端对上层输出特征图进行融合与上采样连接,最终输出4个尺度的特征图参与最终检测。测试结果显示,该模型在检测精度方面优于其余几组对比模型,同时在多个场景下表现出较好的泛化能力,在测试环境下能够实现对目标的实时检测。

结合卷积核组与位置注意力的遥感影像建筑物检测方法

针对高分辨率遥感影像中建筑物样本尺寸较小且分布不均,使用现有方法难以实现对建筑物目标高精度检测的问题,提出一种基于卷积核组与位置注意力的单阶段建筑物检测模型。在模型骨干网络中,使用并联卷积核组进行特征提取,同时引入位置卷积模块为正样本特征赋权来提高模型学习效率;为强化特征图内的信息丰富程度,使用带有密集连接的特征增强网络对骨干网络输出的特征图进行强化,最终将4个不同尺度特征图送入检测端。试验结果表明:提出的模型在检测精度方面优于参照模型,并且在不同场景下表现出较好的泛化能力和小目标检出能力,同时能够在测试环境下实现对建筑物目标的实时检测。

融合位置注意力机制和改进BLSTM的食品评论情感分析

为了对食品评价的情感倾向进行更加精确的分类,在进行情感语义分析时,卷积神经网络(convolutional neural networks,CNN)方法情感分析是近年来自然语言处理领域的研究热点。然而,目前现有的深度学习模型在对文本句子进行情感分析时缺少研究情感词位置对整个情感分析的重要性。在对电商商品评论数据进行情感语义分析时,CNN方法在提取目标的结构特征方面具有一定的优势,可以提取到多种局部特征,循环神经网络(recurrent neural networks,RNN)具有记忆功能,在序列特征提取方面具有一定的优势,双向长短时记忆网络(bidirectional long short-term memory,BLSTM)在提取远距离依赖序列语义特征方面可以得到很好的效果。在BLSTM的基础上,又引入基于食品领域的语义角色标注与位置相结合的位置注意力机制,来实现距离相关的序列语义特征提取,利用CNN实现序列语义特征的情感语义分类,从而构造出了一种基于BLSTM和位置注意力机制的食品评论情感分析模型。实验结果表明,设计的模型在情感分类方面取得了很好的分类效果,与之前的情感分类模型进行比较,在准确率结果上有所提高。

融合位置特征注意力与关系增强机制的远程监督关系抽取

实体关系抽取是构建知识图谱的主要任务之一,旨在确定句子中实体之间的关系类别.远程监督关系抽取方法通过将远程知识库与文本数据对齐来自动标记数据,已成为处理关系抽取任务的主要方式.为解决远程关系抽取不能充分利用单词之间的位置关系信息,并且没有考虑重叠关系之间语义相关性的问题,本文提出一种融合位置特征注意力和关系增强机制的远程监督关系抽取模型.该模型使用基于高斯算法的位置特征注意力机制重新分配句子中单词的权重,并且采用分段卷积神经网络和词级注意力来捕获句子特征.然后,利用基于自注意力的关系增强机制来捕获重叠关系之间的语义关联.在NYT10公共数据集上的实验结果表明,本文模型的性能优于所比较的基线关系抽取模型.

融合注意力的方面情感三元组抽取研究

方面情感三元组抽取中,现有的端对端模型大多忽略了方面和观点词间的潜在关系,针对上述问题,提出了一种基于融合注意力的深度学习模型Bi-FA-GTS来抽取方面情感三元组。该模型结合使用了位置注意力和自注意力,便于对目标词与其上下文单词之间进行联合特征向量建模;其次引入了一种网络标记方案,并结合词对关系解码及输出最终三元组。在基准数据集上的实验结果表明,该模型在14lap、15res和16res子数据集上的F1值相比于JET模型提升了2.75、0.43和1.46个百分点,提高了情感三元组抽取的有效性。

融入交叉注意力编码的皮肤病变分割网络

由于卷积操作的局限性,现有的皮肤病变图像分割网络无法对图像中的全局上下文信息建模,导致其无法有效捕获图像的目标结构信息,本文设计了一个融入交叉自注意力编码的U型混合网络,用于皮肤病变图像分割。首先,将设计的多头门控位置交叉自注意力编码器引入到U型网络的最后两个层级中,使其能够在图像中学习语义信息的长期依赖关系,弥补卷积操作全局建模能力的不足;其次,在跳跃连接部分引入一个新的位置通道注意力机制,用于编码融合特征的通道信息并保留位置信息,提高网络捕获目标结构的能力;最后,设计一个正则化Dice损失函数,使网络能够在假阳性和假阴性之间权衡,提高网络的分割结果。基于ISBI2017和ISIC2018数据集的对比实验结果表明,本文网络的Dice分别为91.48%和91.30%,IoU分别为84.42%和84.12%,分割精度在整体上优于其他网络,且具有较低的参数量和计算复杂度,即本文网络能够高效地分割皮肤病变图像的目标区域,可为皮肤疾病辅助诊断提供帮助。

位置感知注意力及其在行人重识别中的应用

行人重识别领域的众多工作都表明,采用多分支神经网络搭配注意力模块是一种实现高性能特征嵌入的有效方式。传统方案主要关注于多分支网络结构的设计,而在注意力机制的设计上存在明显不足,如当前注意力机制缺乏对特征位置信息的有效挖掘和利用。为此,该文在多尺度特征金字塔分支(Feature Pyramid Branch, FPB)网络的框架下,分析了不同注意力模块的引入对系统性能的影响;在此基础上,讨论了两种在注意力机制中融入位置信息的方法,提出了一种新的位置感知注意力模块,该模块具有即插即用的优点,便于融入各种主干网络。在多个流行行人重识别标准数据集上的实验表明,融入位置感知注意力模块的FPB网络相比于原FPB网络,仅需增加0.29 M参数就可以显著提升最终的模型识别准确率:rank-1在Market1501上提高0.7百分点,在DukeMTMC上提高1.5百分点,在CUHK03-Labeled上提高2.4百分点,在CUHK03-Detected上提高3.8百分点。

基于交叉通道注意力的目标跟踪方法

针对跟踪目标被遮挡或者目标周围存在敏感干扰物,从而导致前景背景分类错误和边界框预测错误的问题,提出了一种基于交叉通道注意力的无锚框的目标跟踪方法。首先使用交叉通道注意力对特征提取部分的最后三层输出进行通道增强,利用模板特征和搜索特征中目标的相似性,整合所有通道特征的相关性,从而选择性的对目标特征的通道的增强。之后使用加权求和的方式进行特征融合,使用浅层特征和深层特征融合提高分类精度和定位的准确度。最后使用位置注意力对分类特征图进行全局编码,再次增强分类特征图的特征,提高网络对目标的定位准确性。实验结果表明,提出的算法在OTB100数据集上取得了85.5%的准确率和64.1%的成功率,在UAV20L数据集上取得了70.5%的准确率和56.0%的成功率。

用于自动驾驶的双注意力机制语义分割方法

在自动驾驶场景中存在着光照、天气、路面状况等复杂多变的因素,这些因素会导致现有的语义分割方法在小目标物体的分割效果上存在注意力缺失的问题。为了解决这一问题,文中提出一种优化双注意力机制的方法,该方法的主要思想是通过引入位置和通道注意力机制生成权重,从而增强特征的表征能力。首先,位置注意力机制通过学习每个像素点在空间上的重要性,生成与位置相关的权重。其次,通道注意力机制通过学习每个通道在特征表示中的重要性,生成与通道相关的权重,将得到的位置注意力和通道注意力权重与输入特征进行逐元素相乘,以增强特征的表征能力。最后,将2个注意力模块的输出特征进行融合。实验结果表明,改进后的网络模型明显提升了语义分割精度,且在Cityscapes数据集上的平均交并比(mean intersection over union, mIou)达到了80.4%,相较于全卷积神经网络(fully convolutional networks, FCN)方法提升了10.4%。

MDA-Net:一种结合双路径注意力机制的医学图像分割网络

准确的医学图像分割对于疾病的诊断和治疗规划至关重要,但由于医学图像形态复杂,且图像内不同对象结构差异大,导致其在医学图像分割效果上并不明显.针对这一问题,提出了一种MDA-Net网络,其包含Mobile-NetV2、CAM、PAM这3个模块,以Mobile-NetV2作为骨干网络,提取图片初级信息.通过通道注意力模块(CAM)对每个特征图通道之间所有关联的特征信息加以整理,从而使相互依赖的特征图有选择性地加以突出.位置注意力模块(PAM)通过对每个像素区域进行特征加权和,选择性地聚合每个区域的特征.在解码部分采用转置卷积将骨干网络中的低层次信息和经过CAM、PAM得到的高层次信息进行融合,以此来丰富分割特征图的语义信息.在IBSI数据集和LUNA数据集上的实验效果表明,MDA-Net与其它医学图像分割模型相比,有更好的效果.

注意力机制在自然场景文字检测中的应用

针对目前主流的基于分割的文字检测方法中由于需要复杂的后处理过程保证检测精度,通常难以实现高检测速度的问题,提出一种应用位置注意力模块和金字塔注意力网络2种注意力机制的方法.首先用金字塔注意力网络对图像进行特征提取及语义分割;同时将位置注意力模块应用于高层特征,通过加强图像中相似物体的权重加强对文字的检测效果;最后进行简单有效的后处理,在实现较高检测准确度的前提下提高检测速度.实验结果表明,在Total-text数据集中,采用更轻量化的骨干网络时,所提方法在检测速度上优势明显;采用更深层的骨干网络时,所提方法的检测准确度领先2.0%.

基于双重注意力特征增强网络的语义分割方法

语意分割作为计算机视觉领域的研究热点之一,在地理信息系统、医疗影像分析和机器人等领域有广泛应用。然而现有的语义分割方法主要面临两个挑战,即类内不一致和类间难区分问题。为此,我们提出了一种基于双重注意力特征增强网络的方法来实现语义分割。该方法采用位置注意力模块与通道注意力模块来获取丰富的空间信息与上下文信息,并且在网络末端添加金字塔池化模块来聚合不同区域的上下文信息,提高网络捕获全局信息的能力。最终在标准数据集上的实验结果验证了本文方法的有效性。

基于多角度学生子注意力网络的小样本学习

小样本图像分类的准确性取决于神经网络模型对样本数据提取图像表征的能力,为了挖掘出图像更多的细节信息,提出了一种基于多角度学生子注意力网络的小样本分类方法。首先将Conv64所提取的特征作为网络的基础特征,其次构建两个学生分支,使网络从图像位置和通道角度来提取图像的细节信息,最后融入互学习思想,促使两个学生子分支相互监督,相互学习,利用两个学生子分支网络分别对小样本任务进行分类。文中在Mini⁃ImageNet和Tiered⁃ImageNet两个数据集上验证了多角度学生子注意力网络有效性,在Mini⁃ImageNet数据集上,该方法5⁃way 1⁃shot准确率为56.54%,5⁃way 5⁃shot准确率为73.87%。在Tiered⁃ImageNet数据集上,该方法5⁃way 1⁃shot及5⁃way 5⁃shot准确率分别上升到59.62%及77.96%。实验结果表明,相较于只使用单一角度的注意力网络,基于多角度学生子注意力能够更加关注图像的全局信息,显著提高了小样本图像分类的准确性。

基于元学习和位置信息的小样本学习方法

随着小样本学习的发展,元学习已经成为一种流行的小样本学习框架,其作用是开发能够快速适应有限数据和低计算成本的小样本分类任务模型。最近有关注意力的研究已经证明了通道注意力对于特征提取效果有一定的提升,但是它忽略了位置信息的作用,位置信息对于在小样本任务中更好地从有限的数据中学习来说很重要。基于这一事实,本文提出一种新的方法,通过在所有基类上预先训练一个加入位置信息注意力的分类器,然后在基于最近质心的小样本分类算法上进行元学习,实现了将位置信息和提取特征有效的结合。通过在两个标准的数据集上实验,和当下主流的小样本图像分类方法相比,该方法在Mini-ImageNet数据集的1-shot与5-shot任务上分别提升1.23%和1.02%,在Tiered-ImageNet数据集上,也分别提升0.85%和0.78%。实验表明该方法有效的发挥了位置信息的作用,可以提升小样本图像分类的准确率。

基于多尺度特征融合的轻量化人脸图像修复算法

针对当前遮挡的人脸图像修复中修复图像质量差和模型参数量大的问题,提出了一种基于多尺度特征融合的改进U-Net的轻量化人脸图像修复模型——LM-UNET。首先,使用深度可分离卷积替换原有卷积,增强模型对不同通道和上下文信息的特征表达能力,实现模型轻量化;其次,在跳跃连接中设计了多尺度特征注意力融合模块,充分融合不同尺度特征的信息,内嵌残差块减少特征间语义差距,提高模型修复准确率;最后,引入了位置注意力模块,增强人脸图像的显著信息,提升模型对人脸位置像素信息的有效提取能力。在基于CK+数据集生成的遮挡人脸数据集MFD上对该算法进行训练、验证和测试,修复后的图像的峰值信噪比(PSNR)达到30.49dB,结构相似性(SSIM)达到96.85%,与其他模型的对比实验结果表明,该模型对存在遮挡的人脸修复图像质量和视觉效果更好。

基于改进YOLOX-S的苹果成熟度检测方法

准确检测果园中未成熟与成熟的苹果对果园早期作物的负荷管理至关重要,提出一种能够实时检测苹果成熟度,并估算出整棵果树果实数量的方法。为提高YOLOX-S网络在复杂场景下的检测能力,在FPN(特征金字塔)的残差连接处增加了CoordinateAttention(位置注意力);为更好地检测图像中生长密集、存在遮挡、尺寸较小的苹果,将位置损失函数IoU_Loss更换为CIoU_Loss。试验结果表明,所提出的改进YOLOX-S检测算法相较于原算法,mAP值提高约1.97%,苹果低成熟度、中等成熟度和高等成熟度的AP值分别为90.85%、95.10%和80.50%。

基于改进MMAL的细粒度图像分类研究

针对细粒度图像分类中目标区域难以精准定位及其内部细粒度特征难以识别的问题,提出了一种基于改进MMAL的细粒度图像分类方法。首先,利用形变卷积的感知区域可变性原理,动态地感知样本图像中不同尺度和形状的目标区域特征,从而增强网络对目标区域位置的感知能力。随后,采用GradCAM梯度回流的方法生成网络注意力热图,以减小特征背景噪声的干扰,实现对图像目标区域的精准定位。最后,提出位置感知空间注意力模块,通过融合坐标位置和双尺度空间信息,显著提升了网络对目标区域细粒度特征的提取能力。实验结果表明,与基线算法相比,该方法在CUB-200-2011、Stanford Car和FGVC-Aircraft三个公共数据集上分类精度分别提升了1.4%、1.5%、1.9%,该结果验证了所提方法的有效性。