局部注意力引导下的全局池化残差分类网络

大部分注意力机制虽然能增强图像特征,但没有考虑局部特征的关联性影响特征整体的问题。针对以上问题,本文提出局部注意力引导下的全局池化残差分类网络(MSLENet)。MSLENet的基线网络为ResNet34,首先改变首层结构,保留图像重要信息;其次提出多分割局部增强注意力机制(MSLE)模块,MSLE模块将图像整体分割成多个小图像,增强每个小图像的局部特征,通过特征组交互的方式将局部重要特征引导到全局特征中;最后提出池化残差(PR)模块来处理ResNet残差结构丢失信息的问题,提高各层之间的信息利用率。实验结果表明,MSLENet通过增强局部特征的关联性,在多个数据集上均有良好的效果,有效地提高了网络的表达能力。

从全局到局部:双注意力融合去雾网络

为了处理现有的基于卷积神经网络去雾方法只使用单一的注意力、很难生成细节生动的清晰图像,且容易导致色彩失真的问题,提出了一个全局与局部注意力融合的图像去雾方法,以获得正常清晰度和无色彩失真的去雾图像。首先利用通道注意力将输入的有雾图像在通道维度切分为两部分,一部分送入通道像素注意力通道抽取局部特征,另一部分送入Transformer通道学习全局特征,然后利用像素注意力对两个通道学习的特征进行融合,将上述模块作为基本单元组合为一个多级U型去雾网络,增加残差连接缓解上下采样导致的细节信息丢失,最后在网络底层加入一个Transformer模块学习全局信息。在多个公开可用的去雾图像数据集RESIDE SOTS Indoor、RESIDE SOTS Outdoor上测试所提方法的有效性,结果表明:对比经典的去雾方法,所提网络生成的图像细节更丰富并且色彩失真最少;在RESIDE SOTS Outdoor数据集上,相比经典的FFA-Net,峰值信噪比提高1.16 dB,相比GridDehazeNet,峰值信噪比提高3.68 dB。提出的全局与局部注意力融合方法能有效地去除雾霾,提升图像的对比度与清晰度,设计的多级U型去雾网络和残差连接结构能够缓解细节丢失,提升去雾效果,获得清晰的图像。

融合全局增强-局部注意特征的表情识别网络

为抑制自然场景下遮挡和姿态变化等因素对人脸表情识别的影响,提出一种融合全局增强-局部注意特征(GE-LA)的表情识别网络。为获取增强的全局上下文信息,构建通道-空间全局特征增强结构,该结构采用通道流模块(CFM)和空间流模块(SFM),分别获取对称多尺度通道语义以及像素级空间语义,并结合两类语义生成全局增强特征;为抽取局部细节特征,将高效通道注意力(ECA)机制改进为通道-空间注意力(CSA)机制,并以此构建局部注意模块(LAM)获取通道和空间高级语义。为提升网络对遮挡、姿态变化等因素的抗干扰能力,设计一种自适应策略实现全局增强特征和局部注意特征的加权融合,并基于自适应融合特征实现表情分类。在自然场景人脸表情数据集RAF-DB和FERPlus上的实验结果表明,提出网络的表情识别率分别为89.82%和89.93%,比基线网络ResNet50分别提高了13.39个百分点和10.62个百分点。与相关方法相比,提出方法降低了遮挡、姿态变化的影响,在自然场景下具有较好的表情识别效果。

基于全局-局部注意力机制和YOLOv5的宫颈细胞图像异常检测模型

目标建立一种新的基于全局-局部注意机制和YOLOv5的宫颈病变细胞检测模型(Trans-YOLOv5),为准确、高效地分析宫颈细胞学图像并做出诊断提供帮助。方法使用共含有7410张宫颈细胞学图像且均包含对应真实标签的公开数据集。采用结合了数据扩增方式与标签平滑等技巧的YOLOv5网络结构实现对宫颈病变细胞的多分类检测。在YOLOv5骨干网络引用CBT3以增强深层全局信息提取能力,设计ADH检测头提高检测头解耦后定位分支对纹理特征的结合能力,从而实现全局-局部注意机制的融合。结果实验结果表明Trans-YOLOv5优于目前最先进的方法。mAP和AR分别达到65.9%和53.3%,消融实验结果验证了Trans-YOLOv5各组成部分的有效性。结论本文发挥不同注意力机制分别在全局特征与局部特征提取能力的差异,提升YOLOv5对宫颈细胞图像中异常细胞的检测精度,展现了其在自动化辅助宫颈癌筛查工作量的巨大潜力。

结合双非局部注意力感知的SAR和光学图像金字塔细节融合网络

合成孔径雷达(synthetic aperture radar,SAR)与光学图像融合旨在利用卫星传感器的成像互补性,生成更全面的地貌信息.然而,由于各单一卫星传感器数据分布的异质性和成像物理机制的差异,现有网络模型在融合过程中往往存在成像精度低的问题.为了解决上述问题,本文提出DNAP-Fusion,一种新的结合双非局部注意力感知的SAR和光学图像金字塔细节融合网络(dual non-local-aware-based pyramid fusion net).该方法利用双非局部注意力模块,在空间尺度逐渐减小的多级图像金字塔中提取SAR图像的结构信息和光学图像的纹理细节.然后在空间和通道维度上融合它们的互补特征.然后,通过图像重构将融合特征注入上采样光学图像中,得到最终的融合结果.此外,在网络训练之前,采用图像封装决策来增强同一场景中SAR和光学图像中目标之间的共性关系.定性和定量的实验结果表明,提出的方法优于现有融合方法,其中客观评价指标中的相关系数(correlation coefficient,CC)为0.9906,峰值信噪比(peak signal to noise ratio,PSNR)为32.1560 dB.此外,所提方法有效地融合了SAR图像和可见光图像的互补特征,为提高遥感图像融合的精度和有效性提供了一种有价值的思路和方法.

GLCrowd:基于全局-局部注意力的弱监督密集场景人群计数模型

针对人群计数在密集场景下存在背景复杂、尺度变化大等问题,提出了一种结合全局-局部注意力的弱监督密集场景人群计数模型——GLCrowd。首先,设计了一种结合深度卷积的局部注意力模块,通过上下文权重增强局部特征,同时结合特征权重共享获得高频局部信息。其次,利用Vision Transformer(ViT)的自注意力机制捕获低频全局信息。最后,将全局与局部注意力有效融合,并通过回归令牌来完成计数。在Shanghai Tech PartA、Shanghai Tech PartB、UCF-QNRF以及UCF_CC_50数据集上进行了模型测试,MAE分别达到了64.884、8.958、95.523、209.660,MSE分别达到了104.411、16.202、173.453、282.217。结果表明,提出的GLCrowd网络模型在密集场景下的人群计数中具有较好的性能。

基于全局注意力的正交融合图像描述符

图像描述符是计算机视觉任务重要研究对象,被广泛应用于图像分类、分割、识别与检索等领域。深度图像描述符在局部特征提取分支缺少高维特征的空间与通道信息的关联性,导致局部特征表达的信息不充分。为此,提出一种融合局部、全局特征的图像描述符,在局部特征提取分支进行膨胀卷积提取多尺度特征图,输出的特征拼接后经过含有多层感知器的全局注意力机制捕捉具有关联性的通道-空间信息,再加工后输出最终的局部特征;高维的全局分支经过全局池化和全卷积生成全局特征向量;提取局部特征在全局特征向量上的正交值与全局特征串联后聚合形成最终的描述符。同时,在特征约束方面,使用包含子类心的角域度损失函数增大模型在大规模数据集的鲁棒性。在国际公开数据集Roxford5k和Rparis6k上进行实验,所提出描述符的平均检索精度在medium和hard模式分别为81.87%和59.74%以及91.61%和79.12%,比深度正交融合描述符分别提升了1.70%,1.56%,2.00%和1.83%,较其他图像描述符具有更好的检索精度。

融合注意力谱非局部块的视网膜图像质量分级

视网膜图像质量评估(RIQA)是筛查糖尿病视网膜病变的关键组成部分之一。针对视网膜图像质量差异大且质量评估模型泛化能力不足等问题,提出一种融合注意力谱非局部块的多特征算法来对RIQA进行预测分级。首先采用融合光谱非局部块的ResNet50网络对输入图像进行特征提取;其次引入高效通道注意力用于提升模型对数据的表达能力,有效捕获通道间特征信息关系;再次利用特征迭代注意力融合模块对各局部特征信息融合;最后联合焦点损失和正则损失进一步提高质量分级的效果。在Eye-Quality数据集上准确率为88.59%,精确度为87.56%,敏感度和F1值分别为86.10%和86.74%。在RIQA-RFMiD数据集上准确率和F1值分别为84.22%和67.17%,仿真实验表明,文中算法对视网膜图像质量评估任务中具有较好的泛化能力。

基于三分支对抗学习和补偿注意力的红外和可见光图像融合

针对现有深度学习图像融合方法依赖卷积提取特征,并未考虑源图像全局特征,融合结果容易产生纹理模糊、对比度低等问题,本文提出一种基于三分支对抗学习和补偿注意力的红外和可见光图像融合方法。首先,生成器网络采用密集块和补偿注意力机制构建局部-全局三分支提取特征信息。然后,利用通道特征和空间特征变化构建补偿注意力机制提取全局信息,更进一步提取红外目标和可见光细节表征。其次,设计聚焦双对抗鉴别器,以确定融合结果和源图像之间的相似分布。最后,选用公开数据集TNO和RoadScene进行实验并与其他9种具有代表性的图像融合方法进行对比,本文提出的方法不仅获得纹理细节更清晰、对比度更好的融合结果,而且客观度量指标优于其他先进方法。

全局与局部多尺度特征融合晶圆缺陷分类网络

在半导体制造领域,晶圆缺陷分类是确保产品质量的重要步骤。然而,由于晶圆缺陷的多样性和复杂性,现有的混合型晶圆缺陷分类网络在准确性上仍然存在不足。针对这一问题,提出了一种基于全局和局部多尺度特征融合的混合型晶圆缺陷分类网络—MLG-Net。MLG-Net由3个主要模块组成:特征提取模块、全局分支和局部分支。该网络旨在更好地提取和利用晶圆缺陷图像的全局语义信息与局部细节特征,这两种特征通过多尺度特征融合技术相结合,最终形成一个更加全面的特征表示,有助于分类器在面对复杂混合缺陷时,做出更为准确的判断,从而提升分类精度。为了验证MLG-Net的有效性,在包含38种混合类型缺陷的数据集—MixedWM38上进行了大量实验,其分类准确度达到98.84%。结果表明,MLG-Net在综合性能上优于当前主流的六种晶圆缺陷分类方法。这一结果证明了全局与局部特征融合在处理混合型晶圆缺陷分类任务中的重要性和有效性。

基于面部全局抑郁特征局部感知力增强和全局-局部语义相关性特征融合的抑郁强度识别

现有基于深度学习的大多数方法在实现患者抑郁程度自动识别的过程中,主要存在两大挑战:(1)难以利用深度模型自动地从面部表情有效学习到抑郁强度相关的全局上下文信息,(2)往往忽略抑郁强度相关的全局和局部信息之间的语义一致性。为此,该文提出一种全局抑郁特征局部感知力增强和全局-局部语义相关性特征融合(PLEGDF-FGLSCF)的抑郁强度识别深度模型。首先,设计了全局抑郁特征局部感知力增强(PLEGDF)模块,用于提取面部局部区域之间的语义相关性信息,促进不同局部区域与抑郁相关的信息之间的交互,从而增强局部抑郁特征驱动的全局抑郁特征表达力。然后,提出了全局-局部语义相关性特征融合(FGLSCF)模块,用于捕捉全局和局部语义信息之间的关联性,实现全局和局部抑郁特征之间的语义一致性描述。最后,在AVEC2013和AVEC2014数据集上,利用PLEGDF-FGLSCF模型获得的识别结果在均方根误差(RMSE)和平均绝对误差(MAE)指标上的值分别是7.75/5.96和7.49/5.99,优于大多数已有的基准模型,证实了该方法的合理性和有效性。

基于特征融合和注意力的驾驶员吸烟目标检测

由于香烟目标较小,图像分辨率较低,目前传统的目标检测算法不足以支撑对香烟的检测,为警戒驾驶员在驾驶时吸烟出现的安全问题,提出一种驾驶员吸烟检测算法。结合SSD目标检测模型,在其骨干网络中引入CSP架构;利用反卷积操作,将有效特征层进行融合;在GAM注意力机制上改进其通道子模块,结合最大池化和平均池化,抑制与香烟不相关的特征。模型在自制驾驶员吸烟数据集上的识别mAP达94.93%,具有较好的鲁棒性以及泛化能力。

利用全局与局部帧级特征进行基于共享注意力的视频问答

视频问答是视觉理解领域中非常重要且具有挑战性的任务。目前的视觉问答(VQA)方法主要关注单个静态图片的问答,而现实生活中的数据是立体动态的视频。此外,由于问题的复杂性,视频问答任务必须根据问答问题恰当地处理多种视觉特征才能获得高质量的答案。文中提出了一个通过利用局部和全局帧级别的视觉信息来进行视频问答的多共享注意力网络。具体来说,以不同帧率提取视频帧,并以此提取帧级的全局与局部视觉特征,这两种特征包含了多个帧级别特征,用于对视频时间动态建模,再以共享注意力的形式建模全局与局部视觉特征的相关性,然后结合文本问题来推断答案。在天池视频问答数据集上进行了大量的实验,验证了所提方法的有效性。

基于全局-局部特征和自适应注意力机制的图像语义描述算法

为了探究图像底层视觉特征与高层语义概念存在的差异,提出可以确定图像关注重点、挖掘更高层语义信息以及完善描述句子的细节信息的图像语义描述算法.在图像视觉特征提取时提取输入图像的全局-局部特征作为视觉信息输入,确定不同时刻对图像的关注点,对图像细节的描述更加完善;在解码时加入注意力机制对图像特征加权输入,可以自适应选择当前时刻输出的文本单词对视觉信息与语义信息的依赖权重,有效地提高对图像语义描述的性能.实验结果表明,该方法相对于其他语义描述算法效果更有竞争力,可以更准确、更细致地识别图片中的物体,对输入图像进行更全面地描述;对于微小的物体的识别准确率更高.

融合局部特征与两阶段注意力权重学习的面部表情识别

面部的局部细节信息在面部表情识别中扮演重要角色,然而现有的方法大多只关注面部表情的高层语义信息而忽略了局部面部区域的细粒度信息。针对这一问题,提出一种融合局部特征与两阶段注意力权重学习的深度卷积神经网络FLF-TAWL(deep convolutional neural network fusing local feature and two-stage attention weight learning),它能自适应地捕捉重要的面部区域从而提升面部表情识别的有效性。该FLF-TAWL由双分支框架构成,一个分支从图像块中提取局部特征,另一个分支从整个表情图像中提取全局特征。首先提出了两阶段注意力权重学习策略,第一阶段粗略学习全局和局部特征的重要性权重,第二阶段进一步细化注意力权重,并将局部和全局特征进行融合;其次,采用一种区域偏向损失函数鼓励最重要的区域以获得较高的注意力权重。在FERPlus、Cohn-Kanada(CK+)以及JAFFE三个数据集上进行了广泛实验,分别获得90.92%、98.90%、97.39%的准确率,实验结果验证了FLF-TAWL模型的有效性和可行性。

基于卷积与自注意力的红外与可见光图像融合

由于卷积运算过于关注图像的局部特征,在对源图像进行融合时容易造成融合图像的全局语义信息丢失。为了解决该问题,提出一种基于卷积与自注意力的红外与可见光图像融合模型。该模型在使用卷积模块提取图像局部特征的同时,还使用自注意力来提取图像全局特征。此外,由于简单运算无法满足不同层次特征的融合,提出使用嵌入式块残差融合模块来实现多层次特征融合。实验结果表明,相比无监督深度融合算法,所提的方法在主观评价与6项客观指标上的结果具有一定优势。其中,互信息、标准差和视觉保真度分别提升了61.33%、9.96%和19.46%。

基于加权特征融合与局部特征注意的人种分类

为充分利用浅层特征中的细节纹理信息对人种特性的描述能力,挖掘具有区分性部位的表达特征对人种分类的作用,更好利用数据不同层次的特征与区分性部位以提供更具鲁棒性的人种信息,提出一种基于加权特征融合与局部特征注意的人种分类模型(weighted feature fusion and local feature attention model,WFLA)。模型设计加权特征融合模块增强浅层与深层特征的交互,构建局部特征注意模块重点关注区分性部位。在3个公开数据集中的大规模验证实验验证了WFLA模型在人种分类任务中具有明显优势。

全局情境约束和局部多因素融合的对话情感识别

文本对话情感识别是自然语言处理领域中的一项重要研究任务,旨在自动识别对话文本各语句情感。然而,现有研究多侧重于对话语句的语义表征或对话人关系建模,忽略了对话交互过程中情感动态演变的影响因素。文章提出一种全局情境约束和局部多因素融合的对话文本情感识别方法,该模型不仅考虑了对话全局语义,还深入挖掘和建模了对话情感演变的多影响因素。在公开数据集上的实验结果表明该方法识别对话情感的有效性。

基于非局部支持注意力的小样本目标检测算法

基于元学习的小样本目标检测算法研究的关键之处,是更好地利用支持分支的信息来更有效地帮助查询分支完成对新类目标的识别,较多算法在查询分支加入支持分支信息时只在深度方向进行融合,忽略了特征之间的空间位置关系。文中提出基于非局部支持注意力的小样本目标检测算法模型,该方法不仅在候选框特征中加入了支持信息,还将支持信息与送入候选框生成网络的特征进行融合,同时考虑了特征之间的空间位置关系,在检测模块中加入负支持样本的信息帮助模型区分异类目标。该模型在COCO2017数据集的基类和新类上均获得了良好的检测效果。在增量式学习的情况下,相比改进前,在新类AP(Average Precision)/AP_(50)/AP_(75)上分别增加了3.3/3.8/4.7 mAP(mean Average Precision),在基类AP/AP_(50)/AP_(75)上分别增加了2.7/0.5/3.3 mAP,并且超过了相同设置下SOTA(Sort-Of-The-Art)模型DAnA(Dual-Awareness Attention)的表现。

基于全局注意力多任务网络方法的CT图像细小骨折检测研究

目的:通过全局注意力多任务网络提升CT图像细小骨折检测的感知,通过多任务实现实例级别细小骨折目标的检测,快速、准确地从大量CT图像中识别并定位骨折,以辅助临床及时开展治疗。方法:引入分组非局部(non-local)网络方法,计算CT图像连续切片任何位置和通道之间的远程依赖关系,将多目标检测模型3D RetinaNet单级检测器与医学图像语义分割(3D U-Net)架构相融合,实现端到端的多任务3D卷积网络,以多任务联合的方式实现对细小骨折的实例级别检测。选择医学图像计算与计算机辅助干预(MICCAI)2020挑战赛提供的肋骨骨折公开数据集(Rib Frac Dataset)600例CT扫描图像,通过5∶1的比例划分为训练集(500例)和验证集(100例),测试多任务3D卷积网络的精度性能。结果:多任务3D卷积网络方法的检测精度性能优于单任务网络FracNet、3D RetinaNet及3D Retina U-Net,其平均精度与3D RetinaNet和3D Retina U-Net网络相比分别高出7.8%和11.4%,且优于3D Faster R-CNN、3D Mask R-CNN两种单任务网络检测方法,平均精度分别高出约6.7%和3.1%。结论:全局注意力多任务网络融合不同模块,对于细小骨折检测性能均有提升,引入分组非局部(Non-local)网络方法能够进一步提升对细小骨折目标的检测精度性能。