融合全局上下文注意力的遥感图像检测方法

针对遥感图像场景复杂、目标尺寸不一、且小尺寸目标过多导致的检测精度不佳和出现漏检等问题,提出了一种融合全局上下文注意力的目标检测算法。该算法提出一种全局上下文注意力机制和YOLOv5中C3结构融合的模块,以提升网络捕捉图像全局特征的能力;通过Varifocal Loss损失函数来提升对密集、尺寸小的目标的检测性能;采用基于归一化的注意力模块,降低图像中不太显著的特征和权重,使网络能够达到更高的检测准确率;利用动态卷积学习各个维度的信息,让训练得到的模型在降低GFLOPs情况下,同时保持检测精度提升。在NWPU VHR-10数据集上实验结果mAP为96.0%、准确率为98.2%、召回率为94.9%,较原YOLOv5模型分别提升了1.8%、4.7%和2.2%,证明了所改进YOLOv5方法的有效性。

基于上下文注意力CNN的三维点云语义分割

针对三维点云语义分割中缺乏结合点云的上下文细粒度信息导致的欠分割问题,提出一种基于上下文注意力卷积神经网络的三维点云语义分割算法。首先,通过注意力编码机制挖掘点云的局部区域内细粒度特征;然后,通过上下文循环神经网络编码机制捕捉多尺度局部区域之间的上下文特征,且与细粒度局部特征相互补偿;最后,采用多头部机制增强网络的泛化能力。实验结果表明,所提算法在ShapeNet Parts、S3DIS和vKITTI标准数据集上的平均交并比分别为85.4%、56.7%和38.1%,分割性能良好,且具有较好的泛化能力。

基于上下文注意力的室外点云语义分割方法

基于直接点的语义分割方法能够避免因点云结构化处理所造成的信息损失,但未充分利用多尺度上下文特征,导致行人、自行车等小目标的分割精度降低。提出一种基于上下文注意力的点云语义分割方法,其由双向上下文注意力融合和上下文编码-通道自注意力模块组成。通过前向注意力通道进行邻近尺度特征融合,从而获得更多的浅层细粒度信息,而反向注意力通道进一步融合高层语义信息,以增强模型的上下文感知能力。为捕获全局上下文信息,设计上下文编码-通道自注意力模块,通过对多尺度特征进行编码,并为特征通道分配不同的权重,使网络更关注特定的通道特征,以减少特征的冗余。在SemanticKITTI和Semantic3D大规模室外点云数据集上的实验结果表明,该方法的平均交并比分别为55.0%和76.4%,其中在SemanticKITTI数据集上,相比基准方法RandLA-Net的行人和自行车交并比分别提高3.0和6.9个百分点,能有效捕获多尺度上下文信息,提高小目标的分割精度。

结合上下文注意力的卷积自校正图像语义分割

针对现有图像语义分割中存在小目标对象分割精度不高等问题,提出一种结合上下文注意力的卷积自校正图像语义分割模型。使用上下文注意力机制挖掘局部区域内细粒度特征,结合上下文循环神经网络和残差学习充分挖掘图像的深层隐含语义特征;构建辅助分割模型,在给定图像和边界框注释的情况下生成每像素的标签分布,提出卷积自校正模型,实现分割模型的动态调整。基于3种数据集对所提模型的分割精度进行实验论证,实验结果表明,所提模型的分割精度与分割效果均明显高于其它模型,具有良好的泛化能力。

融合上下文注意力的两段式生成对抗网络的肺结节图像生成与分类

提出一种融合上下文注意力的两段式生成对抗网络用于肺结节生成和分类。上下文注意力采用一种通道增强的多头上下文注意力机制,将通道注意力和多头上下文注意力结合,更好地处理特征图中的复杂语义关系,有效增强了模型的特征提取能力;两段式生成对抗网络框架用于实现肺结节在指定肺部区域的注入,该框架将生成任务分为两个阶段:第一阶段生成肺结节感兴趣区域图像,然后通过泊松融合模块与指定的肺实质进行融合,生成初始样本;第二阶段使用改进的CycleGAN模型对初始样本进行微调。同时,在判别器中引入跨层激励模块和辅助分类器实现对特征通道的再校正以及对肺结节的分类。在LIDC-IDRI数据集上进行实验验证,实验结果表明,所提方法在肺结节生成上的FID、IS和KID评分分别为115.153、2.619±0.095和0.062;在肺结节恶性度分类上准确率为70.23%,灵敏度、F1值和AUC分别为68.66%、68.92%和87.59%,表现出优于ADGAN等基于GAN的分类模型,以及VGG16等基准网络的性能。

基于上下文注意力的自适应低光照图像增强网络

在照明环境不良的情况下获取到的图像具有可见性低、对比度差、色彩失真以及噪声等问题,严重地干扰了其在后期图像处理中的使用。为了改善这种情况下采集图像的质量,以获得图像中更多有用的信息,针对上述存在的问题,提出了基于上下文注意力的自适应低光照图像增强方法。该方法首先通过卷积对图像进行初步的特征提取,获得四个不同上下文信息的特征;再利用含有像素和通道注意力机制的特征增强模块对提取出的特征进行提炼;最后将学习到的增强特征输入自适应融合调节模块与前面的浅层特征进行融合调节,恢复出符合真实光照的图片。实验结果表明:相比较于一些经典算法,所提出的方法在主观视觉感受上及客观评价指标(PSNR,SSIM,MAE)上均能够得到较好提升。

双注意力随机选择全局上下文细粒度识别网络

针对细粒度图像识别任务中易忽视微小潜在性特征且外观差异细微等问题,提出一种基于双注意力随机选择全局上下文细粒度识别网络。首先,使用ConvNeXt作为主干网络,提出双注意力随机选择模块,对不同阶段提取到的特征进行通道随机选择和空间随机选择,使网络能够关注到其他潜在微小判别性特征;其次,利用全局上下文注意力模块将深层特征的语义信息融合到中间层,增强中间层定位微小特征的能力;最后,提出一种多分支损失,对中间层、深层和拼接层特征引入分类损失,结合不同分支提取到的特征,诱导网络获得多样性的判别特征。所提网络在Stanford-cars、CUB-200-2011、FGVC-Aircraft 3个公开细粒度数据集和真实场景下车型数据集VMRURS上分别达到了95.2%、92.1%、94.0%和97.0%的识别准确率,其性能相比其他对比方法有较大幅度提升。

联合上下文注意力机制的水位检测算法分析

智能水位监测有助于及时的水资源管控和灾情防范。针对拍摄视角不同、恶劣天气和水面污染等问题,提出联合上下文注意力机制的水位检测算法,基于上下文注意力机制的UNet模型(CAM-UNet)和最小二乘多项式拟合函数,实现复杂背景下的水位信息远端智能获取。结果表明,在摄像头安装错位、镜头抖动及水面脏污等干扰造成水位定位困难的情况下,所提算法能够准确分割水位线,并在不依赖于水尺装置的情况下,将水位像素高度低偏差映射到实际高度,测定保证率和最大偏差符合《水位观测标准》。研究结果对解决复杂监控场景中的实时水位准确检测难题及洪涝预警具有重要应用价值。

基于视觉关联与上下文双注意力的图像描述生成方法

图像描述生成有着重要的理论意义与应用价值,在计算机视觉与自然语言处理领域皆受到广泛关注.基于注意力机制的图像描述生成方法,在同一时刻融合当前词和视觉信息以生成目标词,忽略了视觉连贯性及上下文信息,导致生成描述与参考描述存在差异.针对这一问题,提出一种基于视觉关联与上下文双注意力机制的图像描述生成方法(visual relevance and context dual attention, VRCDA).视觉关联注意力在传统视觉注意力中增加前一时刻注意力向量以保证视觉连贯性,上下文注意力从全局上下文中获取更完整的语义信息,以充分利用上下文信息,进而指导生成最终的图像描述文本.在MSCOCO和Flickr30k两个标准数据集上进行了实验验证,结果表明所提出的VRCDA方法能够有效地生成图像语义描述,相比于主流的图像描述生成方法,在各项评价指标上均取得了较高的提升.

基于图文关联与上下文引导的军事新闻图集描述生成方法

传统的图像描述生成方法由于缺少现实世界的先验知识,生成的描述文本不具有解释性,同时在某些专业领域生成的描述文本准确性不高。针对上述问题,提出了军事新闻图集描述生成任务,还构建了军事新闻图集数据集。该任务存在2个关键挑战:描述信息来源于整个图集和对应的新闻文本中,模型学习到的语义不够充分。进一步提出了一种基于图文关联与上下文引导的军事新闻图集描述生成方法ITRCG。基于ITRCG实现跨模态信息交互,引导模型学习更完整的语义,并通过标签清理辅助命名实体生成。在构建的军事新闻图集数据集上进行了验证实验,结果表明ITRCG能够有效提高描述文本的质量,在各项评价指标上均取得了提升。

基于BERT的双特征融合注意力的方面情感分析模型

方面情感分析旨在预测句子或文档中一个特定方面的情感极性,现阶段大部分的研究都是使用注意力机制对上下文进行建模。然而,目前情感分类模型在使用BERT模型计算表征之间的依赖关系抽取特征时,大多未根据不同的语境背景考虑上下文信息,导致建模后的特征缺乏上下文的语境信息。同时,方面词的重要性未能得到充分的重视而影响模型整体分类的性能。针对上述问题,提出双特征融合注意力方面情感分析模型(DFLGA-BERT),分别设计了局部与全局的特征抽取模块,充分捕捉方面词和上下文的语义关联。并将一种改进的“准”注意力添加到DFLGA-BERT的全局特征抽取器中,使模型学习在注意力的融合中使用减性注意力以削弱噪声产生的负面影响。基于条件层规泛化(CLN)设计了局部特征和全局特征的特征融合结构来更好地融合局部和全局特征。在SentiHood和SemEval 2014 Task 4数据集上进行了实验,实验结果表明,与基线模型相比该模型在融入了上下文语境特征后取得了较明显的性能提升。

基于高斯偏置自注意力和交叉注意力的医学图像分割模型

为解决医学图像分割中目标之间存在特征差异、不同切片图像中存在同一解剖结构的相似表征和器官与背景的区分度低造成冗余信息过多的问题,提出了一种基于高斯偏置自注意力和交叉注意力的网络模型(Gaussian bias and Contextual cross Attention U-Net,GCA-UNet)。采用残差模块建立空间先验假设,通过高斯偏置自注意力&外注意力模块的高斯偏置自注意力来学习空间先验假设和强化相邻区域的特征表示,并利用外注意力机制学习同一样本下不同切片之间的相关性;上下文交叉注意力门控利用多尺度特征提取来强化结构和边界信息,同时对上下文语义信息进行重新校准并筛除冗余信息。实验结果表明,在Synapse腹腔CT多器官分割数据集和ACDC心脏MRI数据集上,GCA-UNet网络的分割精度指标Mean Dice分别达到了81.37%和91.69%,在Synapse数据集上边界分割精度指标Mean hd95达到16.01。相比其他先进医学影像分割模型,GCA-Unet分割精度更高,具有更清晰的组织边界。

基于多尺度混合注意力的行人重识别模型

针对目前行人重识别中复杂背景下人物容易被遮挡物掩盖和人物特征不明显导致模型难以提取重点特征的问题,提出一种基于多尺度混合注意力的行人重识别模型。在特征提取部分,设计一种特征提取模块,即多尺度混合注意力残差块,通过该模块可得到丰富上下文关系,在频域范围内获得更丰富的通道特征信息。通过在大型数据集Market1501、DukeMTMC-reID、CUHK03-L、CUHK03-D上的验证,行人重识别的精度得到了有效提升,与目前先进的模型结果对比,mAP精度提升了0.3%、2.1%、0.7%、2.9%,Rank1在DukeMTMC-reID、CUHK03-L数据集提升了0.2%、0.8%。

面向船闸船舶的在线多目标跟踪技术研究

目的 满足船闸船舶在线跟踪要求,改善由于复杂背景、遮挡等因素导致轨迹不连续和身份变更的问题,提出一种增强上下文联系和上下文注意力的多目标跟踪方法。方法 基于设计的在线系统,采集连续帧图像,改进FairMOT多目标跟踪模型。首先,通过在骨干网络设计基于Bottleneck和Contextual Transformer的上下文建模模块,以加强上下文联系,增强场景理解的能力。其次,在迭代聚合后的特征图上应用全局上下文注意力,提高定位船舶目标的能力。结果 相对于原生的Fair MOT方法,设计上下文建模模块后,多目标跟踪准确度指标MOTA提高2.1%,继续添加全局上下文注意力MOTA,共计提高3.5%,同时在多项指标中取得了最佳表现。结论 改进的Fair MOT方法不仅拥有更强的轨迹保持能力,而且在身份维持方面更胜一筹。

基于特征聚合和传播网络的图像超分辨率重建

基于深度学习的图像超分辨率重建通过网络加深提升图像重建性能,但复杂网络会导致参数量急剧增加,限制其在资源受限设备上的应用.针对此问题,文中提出基于特征聚合和传播网络的图像超分辨率重建方法,采用逐步提取融合特征的方式获取图像丰富的内部信息.首先,提出上下文交互注意力模块,使网络学习到特征图丰富的上下文信息,提高特征的利用率.然后,设计多维注意力增强模块,提高网络对关键特征的判别能力,分别在通道和空间两个维度提取高频信息.最后,提出特征聚合传播模块,有效聚合深层细节信息,去除冗余信息,并促进有效信息在网络中传播.在Set5、Set14、BSD100、Urban100等基准数据集上的测试实验表明,文中方法性能较优,重建后的图像细节纹理较清晰.

渐进式深度网络下盲运动图像去模糊方法

针对盲运动图像去模糊任务中渐进式深度神经网络缺少大范围感受野和难以合理交互各阶段图像特征的问题,提出具有扩张卷积和上下文注意力融合模块(contextual attention fusion module,CAFM)的渐进式深度网络(progressive depth network,PDNet)恢复清晰图像。该方法包括局部特征提取、图像特征整合和图像恢复3个阶段。其中局部特征提取阶段和图像特征整合阶段利用多分支扩张卷积模块(multi-branch dilated convolution block,MDCB)增加感受野,适应不同程度的运动模糊;在图像特征整合阶段和图像恢复阶段利用CAFM进行不同阶段图像特征的信息交互,以实现渐进式的图像特征增强。通过3个阶段的渐进式增强策略,提出的方法能充分利用局部和全局图像特征引导图像恢复,从而生成清晰的高质量图像。实验结果表明:与SRN等网络相比,提出的PDNet在GoPro数据集和RealBlur-J数据集上得到更好的效果,且峰值信噪比(peak signal to noise ratio,PSNR)平均提升2.9 dB,结构相似度(structural similarity index measure,SSIM)平均提升0.05。

基于深度神经网络的多视角人体动作识别

为提高多视角人体动作识别的精度,提出了一种新的深度神经网络模型——CNN+CA(Convolutional Neural Networkplus Context Attention)模型和一种基于序列匹配的识别方法。利用卷积神经网络自动学习出多视角融合特征;引入上下文注意力模块自动突出特征中有利于识别的区域,进一步提高特征的判别力;通过基于序列匹配的方法实现人体动作识别。在IXMAS数据集和i3DPost数据集上的实验结果表明,所提方法在识别精度上超过了其他同类方法。

基于并行对抗与多条件融合的生成式高分辨率图像修复

现有的图像修复算法经常会有伪影、语义不准等问题出现,对于缺失较大、分辨率较高的图像,修复效果有限.为此,文中提出基于并行对抗与多条件融合的二阶图像修复网络.首先,利用改进的深度残差网络对缺失图像进行生成式像素填充,并利用第一阶对抗网络补全边缘.然后,提取填充图颜色特征,融合补全边缘图,将融合图作为第二阶对抗网络的条件标签.最后,通过带上下文注意力模块的第二阶网络得到修复结果.在多个数据集上的实验表明,文中算法可获得较逼真的修复效果.

基于生成对抗网络的破损老照片修复

提出一种基于生成对抗网络的破损老照片修复方法。生成器基于U-Net网络,采用局部卷积代替所有的卷积层,仅对有效像素进行操作,不仅避免传统常规卷积所造成的色彩不协调和模糊等问题,而且能够修复任意非中心不规则的破损区域。考虑对长距离特征信息的依赖,在生成网络解码阶段加入上下文注意力模块,以保持语义连贯性。此外,生成器的损失函数除了基础的对抗损失以外,还加入了感知损失、风格损失和重构损失,以增强网络稳定性。在CelebA-HQ数据集和真实破损老照片上进行实验,实验结果表明,该方法不受破损情况的限制,对破损老照片可以达到不错的修复效果。

局部与全局特征融合的方面情感分析网络模型

方面情感分析旨在预测句子或文档中一个特定方面的情感极性。最近大部分的研究都是通过使用注意力机制及外部语义知识对全局上下文进行建模,以完成这项工作。方面的情感极性往往取决于与方面高度相关的局部上下文,但大多数模型将过多的注意力集中于全局上下文,这使得模型的参数量普遍比较大,导致计算量也随之增大。为此,提出一种基于多头注意力机制的轻量化网络模型——局部与全局特征融合网络模型。首先,使用双向门控循环单元来对上下文进行编码。其次,根据与方面项的语义相关距离掩蔽掉与方面项相关度较小的上下文词,以此得到局部上下文表示。最后,通过多头Aspect-aware注意力网络对局部和全局上下文分别进行提取,将两者提取的结果进行结合。此外,还将预先训练的BERT应用于这项任务,并获得了更好的结果。在三个数据集Twitter、Laptop、Restaurant上进行实验,采用Accuracy和F1指标进行评估。实验结果表明,该模型在参数量较小的情况下,取得了比其他基于方面的情感分类算法更好的结果。