双注意力随机选择全局上下文细粒度识别网络

针对细粒度图像识别任务中易忽视微小潜在性特征且外观差异细微等问题,提出一种基于双注意力随机选择全局上下文细粒度识别网络。首先,使用ConvNeXt作为主干网络,提出双注意力随机选择模块,对不同阶段提取到的特征进行通道随机选择和空间随机选择,使网络能够关注到其他潜在微小判别性特征;其次,利用全局上下文注意力模块将深层特征的语义信息融合到中间层,增强中间层定位微小特征的能力;最后,提出一种多分支损失,对中间层、深层和拼接层特征引入分类损失,结合不同分支提取到的特征,诱导网络获得多样性的判别特征。所提网络在Stanford-cars、CUB-200-2011、FGVC-Aircraft 3个公开细粒度数据集和真实场景下车型数据集VMRURS上分别达到了95.2%、92.1%、94.0%和97.0%的识别准确率,其性能相比其他对比方法有较大幅度提升。

融合全局上下文注意力的遥感图像检测方法

针对遥感图像场景复杂、目标尺寸不一、且小尺寸目标过多导致的检测精度不佳和出现漏检等问题,提出了一种融合全局上下文注意力的目标检测算法。该算法提出一种全局上下文注意力机制和YOLOv5中C3结构融合的模块,以提升网络捕捉图像全局特征的能力;通过Varifocal Loss损失函数来提升对密集、尺寸小的目标的检测性能;采用基于归一化的注意力模块,降低图像中不太显著的特征和权重,使网络能够达到更高的检测准确率;利用动态卷积学习各个维度的信息,让训练得到的模型在降低GFLOPs情况下,同时保持检测精度提升。在NWPU VHR-10数据集上实验结果mAP为96.0%、准确率为98.2%、召回率为94.9%,较原YOLOv5模型分别提升了1.8%、4.7%和2.2%,证明了所改进YOLOv5方法的有效性。

基于上下文注意力的室外点云语义分割方法

基于直接点的语义分割方法能够避免因点云结构化处理所造成的信息损失,但未充分利用多尺度上下文特征,导致行人、自行车等小目标的分割精度降低。提出一种基于上下文注意力的点云语义分割方法,其由双向上下文注意力融合和上下文编码-通道自注意力模块组成。通过前向注意力通道进行邻近尺度特征融合,从而获得更多的浅层细粒度信息,而反向注意力通道进一步融合高层语义信息,以增强模型的上下文感知能力。为捕获全局上下文信息,设计上下文编码-通道自注意力模块,通过对多尺度特征进行编码,并为特征通道分配不同的权重,使网络更关注特定的通道特征,以减少特征的冗余。在SemanticKITTI和Semantic3D大规模室外点云数据集上的实验结果表明,该方法的平均交并比分别为55.0%和76.4%,其中在SemanticKITTI数据集上,相比基准方法RandLA-Net的行人和自行车交并比分别提高3.0和6.9个百分点,能有效捕获多尺度上下文信息,提高小目标的分割精度。

基于视觉关联与上下文双注意力的图像描述生成方法

图像描述生成有着重要的理论意义与应用价值,在计算机视觉与自然语言处理领域皆受到广泛关注.基于注意力机制的图像描述生成方法,在同一时刻融合当前词和视觉信息以生成目标词,忽略了视觉连贯性及上下文信息,导致生成描述与参考描述存在差异.针对这一问题,提出一种基于视觉关联与上下文双注意力机制的图像描述生成方法(visual relevance and context dual attention, VRCDA).视觉关联注意力在传统视觉注意力中增加前一时刻注意力向量以保证视觉连贯性,上下文注意力从全局上下文中获取更完整的语义信息,以充分利用上下文信息,进而指导生成最终的图像描述文本.在MSCOCO和Flickr30k两个标准数据集上进行了实验验证,结果表明所提出的VRCDA方法能够有效地生成图像语义描述,相比于主流的图像描述生成方法,在各项评价指标上均取得了较高的提升.

基于上下文注意力CNN的三维点云语义分割

针对三维点云语义分割中缺乏结合点云的上下文细粒度信息导致的欠分割问题,提出一种基于上下文注意力卷积神经网络的三维点云语义分割算法。首先,通过注意力编码机制挖掘点云的局部区域内细粒度特征;然后,通过上下文循环神经网络编码机制捕捉多尺度局部区域之间的上下文特征,且与细粒度局部特征相互补偿;最后,采用多头部机制增强网络的泛化能力。实验结果表明,所提算法在ShapeNet Parts、S3DIS和vKITTI标准数据集上的平均交并比分别为85.4%、56.7%和38.1%,分割性能良好,且具有较好的泛化能力。

结合上下文注意力的卷积自校正图像语义分割

针对现有图像语义分割中存在小目标对象分割精度不高等问题,提出一种结合上下文注意力的卷积自校正图像语义分割模型。使用上下文注意力机制挖掘局部区域内细粒度特征,结合上下文循环神经网络和残差学习充分挖掘图像的深层隐含语义特征;构建辅助分割模型,在给定图像和边界框注释的情况下生成每像素的标签分布,提出卷积自校正模型,实现分割模型的动态调整。基于3种数据集对所提模型的分割精度进行实验论证,实验结果表明,所提模型的分割精度与分割效果均明显高于其它模型,具有良好的泛化能力。

联合上下文注意力机制的水位检测算法分析

智能水位监测有助于及时的水资源管控和灾情防范。针对拍摄视角不同、恶劣天气和水面污染等问题,提出联合上下文注意力机制的水位检测算法,基于上下文注意力机制的UNet模型(CAM-UNet)和最小二乘多项式拟合函数,实现复杂背景下的水位信息远端智能获取。结果表明,在摄像头安装错位、镜头抖动及水面脏污等干扰造成水位定位困难的情况下,所提算法能够准确分割水位线,并在不依赖于水尺装置的情况下,将水位像素高度低偏差映射到实际高度,测定保证率和最大偏差符合《水位观测标准》。研究结果对解决复杂监控场景中的实时水位准确检测难题及洪涝预警具有重要应用价值。

基于特征聚合和传播网络的图像超分辨率重建

基于深度学习的图像超分辨率重建通过网络加深提升图像重建性能,但复杂网络会导致参数量急剧增加,限制其在资源受限设备上的应用.针对此问题,文中提出基于特征聚合和传播网络的图像超分辨率重建方法,采用逐步提取融合特征的方式获取图像丰富的内部信息.首先,提出上下文交互注意力模块,使网络学习到特征图丰富的上下文信息,提高特征的利用率.然后,设计多维注意力增强模块,提高网络对关键特征的判别能力,分别在通道和空间两个维度提取高频信息.最后,提出特征聚合传播模块,有效聚合深层细节信息,去除冗余信息,并促进有效信息在网络中传播.在Set5、Set14、BSD100、Urban100等基准数据集上的测试实验表明,文中方法性能较优,重建后的图像细节纹理较清晰.

面向船闸船舶的在线多目标跟踪技术研究

目的 满足船闸船舶在线跟踪要求,改善由于复杂背景、遮挡等因素导致轨迹不连续和身份变更的问题,提出一种增强上下文联系和上下文注意力的多目标跟踪方法。方法 基于设计的在线系统,采集连续帧图像,改进FairMOT多目标跟踪模型。首先,通过在骨干网络设计基于Bottleneck和Contextual Transformer的上下文建模模块,以加强上下文联系,增强场景理解的能力。其次,在迭代聚合后的特征图上应用全局上下文注意力,提高定位船舶目标的能力。结果 相对于原生的Fair MOT方法,设计上下文建模模块后,多目标跟踪准确度指标MOTA提高2.1%,继续添加全局上下文注意力MOTA,共计提高3.5%,同时在多项指标中取得了最佳表现。结论 改进的Fair MOT方法不仅拥有更强的轨迹保持能力,而且在身份维持方面更胜一筹。

基于图文关联与上下文引导的军事新闻图集描述生成方法

传统的图像描述生成方法由于缺少现实世界的先验知识,生成的描述文本不具有解释性,同时在某些专业领域生成的描述文本准确性不高。针对上述问题,提出了军事新闻图集描述生成任务,还构建了军事新闻图集数据集。该任务存在2个关键挑战:描述信息来源于整个图集和对应的新闻文本中,模型学习到的语义不够充分。进一步提出了一种基于图文关联与上下文引导的军事新闻图集描述生成方法ITRCG。基于ITRCG实现跨模态信息交互,引导模型学习更完整的语义,并通过标签清理辅助命名实体生成。在构建的军事新闻图集数据集上进行了验证实验,结果表明ITRCG能够有效提高描述文本的质量,在各项评价指标上均取得了提升。

改进YOLOv5的交通标志检测算法

交通标志检测在自动驾驶、辅助驾驶等智能交通系统已得到广泛应用,其检测性能关乎到行车安全。针对现有目标检测算法对图像中尺寸小、分辨率低和特征不明显的交通标志检测效果较差的问题,提出了一种基于改进YOLOv5s的交通标志检测算法。将原算法中80×80小感受野目标检测层改为感受野更小的160×160检测层,提高网络模型对交通标志小目标的检测能力,降低小目标的漏检率;构建了注意力上下文模块(attention context module,ACM),对各分支获取不同的感受野,得到目标及其相邻区域的特征信息,并且使用注意力机制,让网络更关注于图像中的交通标志,避免受其他复杂信息的影响;加入特征融合模块(feature fusion module,FFM),过滤不同层上的无用信息,只保留对模型检测交通标志有用的信息;加入隐性知识,对检测层进行输出细化。实验结果表明,改进后的算法在CCTSDB交通标志检测数据集上召回率和平均精度达到94.7%、97.6%,相比原模型均有提升,在中远距离小目标检测下效果改善明显,同时检测速度为47.3 FPS,满足实时性要求。

渐进式深度网络下盲运动图像去模糊方法

针对盲运动图像去模糊任务中渐进式深度神经网络缺少大范围感受野和难以合理交互各阶段图像特征的问题,提出具有扩张卷积和上下文注意力融合模块(contextual attention fusion module,CAFM)的渐进式深度网络(progressive depth network,PDNet)恢复清晰图像。该方法包括局部特征提取、图像特征整合和图像恢复3个阶段。其中局部特征提取阶段和图像特征整合阶段利用多分支扩张卷积模块(multi-branch dilated convolution block,MDCB)增加感受野,适应不同程度的运动模糊;在图像特征整合阶段和图像恢复阶段利用CAFM进行不同阶段图像特征的信息交互,以实现渐进式的图像特征增强。通过3个阶段的渐进式增强策略,提出的方法能充分利用局部和全局图像特征引导图像恢复,从而生成清晰的高质量图像。实验结果表明:与SRN等网络相比,提出的PDNet在GoPro数据集和RealBlur-J数据集上得到更好的效果,且峰值信噪比(peak signal to noise ratio,PSNR)平均提升2.9 dB,结构相似度(structural similarity index measure,SSIM)平均提升0.05。

基于改进生成对抗网络的书法字生成算法

针对生成对抗网络生成字体存在笔画缺失、字形结构错乱、图像模糊与质量差的问题,提出改进zi2zi生成对抗网络的书法字生成算法.在编码器中引入卷积核为1的残差块,提高生成器提取书法字体细节特征的能力,通过增加上下文感知注意力结构提取书法字体的风格特征.在判别器中利用谱归一化增强模型的稳定性,避免因模型训练不稳定而带来的模式崩塌.采用最小绝对误差L1范数约束生成字体边缘特征,使得字体轮廓更加清晰,最终生成2种风格的书法字.颜真卿楷书与赵孟頫行书目标风格数据集的测试结果表明,提出算法的主观客观评价结果均优于对比算法,与zi2zi相比,峰值信噪比分别提高了1.58、1.76 dB,结构相似性分别提高了5.66%、6.91%,感知相似性分别降低了4.21%、6.20%.

产品表面缺陷检测的多通路阈值收缩融合网络

产品表面缺陷检测任务的重点是对产品表面图像中的异常缺陷区域进行自动检测和分割。然而实际应用中,由于噪声的退化影响和缺陷类型的复杂多样,产品表面缺陷检测仍然是一项具有挑战性的任务。为了应对这些问题,提出了产品表面缺陷检测的多通路阈值收缩融合网络。在各尺度通路中,为了降低噪声干扰,该网络设计了自适应阈值收缩去噪模块,通过双支路自主学习水平和垂直方向的收缩阈值,去除特征中的干扰噪声并且保留有效背景信息,从而实现自适应去噪。为了更准确定位缺陷对象,设计了上下文三维注意力融合模块,通过水平聚合和垂直聚合生成三维注意力图,增强异常区域特征。最终将平行的多尺度特征融合,实现对不同尺度以及不同类型缺陷的有效检测。将所构建模型在SD-900和MVTec-AD数据集上与最新的8种方法进行比较,实验结果表明该模型能够有效提升检测精度,并能够对噪声干扰保持鲁棒性,消融实验也验证了自适应阈值收缩去噪模块和上下文三维注意力模块融合的有效性。

面向苹果叶部病害识别的细粒度蒸馏模型

为了提高轻型卷积神经网络(convolutional neural networks,CNN)在苹果叶部病害识别中的精度,使其更加适于布署到智慧农业移动终端,该研究设计了一种细粒度知识蒸馏(fine-grained knowledge distillation,FGKD)模型。首先,利用上下文信息与空间-语义关系分别设计了上下文空间注意力(spatial attention,SA)与细粒度特征提取(fine-grained feature extraction,FGFE)模块,且将它们嵌入到Resnet50与设计的轻型CNN,分别作为教师与学生网络;然后,构造SA与FGFE知识蒸馏损失函数,以将教师网络中的特征提取与细粒度知识表示能力迁移到学生网络之中,以增强其对苹果叶部病害图像的局部特征提取能力与高层语义表达能力,使轻型学生网络在参数量很小的条件下,其性能接近复杂的教师网络。基于标准苹果叶部病害数据集的对比试验结果表明,经知识蒸馏之后的学生网络精度为98.60%,模型参数量仅0.75 MB,平均推理时间为25.51 ms,能够有效地满足实际智慧农业移动端对模型的需求,快速准确地实现苹果叶部病害自动识别。

交叉门控融合的改进语义分割网络及应用

针对太阳能电池表面的断栅、划痕、黑斑等导致的缺陷分割精度差的问题,提出一种交叉门控融合的改进语义分割网络。使用门控机制选择性地融合网络中的多尺度信息,充分利用底层细节信息和高层语义信息,增强微小缺陷的特征表示,并结合上下文模块提高获取全文信息的能力。为了进一步解决太阳能电池缺陷边缘信息弱的问题,引入PointRend模块对缺陷边缘的点进行采样,对边缘中不确定的点实行自适应细分策略,实现对缺陷边缘的精细分割。实验结果表明:所提方法在太阳能EL组件电池数据集上的mIoU达到了65.53%。和现有的语义分割算法相比,所提方法能够有效细化目标边界,更好地处理微小微弱缺陷。

基于深度神经网络的多视角人体动作识别

为提高多视角人体动作识别的精度,提出了一种新的深度神经网络模型——CNN+CA(Convolutional Neural Networkplus Context Attention)模型和一种基于序列匹配的识别方法。利用卷积神经网络自动学习出多视角融合特征;引入上下文注意力模块自动突出特征中有利于识别的区域,进一步提高特征的判别力;通过基于序列匹配的方法实现人体动作识别。在IXMAS数据集和i3DPost数据集上的实验结果表明,所提方法在识别精度上超过了其他同类方法。

基于并行对抗与多条件融合的生成式高分辨率图像修复

现有的图像修复算法经常会有伪影、语义不准等问题出现,对于缺失较大、分辨率较高的图像,修复效果有限.为此,文中提出基于并行对抗与多条件融合的二阶图像修复网络.首先,利用改进的深度残差网络对缺失图像进行生成式像素填充,并利用第一阶对抗网络补全边缘.然后,提取填充图颜色特征,融合补全边缘图,将融合图作为第二阶对抗网络的条件标签.最后,通过带上下文注意力模块的第二阶网络得到修复结果.在多个数据集上的实验表明,文中算法可获得较逼真的修复效果.

一种用于答案选择的知识增强混合神经网络

答案选择是问答领域中一项重要的子任务,该任务旨在从候选答案集中选择出正确的答案.传统的模型主要依靠人工提取问答之间的语义相似度特征,并通过分类器或排名算法选择最匹配的答案.近年来的研究工作主要基于深度神经网络自动提取问答的语义相似度特征,并在问答匹配精度上取得了巨大的进步.但是,大多数深度神经网络模型依赖单一的神经网络来获取问答的语义表征,且未充分考虑问答在语义表征上的相互影响,无法充分挖掘问答之间的语义相似信息.针对上述问题,本文提出了一个知识增强的混合神经网络模型KE-HNN(Knowledge-enhanced Hybrid Neural Network). KE-HNN模型采用卷积神经网络CNN(Convolutional Neural Network)和双向长短期记忆网络Bi-LSTM(Bi-directional Long Short-Term Memory Network)构成的混合神经网络获取问答的上下文语义信息;利用多头注意力机制使模型关注于问题和候选答案语句中的关键部分;融合外部知识库并引入文本指导注意力卷积神经网络精确提取与问答相关的知识表征信息,从而增强问答的细粒度语义特征表示.Trec-QA数据集上的实验结果表明,与基准模型相比,本文所提出的KE-HNN模型获得了领先的性能.

基于生成对抗网络的破损老照片修复

提出一种基于生成对抗网络的破损老照片修复方法。生成器基于U-Net网络,采用局部卷积代替所有的卷积层,仅对有效像素进行操作,不仅避免传统常规卷积所造成的色彩不协调和模糊等问题,而且能够修复任意非中心不规则的破损区域。考虑对长距离特征信息的依赖,在生成网络解码阶段加入上下文注意力模块,以保持语义连贯性。此外,生成器的损失函数除了基础的对抗损失以外,还加入了感知损失、风格损失和重构损失,以增强网络稳定性。在CelebA-HQ数据集和真实破损老照片上进行实验,实验结果表明,该方法不受破损情况的限制,对破损老照片可以达到不错的修复效果。