基于金字塔注意力机制的遥感图像超分辨率网络

针对超分辨率算法重建的遥感图像细节等信息丢失的问题,为保证遥感重建图像包含较多的纹理、高频信息,在生成对抗网络基础上提出一种基于金字塔注意力机制的遥感图像超分辨率网络。设计了一种全新的金字塔双重注意力模块,包括通道注意力网络和空间注意力网络。通道注意力网络中采用金字塔池化取代平均池化和最大池化,该结构设计从全局和局部信息角度出发增强特征表述能力;空间注意力网络则采用大尺度卷积,以加强局部信息的提取程度,可有效提取纹理、高频等信息。设计密集多尺度特征模块,利用非对称卷积提取不同尺度的特征信息,通过密集连接融合多层级尺度特征以加强纹理、高频等信息的提取精度。在公开的NWPU-RESISC45数据集上进行实验验证,实验结果分析表明,该算法在主观视觉效果和客观评价指标上均优于对比方法,重建性能相对较好。

基于双重注意力与精确特征分布匹配的车辆重识别

为了解决目前车辆重识别方法细粒度特征提取能力弱、域泛化能力差的问题,提出了一种基于双重注意力与精确特征分布匹配的车辆重识别方法。提出一种新的双重注意力机制,使用WideResNet50与双重注意力模块构建多细粒度特征提取网络的前置部分,用于高效建模全局上下文信息并增强对车辆细粒度特征的提取能力。将基于精确特征分布匹配的风格迁移策略融入浅层主干来增强源域的域多样性,实现数据增广,从而有效提升车辆重识别的跨域性能和特征表达能力。提出了一种逐深度多尺度特征金字塔结构来加强特征提取,整合不同尺度特征层的多层次信息,并将该结构输出的车辆特征采用特征图分割的思想来突出局部细粒度信息,提升模型对车辆细粒度信息的敏感度。引入Tuplet边际损失来缓解最困难样本的过拟合问题。在两个大型基准车辆数据集VeRi-776和VehicleID上的实验结果表明,所提出算法在单域和跨域任务上都具有较好的重识别效果。

基于特征金字塔分支和非局部关注的行人重识别

关注全局轮廓和行人局部细节对现有行人重识别方法非常重要。为了能够提取这些更具代表性的特征,提出一种基于特征金字塔分支和非局部关注模块的行人重识别网络方法来提取行人全局和局部表征特征。该方法首先引入一种轻量级别的特征金字塔分支结构,从不同的网络层中提取特征,并且聚合成一个双向金字塔结构。其次为进一步提高行人重识别的精度,使用非局部关注模块提取全局特征,这样既能获取行人的全局信息,又能注重行人的局部细节,使两者最终融合的特征更具代表性。最后将不同层间的特征融合起来,并使用联合损失函数策略对网络模型进行训练,显著提高骨干网络的性能。通过在MSMT17、Market1501、DukeMTMC-ReID和PersonX四个公共行人重识别数据集上的大量实验,证明所提出的基于特征金字塔分支和非局部关注的方法相较于目前一些先进的行人重识别方法,具有一定的竞争力。

基于双重注意力融合和空洞残差特征增强的场景文本检测

针对自然场景中任意形状文本容易漏检、错检的问题,提出了一种基于双重注意力融合和空洞残差特征增强的场景文本检测方法。为了增强文本特征通道之间的潜在联系,提出了双重注意力融合(DAF)模块,采用双向特征金字塔与双重注意力融合模块相结合的方式进行多层的特征融合;另外针对深层特征图在降维的过程中可能造成语义丢失的现象,提出了空洞残差特征增强(D-RFA)模块。通过在弯曲文本数据集CTW1500上的测试表明,该方法的准确率、召回率和F值分别达到了87.8%、84.2%和86.0%,同时在多方向文本数据集ICDAR2015上也有良好的表现,证明了该方法在各种形状文本检测上的有效性。

位置感知注意力及其在行人重识别中的应用

行人重识别领域的众多工作都表明,采用多分支神经网络搭配注意力模块是一种实现高性能特征嵌入的有效方式。传统方案主要关注于多分支网络结构的设计,而在注意力机制的设计上存在明显不足,如当前注意力机制缺乏对特征位置信息的有效挖掘和利用。为此,该文在多尺度特征金字塔分支(Feature Pyramid Branch, FPB)网络的框架下,分析了不同注意力模块的引入对系统性能的影响;在此基础上,讨论了两种在注意力机制中融入位置信息的方法,提出了一种新的位置感知注意力模块,该模块具有即插即用的优点,便于融入各种主干网络。在多个流行行人重识别标准数据集上的实验表明,融入位置感知注意力模块的FPB网络相比于原FPB网络,仅需增加0.29 M参数就可以显著提升最终的模型识别准确率:rank-1在Market1501上提高0.7百分点,在DukeMTMC上提高1.5百分点,在CUHK03-Labeled上提高2.4百分点,在CUHK03-Detected上提高3.8百分点。

基于双分支交互的实时语义分割算法

针对双分支实时语义分割算法存在双分支交互差、多尺度上下文信息提取不完善等问题,提出了基于双分支交互的实时语义分割网络(dual-branch interactive multi-scale fusion network for real-time semantic segmentation,DIMFNet)。算法以引导聚合双边语义分割网络(bilateral network with guided aggregation for real-time semantic segmentation,BiseNetV2)的双分支结构为基准进行改进,空间分支提取空间细节特征,上下文分支提取深层上下文特征。结合注意力思想提出注意力引导高级语义融合模块(attention guide high-level semantics fusion module,AGHSM)实现双分支的交互融合,以获得更好的空间特征表示;对金字塔池化模块进行改进,提出采用多层聚合金字塔池化模块(multi-layer aggregation pyramid pooling module,MAPPM)提取多尺度上下文特征,以获得更好的上下文特征表示。算法在Cityscapes数据集上进行消融实验并与现有实时语义分割网络进行对比,验证了各模块的有效性,以124.5 f/s达到了77.9%的平均交并比(mean intersection over union,MIoU);在CamVid数据集上以211.1 f/s达到了75.1%的MIoU。相比现有的实时语义分割网络,本文算法更好地权衡了分割的精度和速度。

基于多尺度特征编码和双重注意力融合的绝缘子缺陷检测

针对输电线路绝缘子缺陷检测准确率低和检测速度慢的问题,提出了一种基于多尺度特征编码和双重注意力融合的输电线路绝缘子缺陷检测方法。首先,为了使检测模型适应缺陷绝缘子特征尺度的多样性,编码网络采用Res2Net50提取更细粒度的特征,并在之后嵌入空洞空间金字塔池化模块实现多个尺度捕捉绝缘子及其缺陷的特征;其次,为了减少解码网络中特征信息的缺失,将主干网络的不同层特征与efficient channel attention注意力模块串联,并分别与经过squeeze and excitation注意力模块的各反卷积特征相加形成双重注意力融合。实验结果表明,所提方法的均值平均精度值约为95.35%,每秒传输帧数约为65.95,与其他方法相比,该方法对无人机绝缘子缺陷的准确检测具有一定的参考价值。

复杂场景下的行人跌倒检测算法

随着人口老龄化程度的不断深化,跌倒检测成为医疗与健康领域的一个关键问题。针对复杂场景下跌倒检测算法准确率偏低的问题,提出一种改进的跌倒检测模型——PDD-FCOS(PVT DRFPN DIoU-Fully Convolutional One-Stage object detection)。在基准FCOS算法的骨干网络中引入金字塔视觉转换器(PVT),以不增加计算量为前提提取更丰富的语义信息;在特征信息融合阶段插入双重细化特征金字塔网络(DRFPN),更加准确地学习特征图之间采样点的位置和其他信息,并通过上下文信息捕获特征通道之间更准确的语义关系,从而提升检测性能;训练阶段采用距离交并比(DIoU)损失进行边界框回归,通过优化预测框与目标框中心点的距离,使回归框收敛得更快更准确,从而有效提高跌倒检测算法的准确率。实验结果表明,所提模型在开源数据集Fall detection Database上平均精确度均值(mAP)达到82.2%,与基准FCOS算法相比,所提算法的mAP提升了6.4个百分点,且相较于其他主流目标检测算法有精度上的提升以及更好的泛化能力。

一种基于YOLOv4⁃TIA的林业害虫实时检测方法

针对现有基于深度学习的林业昆虫图像检测方法存在检测精度低和检测速度慢的问题,提出一种结合改进PANet结构与三分支注意力机制的目标检测方法YOLOv4-TIA。通过对样本数量较少的昆虫类别进行数据增强,实现样本均衡分布。利用三分支注意力机制改进YOLOv4中的CSPDarkNet53骨干网络,同时通过旋转操作和残差变换建立维度间的依存关系,以提高有效的特征通道权重,在PANet结构上增加将跳跃连接与跨尺度连接相结合的特征融合方式,从而获取更丰富的语义信息和位置信息。在此基础上,采用Focal loss函数优化分类损失,解决正负样本不均衡的问题。实验结果表明,该方法的精确率和召回率分别达到85.9%和91.2%,相比SSD、Faster R-CNN、YOLOv4方法,其在保证检测速度的同时,能够有效提高检测精度,且实现对林业害虫的实时精确监测。

双金字塔结构引导的多粒度行人重识别方法

针对杂乱场景下难以有效地提取行人关键信息和局部遮挡时全局特征方法失效的问题,提出了一种双金字塔结构引导的多粒度行人重识别(person re-identification,ReID)方法。首先在ResNet50中嵌入注意力金字塔,引导网络由粗到细依次挖掘不同粒度的特征,使网络更倾向于关注复杂环境中行人的显著区域;其次通过结构不对称的双重注意力特征金字塔分支(double attention feature pyramid branch,DFP branch)提取多尺度的行人特征,丰富特征的多样性,同时双重注意力机制可使分支从浅层信息中捕获高细粒度的局部特征;最后将粒度较粗的全局特征与多层级细粒度的局部特征融合,两种金字塔相互作用,以此获得更多具有鉴别性的多粒度特征,改善行人遮挡问题。在多个数据集上进行了实验,结果表明,各项评价指标均高于目前大多数主流模型,其中在DukeMTMC-reID数据集上,Rank-1、mAP和平均逆负处罚(mean inverse negative penalty,mINP)分别达到了91.6%、81.9%、48.1%。