顾及多尺度上下文信息的深度学习城市绿地分类

深度学习语义分割方法可高效、准确地进行高分辨率遥感影像城市绿地分类,但仍存在以下不足:用于城市绿地分类的语义分割模型没有充分利用多尺度上下文信息,因而很难应对高分辨率遥感影像丰富的空间信息与一些零星、不规则的城市绿地带来的挑战,难以满足对多种城市绿地子类型分类(乔木、灌木、草地等)的数据需求。鉴于此,本文构建了一个新的模型Res2UNet-Modified(Res2UNet-M),从3个方面提高模型对多尺度上下文信息的提取和利用能力,实现对多种城市绿地子类型的较高精度分类。

融合多尺度上下文信息的实例分割

目的实例分割通过像素级实例掩膜对图像中不同目标进行分类和定位。然而不同目标在图像中往往存在尺度差异,目标多尺度变化容易错检和漏检,导致实例分割精度提高受限。现有方法主要通过特征金字塔网络(feature pyramid network,FPN)提取多尺度信息,但是FPN采用插值和元素相加进行邻层特征融合的方式未能充分挖掘不同尺度特征的语义信息。因此,本文在Mask R-CNN(mask region-based convolutional neural network)的基础上,提出注意力引导的特征金字塔网络,并充分融合多尺度上下文信息进行实例分割。方法首先,设计邻层特征自适应融合模块优化FPN邻层特征融合,通过内容感知重组对特征上采样,并在融合相邻特征前引入通道注意力机制对通道加权增强语义一致性,缓解邻层不同尺度目标间的语义混叠;其次,利用多尺度通道注意力设计注意力特征融合模块和全局上下文模块,对感兴趣区域(region of interest,RoI)特征和多尺度上下文信息进行融合,增强分类回归和掩膜预测分支的多尺度特征表示,进而提高对不同尺度目标的掩膜预测质量。结果在MS COCO 2017(Microsoft common objects in context 2017)和Cityscapes数据集上进行综合实验。在MS COCO 2017数据集上,本文算法相较于Mask R-CNN在主干网络为ResNet50/101时分别提高了1.7%和2.5%;在Cityscapes数据集上,以ResNet50为主干网络,在验证集和测试集上进行评估,比Mask R-CNN分别提高了2.1%和2.3%。可视化结果显示,所提方法对不同尺度目标定位更精准,在相互遮挡和不同目标分界处的分割效果显著改善。结论本文算法有效提高了网络对不同尺度目标检测和分割的准确率。

基于多尺度上下文信息的图像目标分类算法

针对真实场景图像的目标分类问题,提出一种基于多尺度上下文信息的分类算法.首先运用一种软判决采样机制对图像进行局部信息采样,使场景内混合的各类信息以一种鲁棒的方式得到有效分离;然后,进一步基于软判决采样和统计特征表达机制,计算各空间尺度下的目标上下文统计特征;最后,通过逻辑回归分类算法有效地融合多尺度的上下文信息,并作出分类决策.实验表明,所提出的算法能更好地刻画真实场景下目标的特性,明显提高图像目标分类性能.

引入稀疏自注意力的目标跟踪算法

针对基于Transformer架构的目标跟踪算法在特征增强过程中应用多头自注意力产生的计算复杂度高的问题,提出一种稀疏自注意力方法以实现线性计算复杂度的目标跟踪算法(E-TransT)。在特征提取网络中加入金字塔切分注意力模块并且调整网络输出结构,使提取的特征具有不同尺度的上下文信息。设计了一个通过稀疏自注意力方法实现改进的自注意增强模块,有效减少了在注意力计算过程中的参数量,在降低计算复杂度的同时保持了捕捉像素级细节的能力。采用LaSOT、TrackingNet等5种测试集进行算法性能评测实验,结果表明所提算法的跟踪成功率、精度等主要评价指标较TransT、SiamR-CNN等11种经典算法均获得提升。

基于改进MaskRCNN算法的管道焊缝缺陷检测

针对传统管道焊缝缺陷检测方法的实用性差、准确率低的问题,文章基于MaskRCNN算法,融入空洞卷积(Dilated Convolution,DC),提出一种改进的DCMask RCNN管道焊缝缺陷检测算法,自动提取缺陷的特征,捕获多尺度上下文信息,扩大感受野以获取更精细的特征,提升模型在训练过程中的特征提取能力,并且使用同一基线实现焊缝缺陷分割与焊缝缺陷检测。另外,采用切片采样加拼接的一种数据增强方法,以扩充数据,缓解管道焊缝缺陷X射线图像数据匮乏问题,避免模型过拟合。实验证明,所提出的方法可实现管道焊缝缺陷的准确检测。