基于多尺度语义编解码网络的遥感图像语义分割

针对遥感图像语义分割中存在的多层次信息提取和多尺度特征图上下文依赖性两个问题,本文分析现有处理方案,提出了一种综合运用多项技术的多尺度语义编解码网络(Multi-scale Semantic Encoder-Decoder Networks,MSEDNet).MSEDNet由编码与解码两部分构成.编码阶段,首先提出残差协同空间注意(Residuals Coordinate Spatial Attention,RCSA)的MobileNetV3增强型模块,提取语义信息;其次,设计多层增强语义上下文模块(Enhance Semantic Context Module,ESCM),提升多尺度结构特征图的表征能力.解码阶段,首先提出多核卷积与Focus并行的强化空间细节信息模块(Strengthen Spatial Detail Information Module,SSDIM),增强浅层特征细节和结构信息;其次,设计了三元迭代多尺度特征融合(Triplet Iterative Multi-Scale Feature Fusion,TIMSFF)策略,强化图像深层全局语义信息与浅层局部细节特征的多尺度融合,提升分割精度.所提模型在ISPRS Vaihingen和Potsdam数据集上验证,总体分割精度(Overall Accuracy,OA)分别达到95.699%、95.534%,平均F1-score(mean F1-score,m F1)分别提高2.661%和2.929%,且平均交并比(mean Intersection over Union,mIoU)分别增长3.973%和4.012%.所耗参数量Param下降至6.77 M.

改进U-Net的遥感图像语义分割方法

利用深度神经网络进行遥感影像语义分割是遥感智能解译的一个重要内容,在城市规划、灾害评估及农业生产等领域具有十分重要的作用。高分辨率遥感影像具有背景复杂、尺度多样及形状不规则等特点,使用自然场景语义分割方法处理遥感图像往往存在分割精度低的问题。针对上述情况,本文在U-Net模型基础上,提出了一种多尺度跳跃连接方法来融合不同层次的语义特征,获取准确的分割边界与位置信息;引入注意力机制和金字塔池化解决复杂背景下的精细分割问题。为了验证本文方法的有效性,在WHDLD和LandCover.ai数据集上进行试验,并与主流语义分割方法进行对比。试验结果表明,本文方法的mIoU分别达到74.28%和82.04%,F 1均值达到84.47%和89.76%,均优于其他对比方法;相比于U-Net的分割结果,IoU在建筑物、道路等占比较少的类别上提升明显,且优于其他对比方法。

利用深度残差网络的高分遥感影像语义分割

遥感影像分割是影像解译与分析的必要过程,随着深度学习在特征表达上的优势逐步显现,以深度网络为基础模型的影像语义分割已成为自动分割的主要研究趋势.该文提出了一种基于深度残差网络的多尺度语义分割模型,旨在针对小样本遥感影像数据集,提高具有不同尺度分割对象的遥感影像分割精度.首先将深度残差网络以全卷积网络形式进行微调,实现端到端语义分割模型结构构建;然后针对全卷积网络粗糙分割输出的问题,引入Atrous卷积精细化模型上采样过程,进而提高输出标签图精度;最后针对小样本数据进行随机多尺度数据增强,通过样本扩充提高模型分类精度和鲁棒性.试验基于ISPRS 2D Vaihingen语义分割数据集,影像分割结果的分类精度达到89.7%,尤其在小尺度对象上具有较好分割效果.

基于金字塔注意力机制的遥感图像语义分割

针对遥感图像语义分割中的小目标漏检和分割边界粗糙的问题,提出一种基于金字塔注意力机制的遥感图像语义分割模型(PANet)。该模型由特征编码和特征解码两部分组成。编码部分从多元数据中提取多层次特征,并使用基于通道注意力机制的金字塔池化结构加强对重要通道的注意力,提取多尺度特征。解码部分对多层次特征进行逐步前向融合,利用浅层的空间细节信息,修复图像像素定位,精细化分割目标边界。在ISPRS公开数据集上的实验证明了该方法的有效性。

基于边缘增强的遥感图像弱监督语义分割方法

随着弱监督学习被应用于遥感图像语义分割,大大降低了模型训练的数据成本。然而,由于监督信息不足,类激活图难以准确激活出遥感图像中不同尺度大小的目标,这使得基于类激活图获得的伪分割掩码边缘粗糙,从而导致最终的分割结果不准确。此外,大部分的弱监督语义分割方法都是基于可视化的两阶段方法,模型复杂繁琐。针对上述问题,设计了一种基于边缘增强的端到端弱监督语义分割网络。在特征空间边缘增强模块中,以自监督方式引导网络学习遥感图像中尺寸不一的目标,并且,细化伪分割掩码的边缘;在输出空间边缘增强模块中,通过端到端训练提升分割精度,同时降低模型训练的繁琐度。在ISPRS 2D数据集上的实验结果表明,该方法在仅使用图像级标签的情况下MIoU分别为57.72%和59.45%,与其他方法相比,效果较好。

基于迁移学习的大规模遥感图像语义分割与提取

图像语义分割是计算机视觉领域的热点研究课题,随着全卷积神经网络的迅速兴起,图像语义分割和全卷积神经网络的融合发展取得了快速发展。本文建立了基于特征融合的大规模卷积神经网络语义分割训练模型。通过迁移学习的监督式训练方式,对目前图像分割领域主流的模型进行了训练与比较,建立了评估指标PR参数以及预测图像的噪声分析模型。在训练模型时将其分成两个分支,利用主流的语义分割模型特性,分别做降噪分支和提取空间语义分支等,引入采集源高度作为权重参数,对不同分支进行特征融合,以提高其鲁棒性。最后进行特征融合,借助机器学习完成遥感图像分割任务并对本文模型的有效性进行验证。

基于轻量级U型网络的遥感影像分割方法研究

全卷积神经网络的出现,让遥感影像分割技术不断进步,但是这些方法常常因为两个问题备受限制。首先,由于编解码网络在跳跃连接部分往往会引起特征冗余,导致深度网络模型无法学习到有用的特征信息;其次,主流的深度网络模型致力于提高遥感影像的分割精度,因此通常采用更为复杂的编码策略导致网络模型参数量巨大,资源消耗多。为解决以上问题,论文提出了两个网络优化策略,首先在网络的跳跃连接部分添加注意力机制模块,使网络能够学习到更加有用的知识,从而提升网络的特征学习能力;其次使用深度可分离卷积代替常规卷积以减少网络参数量,在保证网络对遥感影像分割精度的同时提升网络的泛化能力。基于上述策略,该文章设计了一种新的用于遥感影像分割的轻量化网络。实验结果表明,使用提出的网络模型对遥感影像进行图像分割,准确率达到82.92%,MIoU达到69.85%,模型参数量仅有9.835MB,计算量26.028GFlops。

基于轻量级Transformer的城市路网提取方法

针对现有方法存在道路区域提取不精准和实时性不足的限制,提出基于轻量级Transformer的路网提取方法RoadViT.利用卷积神经网络与Transformer混合的MobileViT架构进行编码特征,有效地提取高级上下文信息.提出金字塔解码器实现多尺度特征的提取和融合,生成像素类别的概率分布.结合Mosaic与多尺度缩放和随机裁剪策略实现数据增强,构建精细多样的遥感图像.针对城市遥感图像中道路类别和背景类别的不平衡问题,提出动态加权损失函数.实验结果表明,RoadViT的参数量仅为1.25×10^(6),在Jetson TX2上的推理速度可达10帧/s,在CHN6-CUG数据集上的精度可达57.0%.所提方法是轻量级Transformer在城市遥感图像中的有效探索,在保证推理实时性的同时,实现道路提取精度的提升.

深度融合网结合条件随机场的遥感图像语义分割

为了充分利用遥感图像中丰富的细节信息和上下文信息,提高图像语义分割精度,提出一种深度融合网结合条件随机场模型的遥感图像语义分割方法。方法在全卷积神经网络框架中增加反卷积融合结构,搭建深度融合DFN (Deep Fusion Networks)网络,通过深层网络自动获取多尺度特征,避免人工设计和选择特征,提高模型的泛化能力;同时借助反卷积融合结构,利用多尺度信息,将浅层细节信息和深层语义信息相融合,提高模型的处理精度。由全连接条件随机场引入空间上下文信息,更好地定位边界,得到最终的语义分割结果。在遥感图像数据集上的实验结果显示:(1)随着不同尺度细节信息的融入,结果的边缘轮廓越精确、接近标签图像;(2)增加了空间上下文信息后,语义分割结果边缘更细化、准确,精度更高。实验表明,该方法可以有效提高遥感图像语义分割的精度,改善结果的过平滑现象。