基于域适应的图像语义分割综述

随着深度学习技术的迅速发展,语义分割算法在性能提升的同时依赖于大规模成对图像数据及其耗时耗力的像素级标注.人工制作的合成图像以规模大、易标注的特点,替代真实图像有效降低了训练成本.然而,合成图像与真实图像的域间差异性降低了分割网络的泛化能力.针对域间差异问题,研究者提出域适应语义分割(Domain Adaptive Semantic Segmentation,DASS)算法.该算法通过提取合成图像与真实图像的跨域共享知识,减小域间差异,提升分割网络在真实图像上的泛化能力.本文根据网络结构对主流DASS算法进行分类,分析了不同算法的性能对比结果,并提出未来研究方向.研究结果表明:早期的DASS算法利用生成对抗网络对齐源域和目标域的边缘分布,但网络结构复杂,并且只能实现两域的全局对齐,无法实现不同类别之间的精细对齐,性能较低;后续算法逐渐转向自训练网络结构,利用预训练的分割网络在目标域生成伪标签,为下一轮训练提供监督,结构简单,性能表现优于早期算法;随着Transformer网络的出现,其强大的特征提取能力进一步提升了DASS算法的准确性.

基于斜坡单元和语义分割的皖南地区滑坡灾害易发性评估

滑坡灾害严重影响着人们的生命和财产安全,对自然环境造成重大破坏。以斜坡单元为单位进行滑坡易发性评估能够更加接近真实的滑坡地形,为滑坡灾害的防治提供更加科学的理论支持。本文以安徽省皖南地区为研究区,基于黄山、宣城、池州市滑坡点数据以及皖南地区基础地理数据,利用主成分分析和多重共线性分析方法筛选滑坡评价因子,提出将斜坡单元几何形状信息和语义分割方法相结合的创新方法,构建滑坡灾害易发性评估模型,对皖南地区的滑坡灾害易发性进行评估,揭示其空间分布规律。结果表明:结合斜坡单元和语义分割方法构建的滑坡易发性评估模型具有较高的预测精度,能够充分考虑斜坡单元的几何形状信息对滑坡易发性的影响,较为准确地评估皖南地区的滑坡易发性。评估结果符合滑坡形成机理,其中62.19%的滑坡单元分布在滑坡易发性等级中—高的斜坡单元上,模型预测AUC值为0.878,与缺少几何形状信息的CNN模型进行对比,预测精度明显提高。

基于语义分割的带式输送机煤料运输区域检测算法

针对煤炭运输过程中,经常无法保持煤炭在带式输送机上的运量均匀,使得带式输送机长时间全速运转而造成电能浪费和设备无效磨损的问题,提出一种基于语义分割的带式输送机煤料运输区域检测算法。该算法在DeeplabV3+的基础上,根据特征通道之间的相互依赖关系,引入注意力机制,使用不同扩张率的卷积核获得多种尺度的语义信息,来精确分割出煤炭在带式输送机的运输区域。实验结果表明,该算法平均交并比(Mean Intersection over Union,MIoU)相比于DeeplabV3+算法提高1.24百分点,能够有效精准地分割出煤料的运输区域,为煤量估计工作提供有效的保障。

高效跨域的Transformer小样本语义分割网络

小样本语义分割旨在仅使用数个标注样本学习目标类别特征并完成分割任务。主流研究存在的主要问题是:训练效率低下,训练和测试在同一数据域。为此构建了一种基于Transformer的高效、跨域的小样本语义分割网络SGFNet。在编码层,使用共享权重的MixVisionTransformer构建孪生网络,用于提取支持集和查询集的图像特征;在关系计算层,通过计算支持集图像特征向量与其对应mask的哈达玛积,提取目标类别的高维特征,并与查询集图像特征进行关系计算;在解码层,改进基于MLP的解码器,提出了残差解码器,将不同层级的特征解码得到最终分割结果。实验表明,该模型只需要在FSS-1000数据集上使用单张3090 GPU训练1.5~4.0 h,即可在FSS-1000数据集上获得最优结果1-shot mIoU 87.0%,在PASCAL-5i和COCO-20i数据集进行跨域测试达到非跨域的效果,1-shot mIoU分别为60.4%和33.0%,证明了该模型高效且跨域。

融合视觉特征的光伏组件语义分割模型研究

针对光伏组件红外图像的分割问题,使用MobileNetv2作为DeepLabv3+的主干特征提取网络并使用位置通道注意力模块减少背景干扰,引入混合条带池化对ASPP模块进行优化,帮助模型进一步捕获全局和上下文信息。针对检测困难的屋顶光伏组件设计DeepLabv3-T网络,在上述改进的基础上融入纹理信息进行选择性背景抑制,实现光伏组件的精确分割。在PV_large和PV_roof数据集上进行实验证明该文方法优于现有技术,DeepLabv3-T相较于DeepLabv3+,mIoU值分别提高了2.74%和10.53%。此外,设计消融实验表明各个改进模块的有效性。

融合多维特征的街景图像语义分割方法

为进一步提升深度学习语义分割方法在复杂街景图像上的分割精度,本文基于PointRend网络提出了一种融合多维特征(Multi-Dimensional Features,MDF)的街景图像语义分割网络(MDFNet)。首先,通过构建目标区域增强模块优化特征提取子网络,在深度网络的每个卷积块自适应地细化中间特征图,从而强化对复杂街景图像多维特征信息的精细提取;接着,在特征融合时引入特征金字塔网格,使用不同的卷积核处理不同尺度的街景图像,从而更加全面地获取复杂街景图像各类目标的不同分辨率特征;最后,使用双解码头对图像细节进行更细致的恢复,得到逐像素分类的结果。实验结果表明,本文网络与DeepLabV3、SegFormer等其他优秀分割网络相比,在Cityscapes复杂街景数据集上分割精度更高,平均交并比达到了80.11%,相比于其他网络提升了3.51%以上,对复杂街景图像的理解力更强。

基于语义分割的车位检测算法研究

作为自动泊车系统中至关重要的一环,车位检测算法的精度直接决定自动泊车系统的好坏.目前,基于语义分割的车位检测算法主要有两个问题:一是分割网络参数量较大,难以满足移动端部署;二是后处理提取算法复杂,难以满足实时检测要求.针对这两个问题,设计一种通过检测车位线来获取停车位的车位检测算法.采用深度可分离卷积和非对称卷积相结合的方式设计车位线分割网络UFAC-Net,并提出一种更为简洁的车位线提取算法.实验结果表明:UFAC-Net模型(UFAC-Net2)分割的平均像素精度为83.07%,平均交并比为73.05%,模型参数量为3.1 MB,达到目前PSV datasets上最好的分割精度;车位检测算法可检测复杂情况下的平行、垂直、倾斜3种类型的车位,在自定义测试集中精准率为99.23%,召回率为99.12%,单张图像检测时间为32.2 ms,具有良好的检测性能.

细化多尺度感知与优化轮廓的自适应道路场景语义分割网络

语义分割通常被描述为像素级的分类任务,而集成卷积神经网络与Transformer的MaskFormer网络则将其描述为掩模级的分类任务.为了解决语义分割形变建模能力差、物体轮廓分割模糊和收敛速度慢的问题,提出一种细化多尺度感知与优化轮廓的自适应道路场景语义分割网络.在编码器中,采用标准卷积与可变形卷积堆叠形成的瓶颈结构提高网络的形变建模能力;在解码器中,采用特征细化模块过滤无关特征,进一步提高特征金字塔网络的解码能力;针对特征金字塔网络进行多层级特征融合时上采样特征出现像素点错位的问题,引入特征校准模块优化物体轮廓的分割效果;最后在Transformer模块中采用Miti-DETR解码器加快网络的训练速度,提升分割精度.实验结果表明,所提网络在Cityscapes和Mapillary Vistas数据集上以较大的优势超过了现有的语义分割网络.

基于注意力机制及多分支特征融合的实时语义分割算法

为了合理平衡语义分割中的精确度与实时性,基于快速卷积神经网络模型(Fast-SCNN)提出了一种基于注意力机制及多分支特征融合的实时语义分割算法模型。该算法模型首先通过注意力模块捕获空间特征之间的相互联系,增强空间细节信息;然后合理设计融合模块,最大化利用各分支信息,实现深层特征与浅层特征更好的融合;最后引入自适应特征增强注意力模块,捕获长距离像素间的相互依赖关系。实验结果表明,文中算法模型在Cityscapes数据集上获得了71.55%的分割精度,推理速度FPS达到97.6帧/s,模型参数量为1.39 M,验证了该算法所构成网络模型的有效性。

NHNet——新型层次化遥感图像语义分割网络

深度学习分割方法是遥感图像分割领域的热点之一,主流的深度学习方法有卷积神经网络、transformer神经网络及两者的结合。特征提取是图像分割的重要环节,除了用卷积等方式提取特征,最近的研究聚焦于一些新的特征提取范式,如图卷积、小波变换等。本文利用聚类算法的区域构建属性,将改进的聚类算法用于骨干特征提取模块,同时使用卷积和视觉transformer作为辅助模块,以获取更丰富的特征表述;在模块基础上,提出了一种新型层次化遥感图像语义分割网络(NHNet);评估了NHNet语义分割的性能,并在LoveDA遥感数据集上与其他方法进行比较。结果表明,基于多特征提取的NHNet获得了竞争性的性能表现,平均交并比为49.64%,F_(1)分数为65.7%。同时,消融实验证明辅助模块提高了聚类算法分割的精确性,给NHNet分别提升了1.03%和2.41%的平均交并比。

基于社交媒体图片的地震灾情检测语义分割数据集

以社交媒体为代表的志愿者地理数据已成为减灾重要数据源,尤其是其中包含的图片数据,具有很强的灾害态势感知力。但目前对于该数据服务减灾的应用并不多,其主要原因在于具有标注特征的可用图片训练集匮乏,使得包括机器学习、深度学习等技术手段很难发挥作用,从而限制了该类数据反馈灾情信息的能力。本文从实际应用的角度出发,以地震灾害为研究对象,结合包括数据获取、自动化去重、语义标注以及数据增强等方法制作了面向社交媒体图片的灾害语义分割数据集。本数据集主要由社交媒体搜集的原始图片和人工语义标注后的伪彩色图片组成,并采用多人轮番标注以及交叉检验保证数据质量。本数据集对于提高社交媒体数据使用效率以及增强减灾态势感知具有重要作用。

用于实时语义分割的丰富语义提取器网络

目的由于推理速度限制,网络深度较浅,实时语义分割网络提取的语义特征信息不足。此外,较浅的网络深度也限制了特征提取网络的能力,降低了其鲁棒性和适应能力。为此,方法提出一种用于实时语义分割的丰富语义提取器网络。首先针对语义特征信息提取不足的问题,引入丰富语义提取器,丰富语义提取器包括多尺度全局语义提取模块和语义融合模块。其次,利用多尺度全局语义提取模块可以提取丰富的多尺度全局语义,扩大网络的有效感受野,同时语义融合模块将多尺度局部语义与多尺度全局语义高效融合,使网络拥有更全面更丰富的语义信息。最后针对细节分支和语义分支的特点设计空间重构聚合模块,建模细节特征的上下文信息,增强特征表示,使2个分支高效聚合。结果在Cityscapes和ADE20K数据集上进行全面实验,所提出的RSENet分别以76帧/s和67帧/s的推理速度达到了75.6%和35.7%的MIoU。结论实验结果表明,在复杂场景语义信息的提取方面,本文所提出的网络能够深入挖掘并准确捕捉图像中语义信息。同时,在精度与速度的平衡方面也展现出了卓越的性能,不仅能够实现高精度的语义分割,而且推理速度非常快。这种高效的图像分割能力使得网络在实际应用场景中具有极高的实用性和可操作性。

双通道特征融合的真实场景点云语义分割方法

真实场景点云不仅具有点云的空间几何信息,还具有三维物体的颜色信息,现有的网络无法有效利用真实场景的局部特征以及空间几何特征信息,因此提出了一种双通道特征融合的真实场景点云语义分割方法DCFNet(dual-channel feature fusion of real scene for point cloud semantic segmentation)可用于不同场景下的室内外场景语义分割。更具体地说,为了解决不能充分提取真实场景点云颜色信息的问题,该方法采用上下两个输入通道,通道均采用相同的特征提取网络结构,其中上通道的输入是完整RGB颜色和点云坐标信息,该通道主要关注于复杂物体对象场景特征,下通道仅输入点云坐标信息,该通道主要关注于点云的空间几何特征;在每个通道中为了更好地提取局部与全局信息,改善网络性能,引入了层间融合模块和Transformer通道特征扩充模块;同时,针对现有的三维点云语义分割方法缺乏关注局部特征与全局特征的联系,导致对复杂场景的分割效果不佳的问题,对上下两个通道所提取的特征通过DCFFS(dual-channel feature fusion segmentation)模块进行融合,并对真实场景进行语义分割。对室内复杂场景和大规模室内外场景点云分割基准进行了实验,实验结果表明,提出的DCFNet分割方法在S3DIS Area5室内场景数据集以及STPLS3D室外场景数据集上,平均交并比(MIOU)分别达到71.18%和48.87%,平均准确率(MACC)和整体准确率(OACC)分别达到77.01%与86.91%,实现了真实场景的高精度点云语义分割。

联合多连接特征编解码与小波池化的轻量级语义分割

语义分割是当前场景理解领域的基础技术之一。现存的语义分割网络通常结构复杂、参数量大、图像特征信息损失过多和计算效率低。针对以上问题,基于编-解码器框架和离散小波变换,设计了一个联合多连接特征编解码与小波池化的轻量级语义分割网络MLWP-Net(Multi-Link Wavelet-Pooled Network),在编码阶段利用多连接策略并结合深度可分离卷积、空洞卷积和通道压缩设计了轻量级特征提取瓶颈结构,并设计了低频混合小波池化操作替代传统的下采样操作,有效降低编码过程造成的信息丢失;在解码阶段,设计了多分支并行空洞卷积解码器以融合多级特征并行实现图像分辨率的恢复。实验结果表明,MLWP-Net仅以0.74 MB的参数量在数据集Cityscapes和CamVid上分别达到74.1%和68.2%mIoU的分割精度,验证了该算法的有效性。

基于Transformer的多尺度遥感语义分割网络

为了提升遥感图像语义分割效果,本文针对分割目标类间方差小、类内方差大的特点,从全局上下文信息和多尺度语义特征2个关键点提出一种基于Transformer的多尺度遥感语义分割网络(muliti-scale Transformer network,MSTNet)。其由编码器和解码器2个部分组成,编码器包含基于Transformer改进的视觉注意网络(visual attention network,VAN)主干和基于空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)结构改进的多尺度语义特征提取模块(multi-scale semantic feature extraction module, MSFEM)。解码器采用轻量级多层感知器(multi-layer perception,MLP)配合编码器设计,充分分析所提取的包含全局上下文信息和多尺度表示的语义特征。MSTNet在2个高分辨率遥感语义分割数据集ISPRS Potsdam和LoveDA上进行验证,平均交并比(mIoU)分别达到79.50%和54.12%,平均F1-score(m F1)分别达到87.46%和69.34%,实验结果验证了本文所提方法有效提升了遥感图像语义分割的效果。

基于局部感知的点云语义分割方法

点云语义分割技术是点云数据处理、三维场景理解与分析的有效手段之一。针对点云场景中局部形态各异,导致网络模型识别特征困难的问题,提出了邻域分布关系学习和混合尺度融合的方法,来增强局部感知能力。在卷积算子思想的基础上,根据邻域内所有点在三个坐标轴方向上的联合分布,学习其在高维特征层面的关系,从而捕获局部的整体相关性。此外,将包含小范围底层特征和大范围深层特征的邻域进行整体融合,有效保留不同层级的特征,并能够辅助网络修正相似或错误特征。在场景分割数据集S3DIS、ScanNet上进行实验验证,结果表明该方法在总体精度和类均精度的评价指标上均有提升,证明了其有效性。

融合残差连接的图像语义分割方法

由于传统SegNet模型在采样过程中产生了大量信息损失,导致图像语义分割精度较低,为此提出了一种融合残差连接的新型编-解码器网络结构:文中引入了多残差连接策略,更为全面地保留了多尺度图像中包含的大量细节信息,降低还原降采样所带来的信息损失;为进一步加速网络训练的收敛效率,改善样本的不平衡问题,设计了一种带平衡因子的交叉熵损失函数,对正负样本不平衡现象予以针对性的优化,使得模型的训练更加高效;实验表明该方法较好地解决了语义分割中信息损失以及分割不准确的问题,与SegNet相比,本网络在Cityscapes数据集上进行精细标注的mIoU值提高了约13%。

融合位置注意力机制与轻量化STDC网络的非结构化场景语义分割

近年来,非结构化道路分割已成为计算机视觉领域的重要研究方向之一.现有的大多数方法适合结构化道路的分割并无法满足非结构化道路分割的准确性与实时性需求.为了解决上述问题,本文对STDC网络进行改进,引入残差连接来更好地融合多尺度语义信息,还提出一种嵌入位置注意力模块的空洞空间卷积池化金字塔(PAASPP)来增强网络对道路等特定区域的位置感知能力.本文在RUGD与RELLIS-3D两个数据集上进行实验,所提出方法的MIoU在两个数据集的测试集上分别达到了50.78%和49.96%.

基于DeeplabV3+网络的轻量化语义分割算法

针对传统语义分割模型参数量大、计算速度慢且效率不高等问题,改进一种基于DeeplabV3+网络的轻量化语义分割模型Faster-DeeplabV3+。Faster-DeeplabV3+模型采用轻量级MobilenetV2代替Xception作为主干特征提取网络,大幅减少参数量,提高计算速度;引入深度可分离卷积(deep separable convolution, DSC)与空洞空间金字塔(atrous spatia pyramid pooling, ASPP)中的膨胀卷积设计成新的深度可分离膨胀卷积(depthwise separable dilated convolution, DSD-Conv),即组成深度可分离空洞空间金字塔模块(DP-ASPP),扩大感受野的同时减少原本卷积参数量,提高运算速度;加入改进的双注意力机制模块分别对编码区生成的低级特征图和高级特征图进行处理,增强网络对不同维度特征信息提取的敏感性和准确性;融合使用交叉熵和Dice Loss两种损失函数,为模型提供更全面、更多样的优化。改进模型在PASCAL VOC 2012数据集上进行测试。实验结果表明:平均交并比由76.57%提升至79.07%,分割准确度由91.2%提升至94.3%。改进模型的网络参数量(params)减少了3.86×10~6,浮点计算量(GFLOPs)减少了117.98 G。因此,Faster-DeeplabV3+算法在大幅降低参数量、提高运算速度的同时保持较高语义分割效果。

面向类别不平衡语义分割的损失函数的研究

在图像语义分割的任务中,数据集的类别不平衡分布是一种普遍存在的现象;通过构造更加有效的损失函数来减轻其带来的不利影响是具有较大研究价值的。以损失函数为研究对象,利用训练样本像素的空间分布特性和相关性,改进了Focal损失函数的尺度度量方法,提出了一个基于迭代批次的权重自适应调整的Adapt-Focal损失函数。以类别不平衡的SAR图像数据集GDUT-Nansha为实验对象,采用三个经典的卷积神经网络DeepLabV3+、U-Net和RWL-ENet完成了定量实验。实验结果表明,所提出的Adapt-Focal损失函数相比于CE、FL、dfl、acw、lovász和softiou损失函数,有效提高了少样本地物类别裸地和道路的分割精度IoU和PA值;同时,整体分割精度指标mPA和mIoU均得到较大幅度的提高。验证了Adapt-Focal损失函数在类别不平衡图像语义分割中的有效性。