面向街景自动驾驶的DSC-MB-PSPNet语义分割技术研究

文章给出一种面向城市自动驾驶的轻量级可实时运行的语义分割模型;提出一种深度可分离卷积、多分支、金字塔池化尺度融合结构(简称DSC-MB-PSPNet),在保证了模型具有良好的表征能力的同时,可以做到实时运行;提出抑制性交叉熵损失函数以降低样本不平衡的影响,消除城市自动驾驶中各种类样本之间像素数量严重不均衡的问题,同时加入了多级损失函数计算方式,提升了训练的效率,使得模型更容易收敛。在公开数据集Cityscapes及自搭建的数据集上进行训练,结果表明,在大分辨率输入的情况下,文章所提模型的精度在指标评测中居于前列,同时可以做到实时运行。

基于PSPNet深度学习网络景观要素语义分割的春季森林景观质量评价

基于BIB-LCJ审美评判测量法对25个春季森林景观样本进行美景度评定,结合PSPNet深度学习网络对春季森林景观图像进行语义分割,建立美景度与景观要素的多元线性回归模型。结果表明:1)PSPNet对于天空与植被的识别精度分别为87.9%与86.7%,属于可用范围。2)与美景度相关的7个春季森林景观要素中,“植物层次”“花朵色彩丰富度”和“色彩统一程度”可提升春季景观美景度,而“枯枝可见率”“灌草层比例”“土壤裸露程度”和“视觉干扰物比例”对美景度则有负面影响。研究结果为春季森林景观的营建和质量提升提供了指导。此外,基于计算机视觉的深度学习PSPNet模型提供的语义分割技术,有效解决了景观图像组成量化这一客观的景观要素分解方法的应用技术瓶颈。

采用Ⅰ-PSPNet语义分割模型的高分辨率遥感影像某特种植物种植地块提取研究

快速准确获取某特种植物种植地块的面积信息对于毒品产量估算和防范毒品犯罪活动等具有重要意义。针对高分辨率遥感影像中现有某特种植物种植地块检测算法无法同时快速获取位置信息与面积信息的问题,提出了一种适用于快速准确提取某特种植物种植地块的改进PSPNet语义分割模型。通过引入通道注意力SE模块解决了某特种植物种植地块分割存在孔洞的问题,加入Dice Loss损失函数改善了正负样本不平衡的问题,引入编码器—解码器结构使提取的某特种植物种植地块轮廓边界更精确。通过使用MobileNetv2骨干网络将模型预测速度提高了90%。改进得到的Ⅰ-PSPNet模型在某特种植物种植地块提取中MPA和MⅠoU达到95%和84%,检测效率达到84 fps。通过Ⅰ-PSPNet与UNet、Deeplabv3+、PSPNet 3个模型的对比实验表明,改进模型的预测精度和速度均优于上述3个模型,其中,MPA提高了24%、7.4%和7.7%,MⅠoU提高了19%、4.3%和4.9%,预测速度提高了57 fps、56 fps和40 fps。同时,改进后的模型对于RGB波段数据集和GF-2影像也有着良好的适用能力。研究提出的改进模型可用于快速精准获取某特种植物种植地块位置信息和面积信息,可以为禁毒部门快速发现非法种植某特种植物种植地块,客观评估非法种植规模,实施精准打击治理毒品非法犯罪活动提供技术支撑。

一种基于改进PSPNet的城市街景语义分割方法

在当前街景语义分割任务过程中,传统的语义分割方法容易产生事物边缘分割不精准以及无关背景特征影响严重的问题。针对这一问题,基于PSPNet模型提出一种融合语义特征和边缘特征的语义分割网络E-PSPNet。模型由语义分割子网络和边缘检测子网络构成,在语义分割子网络中嵌入注意力机制,加强有效特征的获取,忽略无关背景特征信息,并利用边缘检测子网络获取到更准确的轮廓特征,最后通过特征融合模块对两种特征进行融合得到最终结果。在Cityscapes数据集上进行消融实验,该模型平均交并比对比原模型提升了3.3%,并与现有模型进行实验对比,实验结果证明E-PSPNet模型可以有效改善街景边缘分割不精准以及背景无关特征影响严重的问题。

基于注意力机制和全局特征优化的点云语义分割

在基于深度学习的三维点云语义分割算法中,为了加强提取局部特征细粒度能力和学习不同局部邻域之间的长程依赖性,提出一种基于注意力机制和全局特征优化的神经网络。首先,通过加性注意力的形式设计单通道注意力(SCA)模块和点注意力(PA)模块,前者通过自适应调节单通道中各点特征加强对局部特征的分辨能力,后者通过调节单点特征向量之间的重要程度抑制无用特征并减少特征冗余;其次,加入全局特征聚合(GFA)模块,聚合各局部邻域特征,以捕获全局上下文信息,从而提高语义分割精度。实验结果表明,在点云数据集S3DIS上,所提网络的平均交并比(mIoU)相较于RandLA-Net(Random sampling and an effective Local feature Aggregator Network)提升了1.8个百分点,分割性能良好,具有较好的适应性。

双通道特征融合的真实场景点云语义分割方法

真实场景点云不仅具有点云的空间几何信息,还具有三维物体的颜色信息,现有的网络无法有效利用真实场景的局部特征以及空间几何特征信息,因此提出了一种双通道特征融合的真实场景点云语义分割方法DCFNet(dual-channel feature fusion of real scene for point cloud semantic segmentation)可用于不同场景下的室内外场景语义分割。更具体地说,为了解决不能充分提取真实场景点云颜色信息的问题,该方法采用上下两个输入通道,通道均采用相同的特征提取网络结构,其中上通道的输入是完整RGB颜色和点云坐标信息,该通道主要关注于复杂物体对象场景特征,下通道仅输入点云坐标信息,该通道主要关注于点云的空间几何特征;在每个通道中为了更好地提取局部与全局信息,改善网络性能,引入了层间融合模块和Transformer通道特征扩充模块;同时,针对现有的三维点云语义分割方法缺乏关注局部特征与全局特征的联系,导致对复杂场景的分割效果不佳的问题,对上下两个通道所提取的特征通过DCFFS(dual-channel feature fusion segmentation)模块进行融合,并对真实场景进行语义分割。对室内复杂场景和大规模室内外场景点云分割基准进行了实验,实验结果表明,提出的DCFNet分割方法在S3DIS Area5室内场景数据集以及STPLS3D室外场景数据集上,平均交并比(MIOU)分别达到71.18%和48.87%,平均准确率(MACC)和整体准确率(OACC)分别达到77.01%与86.91%,实现了真实场景的高精度点云语义分割。

基于改进HRNet的遥感影像冬小麦语义分割方法

冬小麦在影像中呈现田块碎小且分布零散等空间特征,同时影像包含的复杂地物对冬小麦识别造成干扰,易出现识别精度低且边界分割模糊等问题。为及时准确获取大范围冬小麦空间分布信息,该研究以高分二号卫星影像作为数据源,提出一种CAHRNet(change attention high-resolution Net)语义分割模型。采用HRNet(high-resolution Net)替换ResNet作为模型的主干网络,网络的并行交互方式易获取高分辨率的特征信息;联合OCR(object-contextual representations)模块聚合上下文信息,以增强像素点与目标对象区域的关联性;3)引入坐标注意力(coordinate attention)机制,使网络模型充分利用有效的空间位置信息,以保留分割区域的边缘细节,提高对分布零散、形状多变的冬小麦田块的特征提取能力。试验结果表明,在自制的高分辨率遥感数据集上,CAHRNet模型的平均交并比(mean intersection over union,MIoU)和像素准确率(pixel accuracy, PA)分别达到81.72%和97.08%,MIoU相较U-Net、DeepLabv3+分别提高了9.09、2.44个百分点;PA相较U-Net、DeepLabv3+分别提高6.80、1.59个百分点,说明CAHRNet模型具有较高的分割识别精度,可为进一步准确获取冬小麦作物分布信息提供技术支撑。

基于斜坡单元和语义分割的皖南地区滑坡灾害易发性评估

滑坡灾害严重影响着人们的生命和财产安全,对自然环境造成重大破坏。以斜坡单元为单位进行滑坡易发性评估能够更加接近真实的滑坡地形,为滑坡灾害的防治提供更加科学的理论支持。本文以安徽省皖南地区为研究区,基于黄山、宣城、池州市滑坡点数据以及皖南地区基础地理数据,利用主成分分析和多重共线性分析方法筛选滑坡评价因子,提出将斜坡单元几何形状信息和语义分割方法相结合的创新方法,构建滑坡灾害易发性评估模型,对皖南地区的滑坡灾害易发性进行评估,揭示其空间分布规律。结果表明:结合斜坡单元和语义分割方法构建的滑坡易发性评估模型具有较高的预测精度,能够充分考虑斜坡单元的几何形状信息对滑坡易发性的影响,较为准确地评估皖南地区的滑坡易发性。评估结果符合滑坡形成机理,其中62.19%的滑坡单元分布在滑坡易发性等级中—高的斜坡单元上,模型预测AUC值为0.878,与缺少几何形状信息的CNN模型进行对比,预测精度明显提高。

基于Transformer的多尺度遥感语义分割网络

为了提升遥感图像语义分割效果,本文针对分割目标类间方差小、类内方差大的特点,从全局上下文信息和多尺度语义特征2个关键点提出一种基于Transformer的多尺度遥感语义分割网络(muliti-scale Transformer network,MSTNet)。其由编码器和解码器2个部分组成,编码器包含基于Transformer改进的视觉注意网络(visual attention network,VAN)主干和基于空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)结构改进的多尺度语义特征提取模块(multi-scale semantic feature extraction module, MSFEM)。解码器采用轻量级多层感知器(multi-layer perception,MLP)配合编码器设计,充分分析所提取的包含全局上下文信息和多尺度表示的语义特征。MSTNet在2个高分辨率遥感语义分割数据集ISPRS Potsdam和LoveDA上进行验证,平均交并比(mIoU)分别达到79.50%和54.12%,平均F1-score(m F1)分别达到87.46%和69.34%,实验结果验证了本文所提方法有效提升了遥感图像语义分割的效果。

基于语义分割的带式输送机煤料运输区域检测算法

针对煤炭运输过程中,经常无法保持煤炭在带式输送机上的运量均匀,使得带式输送机长时间全速运转而造成电能浪费和设备无效磨损的问题,提出一种基于语义分割的带式输送机煤料运输区域检测算法。该算法在DeeplabV3+的基础上,根据特征通道之间的相互依赖关系,引入注意力机制,使用不同扩张率的卷积核获得多种尺度的语义信息,来精确分割出煤炭在带式输送机的运输区域。实验结果表明,该算法平均交并比(Mean Intersection over Union,MIoU)相比于DeeplabV3+算法提高1.24百分点,能够有效精准地分割出煤料的运输区域,为煤量估计工作提供有效的保障。

细化多尺度感知与优化轮廓的自适应道路场景语义分割网络

语义分割通常被描述为像素级的分类任务,而集成卷积神经网络与Transformer的MaskFormer网络则将其描述为掩模级的分类任务.为了解决语义分割形变建模能力差、物体轮廓分割模糊和收敛速度慢的问题,提出一种细化多尺度感知与优化轮廓的自适应道路场景语义分割网络.在编码器中,采用标准卷积与可变形卷积堆叠形成的瓶颈结构提高网络的形变建模能力;在解码器中,采用特征细化模块过滤无关特征,进一步提高特征金字塔网络的解码能力;针对特征金字塔网络进行多层级特征融合时上采样特征出现像素点错位的问题,引入特征校准模块优化物体轮廓的分割效果;最后在Transformer模块中采用Miti-DETR解码器加快网络的训练速度,提升分割精度.实验结果表明,所提网络在Cityscapes和Mapillary Vistas数据集上以较大的优势超过了现有的语义分割网络.

基于语义分割的车位检测算法研究

作为自动泊车系统中至关重要的一环,车位检测算法的精度直接决定自动泊车系统的好坏.目前,基于语义分割的车位检测算法主要有两个问题:一是分割网络参数量较大,难以满足移动端部署;二是后处理提取算法复杂,难以满足实时检测要求.针对这两个问题,设计一种通过检测车位线来获取停车位的车位检测算法.采用深度可分离卷积和非对称卷积相结合的方式设计车位线分割网络UFAC-Net,并提出一种更为简洁的车位线提取算法.实验结果表明:UFAC-Net模型(UFAC-Net2)分割的平均像素精度为83.07%,平均交并比为73.05%,模型参数量为3.1 MB,达到目前PSV datasets上最好的分割精度;车位检测算法可检测复杂情况下的平行、垂直、倾斜3种类型的车位,在自定义测试集中精准率为99.23%,召回率为99.12%,单张图像检测时间为32.2 ms,具有良好的检测性能.

基于细节增强的双分支实时语义分割网络

实时语义分割方法常利用双分支结构分别保存图像的浅层空间信息和深层语义信息。然而,当前基于双分支结构的实时语义分割方法重点研究语义特征的挖掘,忽略了空间特征的保持,导致网络无法精准地捕捉图像内物体的边界和纹理等细节特征,最终分割效果欠佳。针对以上问题,提出基于细节增强的双分支实时语义分割网络(DEDBNet),多阶段增强空间细节信息。首先,提出细节增强双向交互(DEBIM)模块,在分支间的交互阶段使用轻量空间注意力机制增强高分辨率特征图对细节信息的表达能力,促进空间细节特征在高低两分支上的流动,以加强网络对细节信息的学习能力;其次,设计局部细节注意力特征融合模块(LDAFF),在两分支末端特征融合的过程中同时建模全局语义信息和局部空间信息,解决不同层次特征图之间细节不连续的问题;此外,引入边界损失,在不影响模型速度的情况下引导网络浅层学习物体边界信息。所提网络在Cityscapes验证集上以92.3 frame/s的帧速率(FPS)获得78.2%的平均交并比(mIoU),在CamVid测试集上以202.8 frame/s获得79.2%的mIoU;与深度双分辨率网络(DDRNet-23-slim)相比,mIoU分别提高了1.1和4.5个百分点。实验结果表明,DEDBNet能够准确地分割场景图像,且满足实时性要求。

融合视觉特征的光伏组件语义分割模型研究

针对光伏组件红外图像的分割问题,使用MobileNetv2作为DeepLabv3+的主干特征提取网络并使用位置通道注意力模块减少背景干扰,引入混合条带池化对ASPP模块进行优化,帮助模型进一步捕获全局和上下文信息。针对检测困难的屋顶光伏组件设计DeepLabv3-T网络,在上述改进的基础上融入纹理信息进行选择性背景抑制,实现光伏组件的精确分割。在PV_large和PV_roof数据集上进行实验证明该文方法优于现有技术,DeepLabv3-T相较于DeepLabv3+,mIoU值分别提高了2.74%和10.53%。此外,设计消融实验表明各个改进模块的有效性。

融合多维特征的街景图像语义分割方法

为进一步提升深度学习语义分割方法在复杂街景图像上的分割精度,本文基于PointRend网络提出了一种融合多维特征(Multi-Dimensional Features,MDF)的街景图像语义分割网络(MDFNet)。首先,通过构建目标区域增强模块优化特征提取子网络,在深度网络的每个卷积块自适应地细化中间特征图,从而强化对复杂街景图像多维特征信息的精细提取;接着,在特征融合时引入特征金字塔网格,使用不同的卷积核处理不同尺度的街景图像,从而更加全面地获取复杂街景图像各类目标的不同分辨率特征;最后,使用双解码头对图像细节进行更细致的恢复,得到逐像素分类的结果。实验结果表明,本文网络与DeepLabV3、SegFormer等其他优秀分割网络相比,在Cityscapes复杂街景数据集上分割精度更高,平均交并比达到了80.11%,相比于其他网络提升了3.51%以上,对复杂街景图像的理解力更强。

基于社交媒体图片的地震灾情检测语义分割数据集

以社交媒体为代表的志愿者地理数据已成为减灾重要数据源,尤其是其中包含的图片数据,具有很强的灾害态势感知力。但目前对于该数据服务减灾的应用并不多,其主要原因在于具有标注特征的可用图片训练集匮乏,使得包括机器学习、深度学习等技术手段很难发挥作用,从而限制了该类数据反馈灾情信息的能力。本文从实际应用的角度出发,以地震灾害为研究对象,结合包括数据获取、自动化去重、语义标注以及数据增强等方法制作了面向社交媒体图片的灾害语义分割数据集。本数据集主要由社交媒体搜集的原始图片和人工语义标注后的伪彩色图片组成,并采用多人轮番标注以及交叉检验保证数据质量。本数据集对于提高社交媒体数据使用效率以及增强减灾态势感知具有重要作用。

基于双分支点流语义先验的路面病害分割模型

针对基于深度学习的真实路面病害图像识别算法主要面临的复杂道路背景与病害前景比例不同、病害尺度小等导致的类别严重不平衡、路面病害与道路的几何结构特征对比不明显导致其不易识别等问题,本文提出一种基于双分支语义先验网络,用于指导自注意力骨干特征网络挖掘背景与病害前景的复杂关系,运用高效自注意力机制和互协方差自注意力机制分别对二维空间和特征通道进行语义特征提取,并引入语义局部增强模块提高局部特征聚合能力。本文提出了一种新的稀疏主体点流模块,并与传统特征金字塔网络相结合,进一步缓解路面病害的类别不平衡问题;构建了一个真实场景的道路病害分割数据集,并在该数据集和公开数据集上与多个基线模型进行对比实验,实验结果验证了本模型的有效性。

基于注意力机制及多分支特征融合的实时语义分割算法

为了合理平衡语义分割中的精确度与实时性,基于快速卷积神经网络模型(Fast-SCNN)提出了一种基于注意力机制及多分支特征融合的实时语义分割算法模型。该算法模型首先通过注意力模块捕获空间特征之间的相互联系,增强空间细节信息;然后合理设计融合模块,最大化利用各分支信息,实现深层特征与浅层特征更好的融合;最后引入自适应特征增强注意力模块,捕获长距离像素间的相互依赖关系。实验结果表明,文中算法模型在Cityscapes数据集上获得了71.55%的分割精度,推理速度FPS达到97.6帧/s,模型参数量为1.39 M,验证了该算法所构成网络模型的有效性。

用于实时语义分割的丰富语义提取器网络

目的由于推理速度限制,网络深度较浅,实时语义分割网络提取的语义特征信息不足。此外,较浅的网络深度也限制了特征提取网络的能力,降低了其鲁棒性和适应能力。为此,方法提出一种用于实时语义分割的丰富语义提取器网络。首先针对语义特征信息提取不足的问题,引入丰富语义提取器,丰富语义提取器包括多尺度全局语义提取模块和语义融合模块。其次,利用多尺度全局语义提取模块可以提取丰富的多尺度全局语义,扩大网络的有效感受野,同时语义融合模块将多尺度局部语义与多尺度全局语义高效融合,使网络拥有更全面更丰富的语义信息。最后针对细节分支和语义分支的特点设计空间重构聚合模块,建模细节特征的上下文信息,增强特征表示,使2个分支高效聚合。结果在Cityscapes和ADE20K数据集上进行全面实验,所提出的RSENet分别以76帧/s和67帧/s的推理速度达到了75.6%和35.7%的MIoU。结论实验结果表明,在复杂场景语义信息的提取方面,本文所提出的网络能够深入挖掘并准确捕捉图像中语义信息。同时,在精度与速度的平衡方面也展现出了卓越的性能,不仅能够实现高精度的语义分割,而且推理速度非常快。这种高效的图像分割能力使得网络在实际应用场景中具有极高的实用性和可操作性。

基于弱监督语义分割的道路裂缝检测研究

基于弱监督语义分割的道路裂缝检测方法大多基于先分块后检测的流程,分块增加了标注的工作量和误判的分块数量。针对上述问题,提出了基于深度强化学习的道路裂缝分块分类模型,根据道路裂缝图像特点,对智能体的状态、动作和获取的奖励进行了设计,训练智能体自主选择裂缝分块,并将选择结果作为分块标签用于多尺寸分块道路裂缝检测。在cqu-bpdd等数据集上进行的对比实验,证明了所提方法在道路裂缝分割性能、裂缝平均宽度的测量准确度方面优于现有方法。