融合语义分割与模糊推理的无人机应急降落选址算法

随着无人机的应用领域从娱乐摄影拓展到物流、军事和灾害响应,对于无人机的自主智能化要求也越来越高。针对无人机紧急情况下自主降落区域复杂难以保证着陆安全的问题,提出了一种实时语义分割网络与模糊推理相结合的降落选址算法(STDC-LSSNet)。考虑到潜在危险因素在航拍图像上占比小、易被错误分割的问题,提出了小目标特征提取模块(small target feature capture module,STFCM),通过计算不同尺度特征的相似性并进行权重分配,强化小目标特征的表达。考虑到安全区域与危险区域边界混淆会导致无人机降落存在巨大风险,提出了边界特征融合模块(boundary feature fusion module,BFFM),将浅层网络由拉普拉斯卷积得到的边界信息与深层网络的语义信息进行特征融合,引入注意力机制,增强边界区域特征的表达。通过对分割得到的图像进行模糊推理,从而精确识别应急降落地点。所提算法在公开数据集Semantic Drone和AeroScapes上与最先进的算法进行了广泛的对比实验,mIoU提升1.72个百分点和3.89个百分点,实时分割速度达到210 FPS,选址的速度达到58.62 ms,实现了无人机在复杂情况下的应急降落选址。

基于点云语义分割的猕猴桃冠层叶密度测量方法

提出了一种基于LiDAR的猕猴桃果园叶密度测量方法,旨在为猕猴桃果园冠层喷药提供更精确的指导。首先,使用激光雷达扫描10个密度不同的猕猴桃冠层建立点云数据集,利用RandLA-Net神经网络模型并通过6折交叉验证的方法对猕猴桃冠层的树叶、树枝和T型架点云进行语义分割;然后,计算仅包含树叶信息的冠层点云表面积,通过与人工落叶后的实测冠层叶属性(叶面积、叶片数)进行回归分析比较,得到冠层叶点云表面积与真实冠层叶属性的关系;最后,将3 m×3 m的猕猴桃冠层区域划分为400个225 cm^(2)的小网格区域,用以生成冠层叶密度图。结果表明:RandLA-Net网络模型能够有效地对猕猴桃冠层的树枝、树叶与T型架点云进行分割,模型平均总体精度OA达到92%以上,平均交并比mIoU为81.4%,冠层实测叶面积与冠层叶点云表面积的回归分析中获得了较高的相关性R=0.78,回归方程为y=1.491x+8315。对于每个猕猴桃冠层点云数据,通过Alpha-shape算法计算网格区域的冠层体积和预测网格真实叶面积的方法生成冠层叶密度图。所开发的基于点云语义分割的猕猴桃冠层叶密度测量方法,各项指标均符合预期要求,可以为果园冠层喷药提供更精准的指导。

DCaT:面向高分辨率场景的轻量级语义分割模型

语义分割是计算机视觉中分析和理解场景的关键任务,但现有的分割模型需要较高的计算成本和内存需求,不适合高分辨率场景的轻量级语义分割。针对该问题,提出了一种新的面向高分辨率场景的轻量级语义分割模型DCaT。采用深度可分离卷积提取图像的局部语义;使用基于坐标感知和动态稀疏混合注意力的轻量级Transformer获取图像的全局语义;通过模块融合,在低级语义上注入高级语义;通过分割头输出像素预测标签。实验结果表明:与基线模型相比,DCaT在高分辨率数据集Cityscapes上的平均交并比提高了1.5个百分点,模型复杂度降低了26%,推理速度提升了12%。实现了高分辨率场景下模型复杂度与性能之间的更好平衡,证明了DCaT的有效性和实用性。

双编码端高分辨率遥感影像语义分割算法

遥感影像具有多尺度对象、复杂背景、不均衡类别等特点。基于卷积神经网络(CNN)的语义分割算法难以捕捉到影像的全局特征,导致分割效果不佳。针对以上问题,利用Swin Transformer的全局特征提取能力,提出了双编码端高分辨率遥感影像语义分割算法DEGFNet。设计特征融合模块(FFB)将Swin Transformer捕获的全局特征引入编码端,应对多尺度对象带来的挑战。在Swin Transformer中设计空间交互模块(SIB),降低复杂背景样本带来的负面影响;在解码端引入全局-局部注意力模块(GLTB)和特征细化模块(FRB),来更好地利用编码端提取的信息,提高语义分割的精确性;采用交叉熵损失和Dice Loss组成的混合损失函数训练模型,减轻样本类别不均衡带来的消极影响。在Vaihingen数据集上,宏观平均F1值(mF1)、平均交并比(mIoU)和整体准确率(OA)指标分别达到91.9%、84.8%和92.4%;在LoveDA数据集上,mIoU指标达到55.0%,均展现出了更好的语义分割效果和良好的泛化性。

基于域适应的图像语义分割综述

随着深度学习技术的迅速发展,语义分割算法在性能提升的同时依赖于大规模成对图像数据及其耗时耗力的像素级标注.人工制作的合成图像以规模大、易标注的特点,替代真实图像有效降低了训练成本.然而,合成图像与真实图像的域间差异性降低了分割网络的泛化能力.针对域间差异问题,研究者提出域适应语义分割(Domain Adaptive Semantic Segmentation,DASS)算法.该算法通过提取合成图像与真实图像的跨域共享知识,减小域间差异,提升分割网络在真实图像上的泛化能力.本文根据网络结构对主流DASS算法进行分类,分析了不同算法的性能对比结果,并提出未来研究方向.研究结果表明:早期的DASS算法利用生成对抗网络对齐源域和目标域的边缘分布,但网络结构复杂,并且只能实现两域的全局对齐,无法实现不同类别之间的精细对齐,性能较低;后续算法逐渐转向自训练网络结构,利用预训练的分割网络在目标域生成伪标签,为下一轮训练提供监督,结构简单,性能表现优于早期算法;随着Transformer网络的出现,其强大的特征提取能力进一步提升了DASS算法的准确性.

基于注意力机制和全局特征优化的点云语义分割

在基于深度学习的三维点云语义分割算法中,为了加强提取局部特征细粒度能力和学习不同局部邻域之间的长程依赖性,提出一种基于注意力机制和全局特征优化的神经网络。首先,通过加性注意力的形式设计单通道注意力(SCA)模块和点注意力(PA)模块,前者通过自适应调节单通道中各点特征加强对局部特征的分辨能力,后者通过调节单点特征向量之间的重要程度抑制无用特征并减少特征冗余;其次,加入全局特征聚合(GFA)模块,聚合各局部邻域特征,以捕获全局上下文信息,从而提高语义分割精度。实验结果表明,在点云数据集S3DIS上,所提网络的平均交并比(mIoU)相较于RandLA-Net(Random sampling and an effective Local feature Aggregator Network)提升了1.8个百分点,分割性能良好,具有较好的适应性。

双通道特征融合的真实场景点云语义分割方法

真实场景点云不仅具有点云的空间几何信息,还具有三维物体的颜色信息,现有的网络无法有效利用真实场景的局部特征以及空间几何特征信息,因此提出了一种双通道特征融合的真实场景点云语义分割方法DCFNet(dual-channel feature fusion of real scene for point cloud semantic segmentation)可用于不同场景下的室内外场景语义分割。更具体地说,为了解决不能充分提取真实场景点云颜色信息的问题,该方法采用上下两个输入通道,通道均采用相同的特征提取网络结构,其中上通道的输入是完整RGB颜色和点云坐标信息,该通道主要关注于复杂物体对象场景特征,下通道仅输入点云坐标信息,该通道主要关注于点云的空间几何特征;在每个通道中为了更好地提取局部与全局信息,改善网络性能,引入了层间融合模块和Transformer通道特征扩充模块;同时,针对现有的三维点云语义分割方法缺乏关注局部特征与全局特征的联系,导致对复杂场景的分割效果不佳的问题,对上下两个通道所提取的特征通过DCFFS(dual-channel feature fusion segmentation)模块进行融合,并对真实场景进行语义分割。对室内复杂场景和大规模室内外场景点云分割基准进行了实验,实验结果表明,提出的DCFNet分割方法在S3DIS Area5室内场景数据集以及STPLS3D室外场景数据集上,平均交并比(MIOU)分别达到71.18%和48.87%,平均准确率(MACC)和整体准确率(OACC)分别达到77.01%与86.91%,实现了真实场景的高精度点云语义分割。

基于Transformer的多尺度遥感语义分割网络

为了提升遥感图像语义分割效果,本文针对分割目标类间方差小、类内方差大的特点,从全局上下文信息和多尺度语义特征2个关键点提出一种基于Transformer的多尺度遥感语义分割网络(muliti-scale Transformer network,MSTNet)。其由编码器和解码器2个部分组成,编码器包含基于Transformer改进的视觉注意网络(visual attention network,VAN)主干和基于空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)结构改进的多尺度语义特征提取模块(multi-scale semantic feature extraction module, MSFEM)。解码器采用轻量级多层感知器(multi-layer perception,MLP)配合编码器设计,充分分析所提取的包含全局上下文信息和多尺度表示的语义特征。MSTNet在2个高分辨率遥感语义分割数据集ISPRS Potsdam和LoveDA上进行验证,平均交并比(mIoU)分别达到79.50%和54.12%,平均F1-score(m F1)分别达到87.46%和69.34%,实验结果验证了本文所提方法有效提升了遥感图像语义分割的效果。

基于改进HRNet的遥感影像冬小麦语义分割方法

冬小麦在影像中呈现田块碎小且分布零散等空间特征,同时影像包含的复杂地物对冬小麦识别造成干扰,易出现识别精度低且边界分割模糊等问题。为及时准确获取大范围冬小麦空间分布信息,该研究以高分二号卫星影像作为数据源,提出一种CAHRNet(change attention high-resolution Net)语义分割模型。采用HRNet(high-resolution Net)替换ResNet作为模型的主干网络,网络的并行交互方式易获取高分辨率的特征信息;联合OCR(object-contextual representations)模块聚合上下文信息,以增强像素点与目标对象区域的关联性;3)引入坐标注意力(coordinate attention)机制,使网络模型充分利用有效的空间位置信息,以保留分割区域的边缘细节,提高对分布零散、形状多变的冬小麦田块的特征提取能力。试验结果表明,在自制的高分辨率遥感数据集上,CAHRNet模型的平均交并比(mean intersection over union,MIoU)和像素准确率(pixel accuracy, PA)分别达到81.72%和97.08%,MIoU相较U-Net、DeepLabv3+分别提高了9.09、2.44个百分点;PA相较U-Net、DeepLabv3+分别提高6.80、1.59个百分点,说明CAHRNet模型具有较高的分割识别精度,可为进一步准确获取冬小麦作物分布信息提供技术支撑。

基于斜坡单元和语义分割的皖南地区滑坡灾害易发性评估

滑坡灾害严重影响着人们的生命和财产安全,对自然环境造成重大破坏。以斜坡单元为单位进行滑坡易发性评估能够更加接近真实的滑坡地形,为滑坡灾害的防治提供更加科学的理论支持。本文以安徽省皖南地区为研究区,基于黄山、宣城、池州市滑坡点数据以及皖南地区基础地理数据,利用主成分分析和多重共线性分析方法筛选滑坡评价因子,提出将斜坡单元几何形状信息和语义分割方法相结合的创新方法,构建滑坡灾害易发性评估模型,对皖南地区的滑坡灾害易发性进行评估,揭示其空间分布规律。结果表明:结合斜坡单元和语义分割方法构建的滑坡易发性评估模型具有较高的预测精度,能够充分考虑斜坡单元的几何形状信息对滑坡易发性的影响,较为准确地评估皖南地区的滑坡易发性。评估结果符合滑坡形成机理,其中62.19%的滑坡单元分布在滑坡易发性等级中—高的斜坡单元上,模型预测AUC值为0.878,与缺少几何形状信息的CNN模型进行对比,预测精度明显提高。

基于语义分割的带式输送机煤料运输区域检测算法

针对煤炭运输过程中,经常无法保持煤炭在带式输送机上的运量均匀,使得带式输送机长时间全速运转而造成电能浪费和设备无效磨损的问题,提出一种基于语义分割的带式输送机煤料运输区域检测算法。该算法在DeeplabV3+的基础上,根据特征通道之间的相互依赖关系,引入注意力机制,使用不同扩张率的卷积核获得多种尺度的语义信息,来精确分割出煤炭在带式输送机的运输区域。实验结果表明,该算法平均交并比(Mean Intersection over Union,MIoU)相比于DeeplabV3+算法提高1.24百分点,能够有效精准地分割出煤料的运输区域,为煤量估计工作提供有效的保障。

高效跨域的Transformer小样本语义分割网络

小样本语义分割旨在仅使用数个标注样本学习目标类别特征并完成分割任务。主流研究存在的主要问题是:训练效率低下,训练和测试在同一数据域。为此构建了一种基于Transformer的高效、跨域的小样本语义分割网络SGFNet。在编码层,使用共享权重的MixVisionTransformer构建孪生网络,用于提取支持集和查询集的图像特征;在关系计算层,通过计算支持集图像特征向量与其对应mask的哈达玛积,提取目标类别的高维特征,并与查询集图像特征进行关系计算;在解码层,改进基于MLP的解码器,提出了残差解码器,将不同层级的特征解码得到最终分割结果。实验表明,该模型只需要在FSS-1000数据集上使用单张3090 GPU训练1.5~4.0 h,即可在FSS-1000数据集上获得最优结果1-shot mIoU 87.0%,在PASCAL-5i和COCO-20i数据集进行跨域测试达到非跨域的效果,1-shot mIoU分别为60.4%和33.0%,证明了该模型高效且跨域。

多尺度非对称卷积的轻量级U2-Net医学影像语义分割模型

基于U2-Net网络结构,设计了一种运行更高效、分割更准确的医学影像语义分割模型。通过多尺度非对称卷积核代替传统的注意力机制以及降低原U2-Net网络的层数,减少模型参数量;通过改变U2-Net网络连接方式,使用U-Net++网络的跳跃连接方式,使模型在传递特征信息时保持完整性,减少信息损失,使分割边缘更加精确且连续;根据正负样本不均衡和难易不同的问题设计了避免在训练过程中大量简单负样本占据主导地位的二分类交叉熵损失函数(BCE Loss),更倾向于挖掘前景区域的骰子损失函数(Dice Loss)以及更偏向于两图的结构相似性的多层级结构相似性损失函数(MS-SSIM Loss)的组合损失函数,用来监督网络优化。实验结果表明:所提算法在DRIVE、STARE数据集上比现有最先进网络模型(SOTA)的F1分数分别提高2.6%、1.4%,在ISIC-2018数据集上比SOTA的DSC指标提高2.6%。对分割结果进行可视化后表明,网络在样本较小的情况下可以充分提取样本信息,提高语义分割效果。

融合视觉特征的光伏组件语义分割模型研究

针对光伏组件红外图像的分割问题,使用MobileNetv2作为DeepLabv3+的主干特征提取网络并使用位置通道注意力模块减少背景干扰,引入混合条带池化对ASPP模块进行优化,帮助模型进一步捕获全局和上下文信息。针对检测困难的屋顶光伏组件设计DeepLabv3-T网络,在上述改进的基础上融入纹理信息进行选择性背景抑制,实现光伏组件的精确分割。在PV_large和PV_roof数据集上进行实验证明该文方法优于现有技术,DeepLabv3-T相较于DeepLabv3+,mIoU值分别提高了2.74%和10.53%。此外,设计消融实验表明各个改进模块的有效性。

基于细节增强的双分支实时语义分割网络

实时语义分割方法常利用双分支结构分别保存图像的浅层空间信息和深层语义信息。然而,当前基于双分支结构的实时语义分割方法重点研究语义特征的挖掘,忽略了空间特征的保持,导致网络无法精准地捕捉图像内物体的边界和纹理等细节特征,最终分割效果欠佳。针对以上问题,提出基于细节增强的双分支实时语义分割网络(DEDBNet),多阶段增强空间细节信息。首先,提出细节增强双向交互(DEBIM)模块,在分支间的交互阶段使用轻量空间注意力机制增强高分辨率特征图对细节信息的表达能力,促进空间细节特征在高低两分支上的流动,以加强网络对细节信息的学习能力;其次,设计局部细节注意力特征融合模块(LDAFF),在两分支末端特征融合的过程中同时建模全局语义信息和局部空间信息,解决不同层次特征图之间细节不连续的问题;此外,引入边界损失,在不影响模型速度的情况下引导网络浅层学习物体边界信息。所提网络在Cityscapes验证集上以92.3 frame/s的帧速率(FPS)获得78.2%的平均交并比(mIoU),在CamVid测试集上以202.8 frame/s获得79.2%的mIoU;与深度双分辨率网络(DDRNet-23-slim)相比,mIoU分别提高了1.1和4.5个百分点。实验结果表明,DEDBNet能够准确地分割场景图像,且满足实时性要求。

融合多维特征的街景图像语义分割方法

为进一步提升深度学习语义分割方法在复杂街景图像上的分割精度,本文基于PointRend网络提出了一种融合多维特征(Multi-Dimensional Features,MDF)的街景图像语义分割网络(MDFNet)。首先,通过构建目标区域增强模块优化特征提取子网络,在深度网络的每个卷积块自适应地细化中间特征图,从而强化对复杂街景图像多维特征信息的精细提取;接着,在特征融合时引入特征金字塔网格,使用不同的卷积核处理不同尺度的街景图像,从而更加全面地获取复杂街景图像各类目标的不同分辨率特征;最后,使用双解码头对图像细节进行更细致的恢复,得到逐像素分类的结果。实验结果表明,本文网络与DeepLabV3、SegFormer等其他优秀分割网络相比,在Cityscapes复杂街景数据集上分割精度更高,平均交并比达到了80.11%,相比于其他网络提升了3.51%以上,对复杂街景图像的理解力更强。

基于语义分割的车位检测算法研究

作为自动泊车系统中至关重要的一环,车位检测算法的精度直接决定自动泊车系统的好坏.目前,基于语义分割的车位检测算法主要有两个问题:一是分割网络参数量较大,难以满足移动端部署;二是后处理提取算法复杂,难以满足实时检测要求.针对这两个问题,设计一种通过检测车位线来获取停车位的车位检测算法.采用深度可分离卷积和非对称卷积相结合的方式设计车位线分割网络UFAC-Net,并提出一种更为简洁的车位线提取算法.实验结果表明:UFAC-Net模型(UFAC-Net2)分割的平均像素精度为83.07%,平均交并比为73.05%,模型参数量为3.1 MB,达到目前PSV datasets上最好的分割精度;车位检测算法可检测复杂情况下的平行、垂直、倾斜3种类型的车位,在自定义测试集中精准率为99.23%,召回率为99.12%,单张图像检测时间为32.2 ms,具有良好的检测性能.

细化多尺度感知与优化轮廓的自适应道路场景语义分割网络

语义分割通常被描述为像素级的分类任务,而集成卷积神经网络与Transformer的MaskFormer网络则将其描述为掩模级的分类任务.为了解决语义分割形变建模能力差、物体轮廓分割模糊和收敛速度慢的问题,提出一种细化多尺度感知与优化轮廓的自适应道路场景语义分割网络.在编码器中,采用标准卷积与可变形卷积堆叠形成的瓶颈结构提高网络的形变建模能力;在解码器中,采用特征细化模块过滤无关特征,进一步提高特征金字塔网络的解码能力;针对特征金字塔网络进行多层级特征融合时上采样特征出现像素点错位的问题,引入特征校准模块优化物体轮廓的分割效果;最后在Transformer模块中采用Miti-DETR解码器加快网络的训练速度,提升分割精度.实验结果表明,所提网络在Cityscapes和Mapillary Vistas数据集上以较大的优势超过了现有的语义分割网络.

基于注意力机制及多分支特征融合的实时语义分割算法

为了合理平衡语义分割中的精确度与实时性,基于快速卷积神经网络模型(Fast-SCNN)提出了一种基于注意力机制及多分支特征融合的实时语义分割算法模型。该算法模型首先通过注意力模块捕获空间特征之间的相互联系,增强空间细节信息;然后合理设计融合模块,最大化利用各分支信息,实现深层特征与浅层特征更好的融合;最后引入自适应特征增强注意力模块,捕获长距离像素间的相互依赖关系。实验结果表明,文中算法模型在Cityscapes数据集上获得了71.55%的分割精度,推理速度FPS达到97.6帧/s,模型参数量为1.39 M,验证了该算法所构成网络模型的有效性。

基于弱监督语义分割的道路裂缝检测研究

基于弱监督语义分割的道路裂缝检测方法大多基于先分块后检测的流程,分块增加了标注的工作量和误判的分块数量。针对上述问题,提出了基于深度强化学习的道路裂缝分块分类模型,根据道路裂缝图像特点,对智能体的状态、动作和获取的奖励进行了设计,训练智能体自主选择裂缝分块,并将选择结果作为分块标签用于多尺寸分块道路裂缝检测。在cqu-bpdd等数据集上进行的对比实验,证明了所提方法在道路裂缝分割性能、裂缝平均宽度的测量准确度方面优于现有方法。