一种基于U-Net语义分割网络的多光谱迷彩目标识别方法

提出了一种基于U-Net的多光谱迷彩目标识别方法。设计数据采集方案采集迷彩目标多光谱数据;采用不同尺度卷积核提取联合的光谱空间特征;编码结构中采用残差学习加深网络深度,使网络能学习到更加丰富抽象的特征;对深层的特征图进行上采样与浅层特征图相加增强浅层特征图中的语义信息。与3通道U-Net语义分割网络相比,召回率提高了62.65%,F1-Score提高了50.18%,证明了采用多光谱识别迷彩目标的显著优势;与6通道U-Net语义分割网络相比,精确率保持基本不变的同时召回率提高了3.42%,F1-Score提高了1.62%,在保证检测准确的前提下进一步减少了误检。

基于Transformer的多尺度遥感语义分割网络

为了提升遥感图像语义分割效果,本文针对分割目标类间方差小、类内方差大的特点,从全局上下文信息和多尺度语义特征2个关键点提出一种基于Transformer的多尺度遥感语义分割网络(muliti-scale Transformer network,MSTNet)。其由编码器和解码器2个部分组成,编码器包含基于Transformer改进的视觉注意网络(visual attention network,VAN)主干和基于空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)结构改进的多尺度语义特征提取模块(multi-scale semantic feature extraction module, MSFEM)。解码器采用轻量级多层感知器(multi-layer perception,MLP)配合编码器设计,充分分析所提取的包含全局上下文信息和多尺度表示的语义特征。MSTNet在2个高分辨率遥感语义分割数据集ISPRS Potsdam和LoveDA上进行验证,平均交并比(mIoU)分别达到79.50%和54.12%,平均F1-score(m F1)分别达到87.46%和69.34%,实验结果验证了本文所提方法有效提升了遥感图像语义分割的效果。

NHNet——新型层次化遥感图像语义分割网络

深度学习分割方法是遥感图像分割领域的热点之一,主流的深度学习方法有卷积神经网络、transformer神经网络及两者的结合。特征提取是图像分割的重要环节,除了用卷积等方式提取特征,最近的研究聚焦于一些新的特征提取范式,如图卷积、小波变换等。本文利用聚类算法的区域构建属性,将改进的聚类算法用于骨干特征提取模块,同时使用卷积和视觉transformer作为辅助模块,以获取更丰富的特征表述;在模块基础上,提出了一种新型层次化遥感图像语义分割网络(NHNet);评估了NHNet语义分割的性能,并在LoveDA遥感数据集上与其他方法进行比较。结果表明,基于多特征提取的NHNet获得了竞争性的性能表现,平均交并比为49.64%,F_(1)分数为65.7%。同时,消融实验证明辅助模块提高了聚类算法分割的精确性,给NHNet分别提升了1.03%和2.41%的平均交并比。

基于PointNet优化网络的铁路站台语义分割

铁路站台点云语义分割是对铁路侵界现象进行检测的关键环节。文中以新型激光扫描测量系统采集的具有三维空间信息的点云数据为基础,在获取初步分割结果的基础上,设计PointNet网络整体结构提取点云数据全局特征,采用多层次金字塔结构对网络进行局部特征提取优化,实现铁路站台点云数据语义分割。研究表明,所提方法对实验点云数据的分割准确率达到84.5%,在铁路工程应用中的点云总体分割精度达到75.34%,在铁路检测中实现了大范围多尺度点云数据的可靠语义分割,满足铁路侵界现象检测分析需求。

面向道路场景语义分割的移动窗口变换神经网络设计

道路场景语义分割是自动驾驶环境感知的一项重要任务。近年来,变换神经网络(Transformer)在计算机视觉领域开始应用并取得了很好的效果。针对复杂场景图像语义分割精度低、细小目标识别能力不足等问题,本文提出了一种基于移动窗口Transformer的多尺度特征融合的道路场景语义分割算法。该网络采用编码-解码结构,编码器使用改进后的移动窗口Transformer特征提取器对道路场景图像进行特征提取,解码器由注意力融合模块和特征金字塔网络构成,充分融合多尺度的语义特征。在Cityscapes城市道路场景数据集上进行验证测试,实验结果表明,与多种现有的语义分割算法进行对比,本文方法在分割精度方面有较大的提升。

卷积神经网络在农业遥感图像语义分割中的应用综述

卷积神经网络是一种特殊的人工神经网络,通过卷积核遍历图获取更多的目标特征信息。近年来,遥感技术发展迅速并被广泛应用于土地利用分析、作物分类识别、作物生长监测和病虫害检测,卷积神经网络为提取农业遥感图像的有效信息提供了新方法。卷积神经语义分割网络可根据语义信息对遥感图像像素点进行标注分割,在计算机计算能力逐步提高的前提下,分割网络结构优化,深度加深,分割准确率提高,性能提升。针对实际需要网络侧重于模块化设计改进,在土地利用分析和农作物分类识别应用中,改进的网络分割边缘细化、清晰,且像素准确率较高。在作物生长监测和病虫害识别方面,模块化改进使网络可高效实现分割任务、满足实际需要,卷积神经网络对农业遥感图像信息的语义分割为农业现代化和精细化管理提供了信息支撑。

基于轻量级UNet的复杂背景字符语义分割网络

针对传统复杂背景字符分割算法的不足,提出了一种基于轻量级UNet的复杂背景字符语义分割网络.网络结构基于UNet,在特征提取模块中,将传统卷积变为深度可分离卷积,减少了网络特征提取模块的参数量以及计算量,并引入残差学习模块解决网络退化问题.在自制数据集以及H-DIBCO2018公开数据集上展开实验,并与FCN8s、AttationUNet和UNet进行比较.实验结果表明:所提出的网络可同时兼顾计算效率与分割精度,具有实用性.

基于特征融合和损失优化的点云语义分割网络

针对目前大多数方法仅利用单尺度特征而忽视了具有不同感受野的多尺度特征信息、无法有效处理点云数据集中类别权重不平衡的问题,提出一种基于全阶段特征融合(FSFF)和平衡损失(BL)的分割网络(FFBL-Net)。首先,FSFF模块通过将不同编码阶段的可学习特征与当前阶段特征进行融合,促进了浅层和深层语义信息互补;融合后的特征被传递到编码融合模块(EFM)和解码融合模块(DFM),实现了特征的跨阶段融合。此外,为了解决数据集中类别分布不平衡的问题,引入BL损失调整类别间的梯度差异。实验结果表明,FFBL-Net在主流的大规模点云数据集S3DIS上,平均交并比达到了69.7%,总体准确率达到了89.9%。与PointNet++相比,FFBL-Net分别提升了12.4%和6.1%。

基于改进U-Net的遥感图像语义分割

全卷积神经网络在遥感图像语义分割中得到了广泛应用,该方法地物分类精度和效率较高,但对地物分布不均匀遥感图像占比较少地物的分类准确率较低。为了提高遥感图像的分类精度,本文通过添加先验知识方法丰富输入数据特征,采用密集链接方式提高上下采样过程中特征的重复利用率,采用可以优化交并比的损失函数Dice Loss和可以提高难分类类别精度的损失函数Focal Loss相加组合作为网络模型的损失函数,采用LayerScale模块加快模型收敛、抑制无用特征、突出有效特征的方式,对U-Net的输入、网络结构、损失函数进行改进,优化语义分割效果。结果表明,基于高分影像数据集(GID)改进的U-Net相较于原始U-Net像素精度、均类像素精度、平均交并比分别提高了0.0233、0.0409、0.0665,提升了地物分类精度,取得了较好的分类效果。

基于轻量语义分割网络的遥感土地覆盖分类

高分辨率遥感图像有丰富的空间特征,针对遥感土地覆盖方法中模型复杂,边界模糊和多尺度分割等问题,提出了一种基于边界与多尺度信息的轻量化语义分割网络.首先,使用轻量化的MobileNetV3分类器,采用深度可分离卷积来减少计算量.其次,使用自顶向下和自底向上的特征金字塔结构来进行多尺度分割.接着,设计了一个边界增强模块,为分割任务提供丰富的边界细节信息.然后,设计了一个特征融合模块,融合边界与多尺度语义特征.最后,使用交叉熵损失函数和Dice损失函数来处理样本不平衡的问题.在WHDLD数据集的平均交并比达到了59.64%,总体精度达到了87.68%.在DeepGlobe数据集的平均交并比达到了70.42%,总体精度达到了88.81%.实验结果表明,该模型能快速有效地实现遥感图像土地覆盖分类.

基于跨层次聚合网络的实时城市街景语义分割

随着自动驾驶技术的迅速发展,精确高效的场景理解显得尤为重要。城市街景语义分割旨在准确识别并分割出行人、障碍物、道路和标志物等要素,为自动驾驶技术提供必要的道路信息。然而,当前的语义分割算法在城市街景分割中仍然面临一些挑战,主要表现为不同类别的像素区分不够清晰、对于复杂场景结构的理解不够精准以及对小尺度对象或大尺度结构的分割不准确等问题。为此,本文提出一种基于跨层次聚合网络的实时城市街景语义分割算法。首先,在编码器末端设计了结合跨层次聚合的金字塔池化模块,用于高效提取多尺度上下文信息;其次,在编码器和解码器之间设计了跨层次聚合模块,通过引入通道注意力机制增强信息的表征能力,逐级聚合编码器阶段的特征以充分实现特征复用;最后,在解码器阶段设计了多尺度融合模块,在通道维度聚合全局信息与局部信息,促进深层特征与浅层特征的融合。将所提算法在两个通用的城市街景数据集上进行了验证。在一张RTX3090显卡上(TensorRT测速环境),本文算法在Cityscapes测试集以294 FPS的实时性达到73.0%mIoU的准确性,在更高分辨率的图像上以164 FPS的实时性达到75.8%mIoU的准确性;在CamVid数据集以239 FPS的实时性达到74.8%mIoU的准确性。实验结果表明,本文算法在准确性与实时性之间取得了有效平衡,对比其他算法的语义分割性能具有显著提升,为实时城市街景语义分割领域带来了新的突破。

基于语义分割网络的植保机器人视觉伺服控制方法

为实现稳定可靠的植保机器人视觉伺服控制,提出了一种基于语义分割网络的作物行特征检测方法。基于语义分割网络ESNet实现农田场景图像像素级带状区域检测,并利用最小二乘算法拟合得到每条行作物线特征;在此基础上通过设计一种主导航线提取算法获取导航路径,并利用卡尔曼滤波对主导航线几何参数进行平滑处理,有效抑制了不平整地面导致的机器人运动颠簸与视觉图像测量噪声引起的导航参数波动。继而构建机器人前轮转向、后轮差速的阿克曼运动学模型;在图像空间坐标下设计纯追踪控制器实现植保机器人的伺服运动控制。大田环境下的现场实验结果为:总体横向偏差为0.092 m,验证了本文方法的有效性。

基于改进的U-Net的遥感图像语义分割

遥感图像语义分割是根据土地覆盖类型对图像中每个像素进行分类,是遥感图像处理领域的一个重要研究方向,由于在研究的过程出现了相似地物导致分割不准确,为了解决这个问题,提出一种基于U-Net和残差网络的遥感图像语义分割网络DeepResU-Net,对传统的U-Net语义分割网络进行改进,以U-Net为骨架网络,采用残差卷积单元替换原始U-Net的编码层和解码层中的卷积层,防止网络梯度消失,网络中还含有丰富的跳跃连接可以促进信息传播。在遥感(ISPRS)Vaihingen数据集上的实验表明,该方法比FCN-8s、SegNet、U-Net、ResU-Net的分割准确度更高。

基于改进U-Net网络的遥感图像山体滑坡分割提取

针对遥感图像山体滑坡分割提取难度大、精度低等问题,提出了一种基于改进U-Net网络的遥感图像山体滑坡分割提取方法。首先将原始网络中的特征提取模块用残差网络ResNet进行替换,加深网络防止梯度消失,可以学习到更深层的特征;其次,融入(multi-scale features fusion module)多尺度特征融合注意力模块增强发现山体滑坡区域的能力;最后,采用广义的损失函数FTL(Focal Tversky Loss)替换带权重的交叉熵损失函数以平衡准确率和召回率之间的关系。实验结果表明,改进后算法mIoU为65.92%,比改进前提升了2.5个百分点,mPA为73.93%,比改进前提升了3.56个百分点,F1-score综合得分指标为60.08%,比改进前提升5.09个百分点。改进后模型算法能有效提高山体滑坡分割性能。

基于U-Net网络与分水岭相结合的脑肿瘤分割

有效的MRI脑肿瘤图像分割能够为医生对患者的诊断和治疗提供可靠的依据。虽然卷积神经网络在医学图像分割的领域取得了显著的进展,但脑部结构过于复杂,误分割率较高,MRI脑肿瘤图像分割仍存在许多不足。U-Net网络的全对称结构能够使其只需少量训练即可提取足够的特征,但由于U-Net网络每次卷积图像都会小一圈,导致上采样和下采样所还原的像素尺寸不一样,无法对肿瘤边缘进行准确地分割。为解决上述问题,提出了一种基于U-Net网络与分水岭相结合的脑肿瘤分割算法。利用U-Net网络模型中的跳跃连接结合压缩路径和扩展路径的特征图,得到对感兴趣区域的初分割,然后通过添加基于重建的开闭操作的分水岭算法优化初分割图边界,得到最终的分割结果。实验结果表明,该方法在准确率Acc、特异性Sp、灵敏度Sn和精度PPV上分别可达到0.896、0.988 8、0.905 9和0.980 1,能够有效地分割出病变区域,具有明显的研究价值。

基于改进双重深度Q网络主动学习语义分割模型

针对在图像语义分割任务中获取像素标签困难和分割数据集类别不平衡的问题,提出了一种基于改进双重深度Q网络的主动学习语义分割模型CG_D3QN。引入了一种结合决斗网络结构以及门控循环单元的混合网络结构,通过减轻Q值过估计问题和有效地利用历史状态信息,提高了策略评估的准确性和计算效率。在CamVid和Cityscapes数据集上,该模型相较于基线方法,所需的样本标注量减少了65.0%,同时对于少样本标签的类别,其平均交并比提升了约1%~3%。实验结果表明,该模型能够显著减少样本标注成本并有效地缓解了类别不平衡问题,且对于不同的分割网络也具有适用性。

基于改进生成对抗网络的半监督语义分割

为了解决对抗式半监督语义分割网络在训练过程中稳定性较差,传统语义分割网络难以对像素之间远距离依赖关系建模等问题,提出了一种结合谱归一化生成对抗网络和坐标注意力机制的半监督语义分割网络.利用谱归一化使对抗网络判别器满足利普西茨连续性,从而提高了网络训练过程的稳定性且避免了梯度消失的问题;在分割网络中融入坐标注意力机制,使网络能够获取远距离像素之间的依赖关系,并扩大感受野.与基准模型相比,在PASCAL VOC 2012增强数据集中采用1/50、1/20和1/8标记数据集时,MIoU分别提升了2.2%、1.4%和1.8%;在Cityscapes城市街景数据集中采用1/8、1/4和1/2标记数据集时,MIoU分别提升了1.9%、2.1%和1.3%.实验结果证明,与其他基于对抗学习的半监督语义分割网络相比,该算法在半监督语义分割任务中具有较好的稳定性和准确性.

基于非对称UNet网络的磁共振图像胃肠道语义分割方法研究

靶区和脏器的自动化标注是磁共振图像引导放疗的关键技术之一。研究了磁共振图像中胃肠道等空腔脏器语义分割的方法,在语义分割任务中,往往输入图象比输出图像复杂很多,假设网络的复杂度和输入输出的图像复杂度正相关,提出了一个12层的非对称UNet网络,把更多的网络参数放在编码器上,解码器的参数量只有编码器的三分之一。实验结果表明在UMWGI数据集上对胃、大肠、小肠的语义分割任务中,所提方法的DSC综合得分达到了0.856,Hausdorff_95得分达到了3.743,相同网络规模的条件下,优于对称结构的UNet网络和Transfomer网络,说明所提方法可以较好地完成磁共振图像中的胃肠道语义分割,边界分割也较为理想,为实现磁共振图像上胃肠道的自动化标注提供了可行方案。

基于图卷积神经网络的点云语义分割综述

随着点云在自动驾驶、地图测绘和矿山测量等领域的广泛应用,人们愈发关注这种蕴含丰富信息的数据表示形式。点云语义分割作为点云数据处理的重要手段,因具有极高的研究价值和应用前景而受到广泛关注。由于点云所具有的置换不变性和旋转不变性等特点,传统的卷积神经网络无法直接处理不规则的点云数据,而图卷积神经网络却可以使用图卷积算子直接提取点云特征,逐步成为当前点云分割领域的研究热点。虽已有综述性文章对点云分割方法做出总结,但这些文章对图卷积的介绍较为粗略。因而对近几年基于图卷积的点云分割方法进行了分析和归类,总结每类方法的研究思路和特点;然后,介绍了一些在点云语义分割领域中主流的点云数据集和评价指标,并对提及的分割方法的实验结果进行对比;最后,对各类方法的发展方向进行了展望。

结合生成对抗网络与混合注意力机制的街景图像语义分割

街景图像语义分割是自动驾驶领域的主要研究任务之一,对于路径规划和行人安全保障具有重要意义。目前,街景图像语义分割主要存在小目标物体分割不精确、模型容易出现过拟合的问题。为此,提出一种结合生成对抗网络与混合注意力机制的街景图像语义分割模型。具体而言,提出一种多尺度混合注意力模块,用于增强上下文语义信息、提高特征表征能力和对多尺度目标的适应性。同时,为了降低过拟合,引入BN层,结合DCGAN网络构建生成对抗网络分割模型,通过判别损失和分割损失共同约束训练,以增强模型稳定性、提高分割精度。实验结果表明,与DeepLabV3+相比,所提模型在Cityscapes数据集上的分割精度提高了2.4个百分点,mIoU值达到73.4%。