改进DeepLab v3+模型下的梯田遥感提取研究

[目的与意义]梯田作为农业生产的关键要素之一,其面积估算对于农业政策制定、土地规划和资源管理至关重要。为解决复杂的地形条件、种植环境导致传统遥感数据和监测方法难以开展梯田自动化提取问题,探索一种利用深度学习技术在高分辨率遥感影像中精准提取梯田面积的方法。[方法]以休耕期梯田高分六号影像构建语义分割数据集,同时提出一种改进的DeepLab v3+模型。该模型使用轻量级网络MobileNet v2作为骨干网络,为了同时兼顾局部细节和全局语境,使用多尺度特征融合(Multi-scale Feature Fusion module,MSFF)模块代替空洞空间金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)模块,利用扩张率依次增大的空洞卷积级联模式改善信息丢失的问题。此外,对浅层特征和深层特征使用坐标注意力机制以加强网络对于目标的学习。[结果与讨论]利用红、绿和近红外波段组合方式在梯田提取的精度和效果上表现最佳。相比于原始DeepLab v3+网络,精确率、召回率、F_(1)评分和交并比指标分别提升4.62%、2.61%、3.81%和2.81%。此外,与UNet和原始DeepLab v3+相比,改进的DeepLab v3+在参数量上和浮点运算数有着更为优越的性能,其参数量仅为UNet的28.6%和原始DeepLab v3+的19.5%,同时浮点运算数仅为UNet和DeepLab v3+的1/5。这不仅提高了计算效率,也使得改进后的模型更适用于资源有限或计算能力较低的环境中。[结论]深度学习在高分辨率遥感影像梯田识别中具有较高的精度,有利于为梯田精细化监测和管理提供参考依据。

基于DeepLab V3+估测小龙虾虾头虾钳占比及分级

目的:完善小龙虾分级工作。方法:搭建小龙虾图像拍摄平台,获取小龙虾原始图像,创建分割虾头、虾钳和虾尾3个部位的语义分割数据集。分析小龙虾虾头、虾钳、虾尾3个部位实际质量与数据集中对应部位像素大小之间的相关性,总结得到根据整虾中虾头虾钳占比进行分级的小龙虾分级新标准。使用数据集训练DeepLab V3+神经网络,并用测试集检验模型语义分割效果以及小龙虾分级的准确率,语义分割评价指标为平均交并比(MIoU)、平均像素准确率(MPA)和像素准确率(PA)。结果:小龙虾语义分割测试集的MIoU为94.35%,MPA为96.56%,PA为99.44%,测试集小龙虾分级准确率为85.56%。结论:DeepLab V3+模型可以准确分割小龙虾图像并估测虾头虾钳占比,模型能够完成小龙虾分级任务。

基于DeepLab V3+深度神经网络的结直肠息肉内镜图像分割

目的:基于深度神经网络DeepLab V3+建立结直肠息肉内镜图像语义分割模型。方法:选取Hyper-Kvasir数据库1000张、苏州大学附属第一医院500张结直肠息肉内镜图像,分为训练集(n=1200)和验证集(n=300),同时收集江苏大学附属金坛医院肠息肉图像作为测试集(n=220)。对内镜图像进行分割标记,载入以DeepLab V3+为框架的深度神经网络中训练,建立语义分割模型。结果:在内部验证集中,该模型的准确性(ACC)达97.2%,平均交并比(MIoU)达85.8%,Dice系数达0.924。在外部测试集中,ACC达98.0%,MIoU达80.1%,Dice系数达0.890。结论:基于DeepLab V3+深度神经网络,构建结直肠息肉内镜图像的语义分割模型,具有良好的预测性能,可作为检测结直肠息肉的有效工具。

基于改进Deeplab V3+网络的水工混凝土裂缝语义分割方法

为实现水工混凝土裂缝快速而准确的检测,提出了一种基于改进Deeplab V3+网络的水工混凝土裂缝语义分割方法。该方法采用Mobilenetv2网络替换原主干网络,将空洞卷积金字塔池化模块(ASPP)的空洞卷积替换为空洞深度可分离卷积,以提升运算速度,降低深层特征下采样倍数以减少语义信息丢失。实例验证结果表明:本文方法帧率达到51.11帧/s,较原网络提高了23.33帧/s,推理速度大幅提升;平均交并比和平均像素精度分别达到89.45和95.19,分割精度高;针对典型混凝土裂缝的分割效果也优于比较方法,泛化能力较强。

基于DeepLab V3+网络框架的上消化道溃疡内镜图像分割模型

目的基于DeepLab V3+网络框架,构建深度学习计算机视觉模型,实现对上消化道溃疡内镜图片较精确的语义分割。方法DeepLab V3+网络框架的编码器首先通过多个并行的、具有不同采样率的空洞卷积层,之后通过一个全局平均池化层对图像进行特征提取,实现多尺度提取特征;而解码器部分对深度特征层进行4次上采样,与浅层特征层进行堆叠并调整堆叠层大小,使其和输入图像大小一致,得到模型的预测结果。结果在内部验证集中,该模型的准确度(Accuracy,ACC)为0.963,平均交并比(Mean Intersection Over Union,mIoU)为0.927;外部测试集中,该模型的ACC为0.958,mIoU为0.915;均优于传统算法U-Net(内部验证集ACC为0.810,mIoU为0.785;外部测试集ACC为0.779,mIoU为0.732)。结论DeepLab V3+网络框架在识别病灶方面准确度高,具有较好的临床实践性。

基于改进CBAM-DeepLab V3+的苹果种植面积提取

为提高苹果种植区域的提取精度,提出了一种基于Sentinel-2和MODIS融合影像的CBAM-DeepLab V3+模型。影响苹果种植区域提取精度的主要因素包括遥感影像的质量以及语义分割模型的性能。从影像质量角度来看,采用基于时序的时空融合算法ESTARFM,通过融合Sentinel-2和MODIS的遥感影像数据,实现更高空间分辨率和时间分辨率数据的获取。与此同时,将训练样本从原始的800幅扩充至2400幅,为后续语义分割模型提供更为充足的样本容量。在语义分割模型优化方面,为了进一步提高苹果种植面积的提取精度,以DeepLab V3+网络结构模型为基础,引入基于通道和空间的CBAM注意力机制,进而发展出CBAM-DeepLab V3+模型。与原始DeepLab V3+模型相比,加入CBAM注意力机制的CBAM-DeepLab V3+模型在拟合速度较慢、边缘目标分割不精确、大尺度目标分割内部不一致和存在孔洞等缺陷方面实现了突破,这些改进提高了模型的训练与预测性能。本研究采用原始Sentinel-2影像及时空融合后的影像数据集,结合烟台市牟平区王格庄镇的数据集和观水镇苹果数据集对U-Net、FCN以及DeepLab V3+模型和CBAM-DeepLab V3+模型进行对比,研究发现在苹果种植面积提取方面,CBAM-DeepLab V3+优化模型所取得的MIoU为84.6%,苹果种植面积提取准确率达90.4%。U-Net、FCN和DeepLab V3+模型的MIoU分别为79.2%、75%、81.2%。此外,该模型预测的烟台市牟平区王格庄镇苹果种植面积为3433.33 hm^(2),与烟台市国民经济和社会发展统计公报公布的3666.66 hm^(2)相比,误差为233.33 hm^(2),预测准确率高达93.64%。

基于改进DeepLab v3+模型的养殖浮筏提取研究

针对已有养殖浮筏提取研究中未考虑多时相、特征多样性问题,提出了一种基于改进DeepLab v3+模型的养殖浮筏提取方法。通过依据多年份Sentinel-2遥感影像构建了养殖浮筏影像数据集;更改模型中ASPP模块结构为DenseASPP并优化膨胀率;替换原特征提取网络Xception为轻量化网络MobileNet v2;增加CBAM注意力机制模块,在顾及多时相、特征多样性养殖浮筏基础上,有效提升了模型的提取精度和效率。以覆盖长海县的Sentinel-2遥感影像为数据源进行实验,结果表明:改进DeepLab v3+模型各评价指标均高于DeepLab v3+模型,精确率、准确率分别达到了89.64%、88%。

DeepLab V3+网络在遥感影像中城市水体的提取方法

针对目前高分辨率卫星影像水体提取分割尺度失真、边界不完整、低反射率地物错提等问题,采用了一种DeepLab V3+网络模型的水体语义分割的方法.该方法考虑下采样提取特征过程中损失的遥感影像细节特征,通过深度卷积神经网络模块(Deep convolution neural network,DCNN)和空洞空间金字塔池化模块(Atrous spatial pyramid pooling,ASPP),提高分割精度且能够适应不同尺度遥感影像的水体提取.利用高分二号遥感影像制作的国内多个地区水体数据集上的实验结果表明,该方法能够更完整提取遥感影像中的水体信息,在测试集上像素精度(Pixel Accuracy,PA)达到了91.07%,交并比(intersection over union,IoU)达到了71.33%,明显优于经典的全卷积网络(fully convolutional networks,FCN)和U-Net网络,这说明DeepLab V3+网络能够明显改善城市水体在高分辨率遥感影像的语义分割精度.

基于改进DeepLab V3+的果园场景多类别分割方法

果园环境实时检测是保证果园喷雾机器人精准作业的重要前提。本文提出了一种基于改进DeepLab V3+语义分割模型的果园场景多类别分割方法。为了在果园喷雾机器人上部署,使用轻量化MobileNet V2网络替代原有的Xception网络以减少网络参数,并在空洞空间金字塔池化(Atrous spatial pyramid pooling, ASPP)模块中运用ReLU6激活函数减少部署在移动设备的精度损失,此外结合混合扩张卷积(Hybrid dilated convolution, HDC),以混合扩张卷积替代原有网络中的空洞卷积,将ASPP中的扩张率设为互质以减少空洞卷积的网格效应。使用视觉传感器采集果园场景RGB图像,选取果树、人、天空等8类常见的目标制作了数据集,并在该数据集上基于Pytorch对改进前后的DeepLab V3+进行训练、验证和测试。结果表明,改进后DeepLab V3+模型的平均像素精度、平均交并比分别达到62.81%和56.64%,比改进前分别提升5.52、8.75个百分点。模型参数量较改进前压缩88.67%,单幅图像分割时间为0.08 s,与原模型相比减少0.09 s。尤其是对树的分割精度达到95.61%,比改进前提高1.31个百分点。该方法可为喷雾机器人精准施药和安全作业提供有效决策,具有实用性。

基于MHSA+DeepLab v3+的无人机遥感影像小麦倒伏检测

倒伏是影响小麦产量和质量的重要因素之一,及时准确获取倒伏信息有利于小麦良种选育中的倒伏损失鉴定。本文以小麦灌浆期和成熟期两个生长阶段的可见光无人机遥感影像为依据,构建多生长阶段小麦倒伏数据集,通过在DeepLab v3+模型中添加不同的注意力模块进行比较分析,提出一种基于多头自注意力(MHSA)的DeepLab v3+小麦倒伏检测模型。试验结果表明,提出的MHSA+DeepLab v3+模型的平均像素精度(Mean pixel accuracy,mPA)和均交并比(Mean intersection over union,mIoU),灌浆期分别为93.09%和87.54%,成熟期分别为93.36%和87.49%。与代表性的SegNet、PSPNet和DeepLab v3+模型相比,在灌浆期mPA提高了25.45、7.54、1.82个百分点和mIoU提高了36.15、11.37、2.49个百分点,在成熟期mPA提高了15.05、6.32、0.74个百分点,mIoU提高了23.36、9.82、0.95个百分点。其次,相比于CBAM和SimAM两种注意力模块,在灌浆期及成熟期基于多头自注意力的DeepLab v3+表现均为最优,在灌浆期其mPA和mIoU分别提高了1.6、2.07个百分点和1.7、2.45个百分点,成熟期提高了0.27、0.11个百分点和0.26、0.15个百分点。研究表明提出的改进的DeepLab v3+模型能够有效地捕获灌浆期和成熟期的无人机小麦遥感图像中的倒伏特征,准确识别不同生育期的倒伏区域,具有良好的适用性,为利用无人机遥感技术鉴定小麦倒伏灾害等级和良种选育等提供了参考。

基于DeepLab v3的西藏地区降雨云团分割方法

针对高原地区数值预测法建模复杂,雷达回波外推法易产生累积误差且模型参数难以设置的问题,提出了一种基于改进DeepLab v3网络模型的西藏地区降雨云团的分割方法。首先,通过编码网络中的卷积层和残差模块进行下采样;然后,利用空洞卷积构建多尺度采样模块,并且加入注意力机制模块提取深层高维特征;最后,通过解码网络利用反卷积恢复特征图分辨率。将所提方法与谷歌语义分割网络DeepLab v3等模型在验证集上进行比较,实验结果表明所提方法具有更好的分割性能与泛化能力,其降雨云团分割结果更为准确,平均交并比(Miou)达到0.95,与原始DeepLab v3相比提高了15.54个百分点。在小目标上和非平衡数据集上,该方法可以更准确地分割出降雨云团,为降雨云团监测预警提供参考。

利用Deeplab v3提取高分辨率遥感影像道路

针对传统道路提取方法存在的道路边缘粗糙、抗干扰性弱、提取精度低等问题,提出了一种基于编码解码器的空洞卷积模型(Deeplab v3)的道路提取方法。首先,对原始高分辨率遥感影像进行标注;其次,利用标注数据集对Deeplab v3模型进行训练、测试;最后,得到高分辨率遥感影像道路提取结果。分析结果可知,该模型能够较好地提取高分辨率遥感影像中的道路边缘特征,相比其他道路提取方法具有更高的提取精度和更加完整的道路信息,正确率可达到93%以上。

基于DeepLab v3+的葡萄叶片分割算法

为解决自然光照环境下复杂背景葡萄叶片图像的自动分割问题,使用一种DeepLab v3+语义分割算法,完成对葡萄叶片分割。该算法采用ResNet 101作为主干网络进行特征抽取;采用空洞卷积和编码模块进行多尺度特征融合,将ResNet的中间信息和编码模块的特征组合作为解码输入;采用上采样的方式进行尺度还原,得到语义分割结果。采用Cityscapes的预训练模型,将300张不同环境下、不同类型的葡萄叶片照片作为训练集,以数据增强的方式进行数据扩容,提高模型的鲁棒性和泛化能力。试验结果证明:本方法有较好的分割效果,在数据增强的方式下精确度(ACC)平均值为98.6%,较全卷积神经网络提高7.3%。对不同类型葡萄叶片分割精确度(ACC)值均高于97%,最高可达98.8%,平均交并比(mIOU)值均高于94%,最高可达97.1%。本算法能够较精准地分割自然光照条件下的葡萄叶片图像,可为后续的病害检测和病斑提取提供参考。

基于改进Deeplab v3+的服装图像分割网络

在服装图像分割领域,现有算法存在服装边缘分割粗糙、分割精度差和服装深层语义特征提取不够充分等问题。将Coordinate Attention机制和语义特征增强模块(SFEM)嵌入到语义分割性能较好的Deeplab v3+网络,设计一种用于服装图像分割领域的CA_SFEM_Deeplab v3+网络。为了加强服装图像有效特征的学习,在Deeplab v3+网络的主干网络resnet101中嵌入Coordinate Attention机制,并将经过带空洞卷积池化金字塔网络的特征图输入到语义特征增强模块中进行特征增强处理,从而提高分割的准确率。实验结果表明,CA_SFEM_Deeplab v3+网络在DeepFashion2数据集上的平均交并比与平均像素准确率分别为0.557、0.671,相较于Deeplab v3+网络分别提高2.1%、2.3%,其所得分割服装轮廓更为精细,具有较好的分割性能。

改进Deeplab V3+网络在视觉SLAM三维地图构建应用

针对传统同时定位与地图构建(SLAM)算法在构建三维地图过程中缺少语义信息问题,本文在视觉SLAM算法基础上,结合基于深度学习的Deeplab V3+语义分割模型,构建包含几何信息与语义信息的三维稠密语义地图.对Deeplab V3+模型结合视觉SLAM造成语义地图构建难以满足实时性问题,精简Deeplab V3+模型参数,主干网络选用轻量级卷积网络MobileNetV3进行特征提取,同时对空洞空间金字塔池化模块中卷积层采用非对称卷积运算.最后利用贝叶斯更新方法将对RGB图像分割后获得的语义信息增量融合进三维地图,实现在三维空间对不同物体进行语义标注,最终完成三维稠密语义地图构建.实验采用NYU v2数据集进行语义地图构建,结果表明,改进后的Deeplab V3+可以精确快速进行语义分割,应用于三维稠密语义地图构建,满足系统实时性要求.

基于DeepLab V3模型的图像语义分割速度优化研究

为了解决移动端视觉感知模块的内存资源和硬件条件不适应卷积神经网络的快速应用等问题。以经典的DeepLab V3模型为基础,在保证分割精度的前提下,以优化卷积神经网络模型的运行速度为目标,提出一种新的轻量化网络结构。所设计的网络结构将原有非线性激活函数替换成新的Swish激活函数进行精度补偿,采用改进后的轻量化MobileNet V2结构替代DeepLab V3原有的特征提取器。实验结果表明,改进的DeepLab V3网络模型和目前精度最高的DeepLab V3+算法相比,其在维持一定精度的前提下,参数量和计算复杂度大大减小,运行速度明显提升,模型内存占用率下降了近96%,综合性能更强,更适合对分割性能要求较高的快速分割网络。

基于DeepLab v3+深度卷积网络的输电导线图像识别方法

输电导线图像识别是电力设备自动巡检过程中的重要环节。针对传统导线检测方法需人工设计目标特征、抗干扰能力差等问题,提出一种基于深度卷积网络(DeepLab v3+)的输电导线图像识别方法。首先,采用DeepLab v3+网络模型,实现导线的初步识别。通过多层卷积自动学习导线特征,并通过解码器结构融合导线低层的细节特征与高层的语义特征,较好地实现导线像素分割。然后,针对识别结果中存在的断裂和伪导线问题,采用改进的最小点对法和长度阈值法进一步精细化处理。最后,采用八方向搜索法提取每一条导线并编号。实验结果表明,所提方法能很好地提取出输电线路图像中的导线。

一种改进的DeepLab V3+的医学图像分割方法

医学图像分割是疾病诊断任务中的关键技术,针对现常用的图像分割网络存在对小物体预测不准以及因局部信息丢失产生网格伪像等问题,设计了一种基于注意机制的DeepLab V3+图像分割方法。在编码(Encoder)部分添加YOLOv5网络中Focus+CBL+CSP的级联式特征提取模块,增强网络能力,同时在Encoder和解码(Decoder)网络加入瓶颈注意力机制,增加目标权重,优化特征提取,获取更多的细节、纹理信息。实验结果证明,该方法优于其他分割方法,改进后的模型在像素准确率比DeepLab V3+提高了0.82%,平均交并比(MIoU)上提高0.99%,改进后的模型提高了小目标组织特征提取的能力,实现了更高精度分割。

基于DeepLab V3+深度学习的无人机影像建筑物变化检测研究

针对城市建筑物变化检测的高时间和高空间分辨率需求,研究了基于深度学习的无人机影像建筑物变化检测方法。以大疆精灵4无人机正射影像为数据源,利用变化矢量分析与人工判别生成变化标签数据,并通过数据增强生成数据集。基于DeepLab V3+深度网络,利用生成的数据集进行无人机影像建筑物变化迁移学习,最终实现建筑物变化检测。实验结果表明,深度学习可有效用于无人机影像的建筑物变化检测,对本实验所用数据总精度达到97%以上,可为大范围城市建筑物动态检测、违章检测、损害检测等提供有力支撑。

基于改进Deeplab V3+网络的语义分割

深度学习的语义分割在计算机视觉领域中有非常广阔的发展前景,但许多分割效果较好网络模型占用内存大和处理单张图片耗时长.针对这个问题,把Deeplab V3+模型的骨干网(ResNet101)的瓶颈单元设计为1D非瓶颈单元,且对空洞空间金字塔池化模块(Atrous Spatial Pyramid Pooling,ASPP)的卷积层进行分解.该算法能大幅度降低Deeplab V3+网络的参数量,提高网络推理速度.基于PASCAL VOC 2012数据集进行对比实验,实验结果显示改进网络模型拥有更快的处理速度和更优的分割效果,且消耗更少的内存.