基于预训练模型的单帧航拍图像无监督语义分割

针对航拍图像语义分割成本高、通用性差和精度低等问题,提出了一种两阶段无监督语义分割网络(two-stage unsupervised semantic segmentation net, TUSSNet),针对单帧航拍图像训练进而生成最终的语义分割结果。算法分为2个阶段。首先,使用对比语言-图像预训练(contrastive language-image pretraining, CLIP)模型生成航拍图像的粗粒度语义标签,然后进行网络的预热训练。其次,在第一阶段的基础上,采用分割一切模型(segment anything model, SAM)对航拍图像进行细粒度类别预测,生成精细化类别掩码伪标签;然后迭代优化网络,得到最终语义分割结果。实验结果显示,相较于现有无监督语义分割方法,算法显著提高了航拍图像的分割精度,同时提供了准确的语义信息。

基于Transformer语义分割模型的露天矿场识别

露天矿场是生产建设项目水土保持信息化监管的重要对象,对其范围的高效精准识别对于监测非法违规开采行为,加强开采过程中的水土流失预防与治理具有重要意义。基于Transformer深度学习模型提出了露天矿场的遥感影像智能识别方法,并在四川省宜宾市的露天矿场影像数据集上与常用的基于卷积神经网络的深度学习识别方法进行了实验对比。结果表明:该方法对露天矿场范围识别的精确率、召回率、F1-score和IoU指标分别达到91.25%,90.66%,90.95%和83.41%,能够满足水土保持遥感监管的精确度要求;在识别精确度和识别效果上优于对比方法,在运行效率上与对比方法保持在同一数量级,表现出较强的应用价值。该方法在大区域露天矿场范围快速准确识别方面有推广应用潜力。

改进的语义分割模型及其应用

训练语义分割网络模型需要较为繁琐的人工标注作为训练标签,同时语义分割模型在构建和运行过程中也存在超参数较难确定以及模型过于庞大等问题。为解决这类问题,提出了一种基于标注框生成热点图的标签生成方法,简化了语义分割训练标签的人工标注过程。以及在可微分神经网络结构搜索方法的基础上提出了一种对硬件要求更低的神经网络结构搜索方法,并基于此种方法改进了特征金字塔结构,构建了一个改进的语义分割模型,并在安全帽与口罩检测数据集上进行了试验。与U-Net、FPN等模型比较,新的模型在参数量、计算速度以及精确度上都更有优势。

城市竣工测绘典型要素语义分割PointNet++深度学习模型适用性分析

处理三维激光扫描仪获取的城市竣工测绘点云场景数据的传统方法存在较多局限性,无法适应信息化社会对产品高效处理的需求。基于此,本文分析了城市竣工测绘点云场景分类需求,研究了利用深度学习网络模型对点云场景进行自动化处理的方法。首先,对输入的城市竣工测绘数据进行预处理,以实现点云降采样、去噪、地面点与非地面点分割;然后,人工标注5个区域场景数据毫米级标签,进行数据增强;最后,测试PointNet++网络在城市竣工测绘点云场景下的语义分割性能和效果。测试结果表明,在少量样本下,PointNet++网络可以较好地实现城市竣工测绘点云场景的激光点云语义分割,总体mIoU达73.06%,能够满足城市竣工测绘点云语义自动化分割需求,为城市竣工测绘点云数据处理提供了新思路。

融合残差连接的图像语义分割方法

由于传统SegNet模型在采样过程中产生了大量信息损失,导致图像语义分割精度较低,为此提出了一种融合残差连接的新型编-解码器网络结构:文中引入了多残差连接策略,更为全面地保留了多尺度图像中包含的大量细节信息,降低还原降采样所带来的信息损失;为进一步加速网络训练的收敛效率,改善样本的不平衡问题,设计了一种带平衡因子的交叉熵损失函数,对正负样本不平衡现象予以针对性的优化,使得模型的训练更加高效;实验表明该方法较好地解决了语义分割中信息损失以及分割不准确的问题,与SegNet相比,本网络在Cityscapes数据集上进行精细标注的mIoU值提高了约13%。

一种基于改进SegNet模型和融合注意力机制的苗族服饰图案分割算法

针对目前语义分割模型需要消耗大量计算资源,对苗族服饰图案分割精度不高等问题,提出一种在改进的Seg Net模型中嵌入注意力机制模块的算法模型。改进后的Seg Net模型减少了卷积层数,在一定程度上减少了内存资源的消耗;为了提高对服饰图案细小纹理的分割精度,减少细小纹理细节的丢失,使用二分类交叉熵损失函数作为损失函数,提高了服饰图案细小纹理的分割精度;改进的Seg Net模型中嵌入轻量级的注意力模块,使得模型能够关注图像中更多的细节特征,更好地将感兴趣的特征从局部水平关联到全局水平,加强对目标特征信息的提取,减少损失率,提高模型的分割性能。实验结果表明,改进后的算法模型相对于传统相关算法,对苗族服饰图案的分割精度有了一定的提高,分割结果的视觉效果和定量指标上都要优于传统相关算法。

基于多教师网络模型的半监督语义分割方法

基于一致性正则化的方法在半监督语义分割任务中展现出了较好的性能,这类方法通常涉及两个角色:一个显式或隐式的教师网络和一个学生网络。其中学生网络通过最小化两个网络对不同扰动样本预测结果之间的一致性损失实现训练。但是来自单个教师网络的不可靠预测可能会导致学生网络学习到错误的信息。通过将平均教师模型MT的单教师网络扩展为多教师网络,提出了多平均教师网络(Multiple Mean Teacher Network,MMTNet)模型,使学生网络从多个教师网络的平均预测结果进行学习,有效降低单个教师网络预测错误的影响。此外,MMTNet通过对无标签数据进行强、弱数据增强的方式对无标签数据进行数据扰动,增加了无标签数据的多样性,在一定程度上缓解了学生网络和教师网络之间存在的耦合问题,避免了学生网络对教师网络的过度拟合,从而进一步降低了教师网络进行伪标签预测错误时所产生的影响。在PASCAL VOC 2012扩充数据集上的实验结果表明,所提出的多平均教师网络MMTNet模型可获得比其他目前主流的半监督语义分割方法更高的平均交并比,且实际分割效果更优。

基于改进后语义分割模型的障碍物检测方法

障碍物检测是确保无人水面艇避障和安全航行的关键技术,针对水面反光区域误检和水面分割不准确导致的漏检问题,提出了一种基于改进后语义分割模型的障碍物检测方法,通过图像预处理、语义分割模型、显著性估计实现障碍物检测。首先,通过在预处理环节对水面中反光区域进行去除,避免其对后续检测的干扰;然后,通过引入海天线估计参数,用于调整语义分割模型初始化和先验信息,提高水面分割精度;最后,在水域范围内选取H形边界集合构造背景模型,由此判断水面中非水像素为障碍物。实验结果表明:该方法可以提高水面障碍物检测的准确度。

基于改进SEGNET模型的图像语义分割

使用原始SEGNET模型对图像进行语义分割时,未对图像中相邻像素点间的关系进行考虑,导致同一目标中像素点类别预测结果不一致。通过在SEGNET结构中加入一条自上而下的通道,使得SEGNET包含的多尺度语义信息更加丰富,从而提升对每个像素点的类别预测精度,在模型中加入生成对抗网络以充分考虑空间中相邻像素点间关系。实验结果表明,该模型的语义分割效果相比原始SEGNET模型显著提升,且可有效解决SEGNET测试中出现的分类错误问题。

基于语义分割模型的三维沥青路面车辙异常分析方法

车辙深度是路面状况评价和道路养护的一个重要指标。现有车辙深度测量方法未考虑复杂路况下坑槽、松散、裂缝和桥梁接缝等对车辙计算的影响,其有效性和适用性受到了限制,测量结果的真实性也有待进一步验证。有鉴于此,文中提出了一种基于语义分割模型的沥青路面车辙异常检测与校正方法。采用三维线激光技术采集道路横断面高程数据,利用包络线算法提取车辙深度。对于最大车辙深度超过10 mm的横断面,搭建基于深度学习的语义分割框架,提出改进的DeepLabV3+网络对病害类型进行自动辨识和像素定位,并结合最大车辙深度高程点,设计基于拉格朗日插值的校正规则来对异常车辙进行校正。研究结果表明,改进的DeepLabV3+模型能较为准确地识别和定位造成车辙检测异常的路面病害,其对5种路面特征和病害的综合检测准确率达81.63%,在均交并比(MIoU)和大部分交并比(IoU)上的表现均优于U-Net、PSPNet、DeepLabV3+模型。现场验证结果表明,文中方法不仅能够自动分析车辙异常的原因,还能通过对异常车辙的校正排除其他病害的影响,从而较大程度地还原实际车辙深度水平。文中研究成果可为路面预防性养护提供科学数据支撑。

基于改进SegNet模型的斑马线图像语义分割

无论是在智能驾驶系统中,还是在智能导盲系统中,道路标线的检测都是一项重要内容。针对传统斑马线识别方法精度低、速度慢的问题,提出了利用深度可分离卷积网络改进SegNet模型的语义分割方法,通过网络爬虫以及手动数据标注,经过Tensorflow深度学习框架训练,其模拟检测达到了较好的结果。试验结果表明,由自行构建的斑马线数据集,训练后的模型每帧运算速度在59 ms内,对斑马线区域分割的像素精度达98.1%,交并比达91.6%。此运算速度以及分割精度满足大部分智能导航系统的需求,为斑马线识别的机器视觉识别提供了技术支持。

基于改进SegNet网络的遥感图像语义分割方法研究

遥感图像的语义分割在生产和生活中有着广泛的应用。针对常用的语义分割网络SegNet在遥感图像上对小目标和边缘细节分割精度不够理想的问题,对SegNet进行改进,提出EP-SegNet模型。该模型将激活函数由ReLU替换为ELU,以加快收敛速度,避免神经元死亡,去掉编码器最后一层的池化仅作卷积处理以降低空间信息的损耗,构建Bottleneck层以在加深网络的同时减少参数量,引入金字塔池化模块(PPM)以提升网络对全局信息的感知能力。实验结果表明:该模型的准确率为97.48%,高于SegNet模型3.31%,在图像分割中对边缘细节和多尺度目标的分割精度有较明显提升,较之前模型表现更优。

基于语义分割的纱筒余纱量检测方法研究

为解决圆形纬编针织机器人自动化生产线背景复杂以及纱筒尺寸变化大而导致检测算法准确率较低且精度低等问题,提出了一种基于语义分割的纱筒余纱量检测方法。首先在YOLOv8的基础上通过DSSConv模块替换C2F模块,防止出现特征冗余与特征信息丢失;针对纱筒尺寸多与背景纱筒对检测效果造成的影响,引入EMA注意力机制来提升获取前景纱筒的能力,最后在Neck层使用SQConv模块替换C3模块,利用改进的组卷积提高模型在Neck层的推理速度,添加了SENet注意力机制减少纱筒细节特征的遗漏率。试验表明:改进后的模型mAP@0.5:0.95值达到94.1%,推理速度为65.71帧/s,优于原YOLOv8模型。该研究算法检测纱筒余纱量的平均误差小于2 mm,可实现测量不同成像距离的纱筒余纱量,能够满足实际生产需求。

基于语义分割的视频鱼类特征提取方法研究

从视频图像中快速、准确提取水生生物(如鱼类)的特征信息,是信息科学与水生态研究结合的热点。基于Transformer的视觉模型,采用一种基于弱监督语义分割的视频鱼类特征提取方法,在无需预训练或微调的条件下,可以实现对鱼的身体、头部和鱼鳍3类形态区域标签的分割提取。采用DeepFish分割数据集构建计算机视觉自注意力模型(vision transformer,ViT),通过对水下拍摄的鱼类视频进行实验,结果实现了鱼体形态主体特征的有效提取,对拟定的3类形态标签区域进行了良好的分割标记。研究方法具有较高的效率、分割准确度和标记区域的连续平滑性,可提供良好的语义特征,为人工智能技术在鱼类等水生生物监测实践中提供了一种低成本、高效率的新方法。

基于改进的DeepLabV3+网络模型的杂交水稻育种父母本语义分割研究

为解决杂交水稻育种授粉过程中父母本区分的精确性和实时性问题,本研究提出一种基于全卷积神经网络的、改进的DeepLabV3+杂交水稻育种父母本区分的语义分割模型。采用轻量化的主干网络MobileNetV2结构替换原DeepLabV3+的主干网络Xception结构,使之更适用于移动设备,并提出一种联系较为紧密的低层特征信息提取方法,将较低层次信息和较高层次信息初步融合作为原低层次信息的输入,使网络获得更加密集的信息,从而增强网络对于细节的提取能力。结果表明,改进的DeepLabV3+网络模型较原DeepLabV3+网络模型具有更高的杂交水稻制种父母本分割精度,并能够减少模型训练和图片预测时间。将改进后的DeepLabV3+网络模型与其他主流网络和先进网络模型对比发现,各项参数精度均有所提高。本研究为深度学习在农业视觉机器人领域中的发展提供了参考。

语义通信模型联合训练框架中的隐私泄露

为了同时保障端边协同训练语义编解码模型过程中的模型训练效率与数据隐私保护,基于U型分割的语义编解码模型端边协同训练框架是一种可行的方法。然而,端边之间交互的中间特征值与特征梯度仍然可能会泄露终端设备的数据隐私。基于U型分割的语义编解码模型端边协同训练框架可以在一定程度上解决端边协同训练语义编解码模型过程中模型训练效率与数据隐私保护之间的矛盾。然而,该框架下端边之间的交互过程仍然可能泄露终端设备的数据隐私。针对这一问题,提出了一种面向U型分割语义编解码模型协同训练过程的特征泄露攻击算法,通过分析训练过程中终端设备与边缘服务器之间交互的中间特征值和特征梯度,对终端的私有隐私数据进行重构。仿真结果表明,当使用单回合中间特征值对终端数据进行推断时,语义编解码模型使用浅层分割点或模型训练轮次较多时,中间特征值会包含更多的数据语义信息。此外,当攻击者增加本地攻击迭代次数,并选取多回合中间特征值和特征梯度对终端数据进行推断时,重构的终端数据与真实数据的图像结构相似度可以从0.2759提升到0.4017。

BiSeNet轻量语义分割网络优化研究

语义分割是对图片上每一个像素的归类预测,使得每个语义类别对应的预测区域得以分割显现,是图像处理的重要方面。轻量级语义分割模型的研究点在于掌握性能与速度的天平,使其能够投入移动设备的应用,本文是对BiSeNet轻量语义分割模型的优化研究。首先,本文介绍了BiSeNet模型的ResNet50主体上下文分支结构,以及表层卷积辅助分支结构,还有基于通道注意力机制的ARM特征加强模块和FFM融合模块作用和原理;然后,提出模型优化改进结构,先在辅助分支表层卷积中以空洞卷积增强信息整体分析后,然后以SAM空间注意力模块增强特征质量,再利用ASPP金字塔加强辅助分支与主分支融合;最后,在VOC2012数据上,得出改进前后BiSeNet模型对比结果,在轻量性和正确性上,验证优化结构合理性。

基于改进LinkNet模型的河流遥感图像语义分割研究

河流遥感影像地理背景复杂多变、水体识别对象区分度小、陆地河网形状不规则等导致河流区域识别率较低。为了获取高精度的河流区域信息,提出在原有LinkNet模型网络结构的基础上进行优化设计。首先把卷积块中的激活函数ReLU改成PReLU,然后将始端模块中最大池化替换成平均池化,最后在第一个卷积层前和第四个卷积层后新增一道跨越连接。预测效果表明:LinkNet模型的准确率、精确率、召回率、F1-Score以及mIoU依次为97.62%,80.95%,89.39%,84.96%,76.50%,两改进LinkNet模型的依次为98.21%,85.95%,91.11%,88.45%,81.71%,各项指标值都得到一定程度的提升,表明该改进方法能更加有效地提取自然情景下河流区域。

基于SegNet语义模型的高分辨率遥感影像农村建设用地提取

针对传统分类算法、浅层学习算法不适用于高空间分辨率遥感影像中农村建筑物信息提取的问题,该文以河北省霸州市高空间分辨率遥感影像WorldView-2为数据源,利用182 064幅128×128像素大小的影像切片为训练样本,选取基于深度卷积神经网络的SegNet图像语义分割算法对遥感影像中的农村建筑物进行提取,并与传统分类算法中的最大似然法(maximum likelihood,ML)和ISO聚类、浅层学习算法中的支持向量机(support vector machine,SVM)和随机森林(random forest,RF)以及深层语义分割算法中的金字塔场景解析网络(pyramid scene parsing network,PSPNet)的试验结果作对比分析。研究结果表明:SegNet不仅能够高效利用高空间分辨率遥感影像中农村建筑物的光谱信息而且还能够充分利用其丰富的空间特征信息,最终形成较好的分类模型,该算法在验证样本中的分类总体精度为96.61%,Kappa系数为0.90,建筑物的F1值为0.91,其余5种分类算法的总体精度、Kappa系数、建筑物的F1值都分别在94.68%、0.83、0.87以下。该研究可以为高空间分辨率遥感影像农村建设用地提取研究提供参考。

实时语义图像分割模型研究

为了实现快速语义图像分割,提出一种简化整合模型.首先,对频域视觉注意模型PQFT的四元数图像虚部系数进行简化改进.然后,将改进PQFT模型的显著图与简化PCNN的内部活动项结合起来对显著目标区域进行粗略定位,并以提出的显著目标区域均值的3/2倍进行精细分割.最后,根据"尺寸变化与否"准则判断输出正确的语义图像分割结果.实验结果表明,提出的整合模型具有实时性,且取得的AUC值和F值较原PQFT模型分别提高了29.9%和44.2%.