改进的3D-BoNet算法应用于点云实例分割与三维重建

为了更好地利用点云数据重建室内三维模型,本文提出了一种基于3D-BoNet-IAM算法的室内场景三维重建方法。该方法通过改进3D-BoNet算法提高点云数据的实例分割精度。针对点云数据缺失问题,提出了基于平面基元合并优化的拟合平面方法,利用拟合得到的新平面重建建筑表面模型。在S3DIS和ScanNet V2数据集上验证3D-BoNet算法的改进效果。试验结果表明,本文提出的3D-BoNet-IAM算法比原始算法分割精度提高了3.3%;对比本文建模效果与其他建模效果发现,本文方法的建模效果更准确。本文方法能够提高室内点云数据的实例分割精度,同时得到高质量的室内三维模型。

改进YOLOv5s-Seg的高效实时实例分割模型

实例分割是图像分割的重要组成部分,同时也是计算机视觉领域的一个重要课题。然而现有实例分割模型不能在保证实时性的同时保证模型分割精度,因此在实时实例分割任务中一直存在精度过低、定位不精确的问题。针对此问题,提出了一种基于YOLOv5s-Seg改进的实时实例分割模型。以YOLOv5s-Seg作为网络的基础模型,主干网络选用Repvit m3网络,然后改进FPN结构,在FPN结构中将原始得到的C3卷积模块升级为RsRepVitBlock模块,并在其内部使用ECA注意力机制,最后采用SIoU作为模型的边界框损失函数。该算法在公开数据集PASCAL VOC 2012上的实验结果显示,改进后的模型分割精度mAP达到了65.7%,较原模型YOLOv5s-Seg提高了10.6个百分点。该模型大幅提升了分割精度,并且有效地改善了分割任务中定位不准确的问题。相较于其他模型,具有显著的精度优势和更好的模型稳定性。

航迹先验融合特征的车载雷达实例分割算法

点云实例分割是场景感知中的基本任务。近年来,随着车载毫米波雷达分辨能力的提高,大量基于毫米波雷达散射点的实例分割方案被提出。实例分割的结果可作为跟踪的输入,跟踪得到各个实例的航迹信息,为后续的车辆决策与路径规划提供数据支持。然而,面向毫米波雷达的实例分割方法仍存在以下挑战。一方面,相较于激光雷达,毫米波雷达观测下的散射点更稀疏,信息量较少。当同一实例的散射点距离较远或者多个相邻实例密集分布时,分割性能显著下降;另一方面,雷达穿透性有限,路面障碍物或交通参与者对实例造成部分遮挡时,分割算法无法对实例进行正确分割和判别。考虑到实际行车场景的时间连续性,利用交通参与者的航迹先验信息,即该参与者上一时刻和当前时刻的位置信息,可以克服上述问题。因此,本文提出了一种利用航迹先验融合上一帧散射点特征的车载雷达点云分割算法。该算法利用航迹的连续性,在相邻两帧之间计算实例和散射点的对应关系并基于上述关系完成散射点特征融合。相较于单帧,融合后的高质量特征不仅信息更丰富,不同实例间的特征差异更明显,而且能弥补由于遮挡导致的信息缺失。实验结果显示,所提算法的平均覆盖率和平均精度指标分别优于基于单帧的分割算法6.19%和4.54%。该结果表明,所提算法优于文献中其他方法,能有效解决上述分割算法存在的问题。此外,与基于单帧的分割方案在典型场景的可视化对比中,所提方法也凸显了其有效性和潜力。未来,我们将进一步挖掘轨迹先验信息,以加强特征提取,同时深入探讨分割性能与帧数之间的关系。

基于改进YOLO v8n-seg的羊只实例分割方法

羊只实例分割是实现羊只识别和跟踪、行为分析和管理、疾病监测等任务的重要前提。针对规模化羊场复杂养殖环境中,羊只个体存在遮挡、光线昏暗、个体颜色与背景相似等情况所导致的羊只实例错检、漏检问题,提出了一种基于改进YOLO v8n-seg的羊只实例分割方法。以YOLO v8n-seg网络作为基础模型进行羊只个体分割任务,首先,引入Large separable kernel attention模块以增强模型对实例重要特征信息的捕捉能力,提高特征的代表性及模型的鲁棒性;其次,采用超实时语义分割模型DWR-Seg中的Dilation-wise residual模块替换C2f中的Bottleneck模块,以优化模型对网络高层特征的提取能力,扩展模型感受野,增强上下文语义之间的联系,生成带有丰富特征信息的新特征图;最后,引用Dilated reparam block模块对C2f进行二次改进,多次融合从网络高层提取到的特征信息,增强模型对特征的理解能力。试验结果表明,改进后的YOLO v8n-LDD-seg对羊只实例的平均分割精度mAP_(50)达到92.08%,mAP_(50:90)达到66.54%,相较于YOLO v8n-seg,分别提升3.06、3.96个百分点。YOLO v8n-LDD-seg有效提高了羊只个体检测精度,提升了羊只实例分割效果,为复杂养殖环境下羊只实例检测和分割提供了技术支持。

基于稀疏实例与位置感知卷积的植物叶片实时分割方法

植物叶片分割在高通量植物表型数据获取任务中起着关键作用。目前,多数植物叶片分割方法专注于提高模型分割精度,却忽视模型复杂度和推理速度。针对该问题,本研究提出一种基于稀疏实例激活与有效位置感知卷积的实例分割模型(ePaCC-SparseInst),实现植物叶片实时、精确分割。在ePaCC-SparseInst中引入1组稀疏实例激活图作为叶片对象表示方式,并使用二部图匹配算法实现预测对象与实例激活图的一一映射,从而避免了繁琐的非极大值抑制(Non-maximum suppression,NMS)运算,提高了模型的推理速度。此外,在实例分支中引入有效位置感知卷积(ePaCC)模块,在增大模型全局感受野的同时提高了模型的推理速度。在Komatsuna数据集上,ePaCC-SparseInst平均分割精度(AP)达到85.33%,每秒传输帧数达到43.52。在相同训练条件下,ePaCC-SparseInst的性能优于SparseInst、Mask R-CNN、CondInst等实例分割算法。此外在CVPPP A5数据集上,ePaCC-SparseInst较上述算法同样取得了更好的分割精度和推理速度。本研究提出的方法采用纯卷积的架构实现了叶片的实时分割,可以为在移动端或边缘设备上获取植物表型数据提供技术支持。

基于深度与实例分割融合的单目3D目标检测方法

针对单目3D目标检测在视角变化引起的物体大小变化以及物体遮挡等情况下效果不佳的问题,提出一种融合深度信息和实例分割掩码的新型单目3D目标检测方法。首先,通过深度-掩码注意力融合(DMAF)模块,将深度信息与实例分割掩码结合,以提供更准确的物体边界;其次,引入动态卷积,并利用DMAF模块得到的融合特征引导动态卷积核的生成,以处理不同尺度的物体;再次,在损失函数中引入2D-3D边界框一致性损失函数,调整预测的3D边界框与对应的2D检测框高度一致,以提高实例分割和3D目标检测任务的效果;最后,通过消融实验验证该方法的有效性,并在KITTI测试集上对该方法进行验证。实验结果表明,与仅使用深度估计图和实例分割掩码的方法相比,在中等难度下对车辆类别检测的平均精度提高了6.36个百分点,且3D目标检测和鸟瞰图目标检测任务的效果均优于D4LCN(Depth-guided Dynamic-Depthwise-Dilated Local Convolutional Network)、M3D-RPN(Monocular 3D Region Proposal Network)等对比方法。

基于多模态图像信息及改进实例分割网络的肉牛体尺自动测量方法

[目的/意义]牛的体尺参数是反映牛身体发育状况的关键指标,也是牛选育过程的关键因素。为解决规模化肉牛牧场复杂环境对肉牛体尺的测量需求,设计了一种图像采集装置以及体尺自动测量算法。[方法]首先搭建肉牛行走通道,当肉牛通过通道后进入限制装置,用英特尔双目深度相机D455对牛只右侧图像进行RGB与深度图的采集。其次,为避免复杂环境背景的影响,提出一种改进后的实例分割网络Mask2former来对牛只二维图进行前景轮廓提取,对轮廓进行区间划分,利用计算曲率分析方法找到所需体尺测点。然后,将原始深度图转换为点云数据,对点云进行点云滤波、分割和深度图牛只区域的空值填充,以保留牛体区域的点云完整,从而找到所需测点并返回到二维数据中。最后,将二维像素点投影到三维点云中,利用相机参数计算出投影点的世界坐标,从而进行体尺的自动化计算,最终提取肉牛体高、十字部高、体斜长和管围4种体尺参数。[结果与讨论]改进的实例分割网络与Mask R-CNN、PointRend、Queryinst等模型相比具有更好的分割结果。采用本研究测得的这4种体尺平均相对误差分别为4.32%、3.71%、5.58%和6.25%。[结论]本研究开发的肉牛图像采集装置及相应的图像处理方法可以满足该牧场对肉牛体尺无接触自动测量误差小于8%的精度要求,为非接触式肉牛体尺自动化测量提供了理论与实践指导。

基于多尺度注意力机制的实例分割卷积神经网络

在Mask R-CNN实例分割模型的基础上提出一种新的深度学习方法MixedMask。该方法提出并应用两种有效的策略:(1)使用混合尺度的卷积核,提高网络对分辨率较低实例的提取能力;(2)在压缩激励网络的基础上进行改进,解决原网络中降低维度导致的通道信息丢失问题。在气球数据集和xBD数据集上进行测试,该算法分别达到了83.46%和58.92%的AP(IoU=50),相比Mask R-CNN模型,分别提升了1.3%和5.9%。

锚框校准和空间位置信息补偿的街道场景视频实例分割

街道场景视频实例分割是无人驾驶技术研究中的关键问题之一,可为车辆在街道场景下的环境感知和路径规划提供决策依据.针对现有方法存在多纵横比锚框应用单一感受野采样导致边缘特征提取不充分以及高层特征金字塔空间细节位置信息匮乏的问题,本文提出锚框校准和空间位置信息补偿视频实例分割(Anchor frame calibration and Spatial position information compensation for Video Instance Segmentation,AS-VIS)网络.首先,在预测头3个分支中添加锚框校准模块实现同锚框纵横比匹配的多类型感受野采样,解决目标边缘提取不充分问题.其次,设计多感受野下采样模块将各种感受野采样后的特征融合,解决下采样信息缺失问题.最后,应用多感受野下采样模块将特征金字塔低层目标区域激活特征映射嵌入到高层中实现空间位置信息补偿,解决高层特征空间细节位置信息匮乏问题.在Youtube-VIS标准库中提取街道场景视频数据集,其中包括训练集329个视频和验证集53个视频.实验结果与YolactEdge检测和分割精度指标定量对比表明,锚框校准平均精度分别提升8.63%和5.09%,空间位置信息补偿特征金字塔平均精度分别提升7.76%和4.75%,AS-VIS总体平均精度分别提升9.26%和6.46%.本文方法实现了街道场景视频序列实例级同步检测、跟踪与分割,为无人驾驶车辆环境感知提供有效的理论依据.

基于改进YOLOv8n的变电设备红外图像实例分割算法

变电设备是电网输变电过程的重要组成部分,为保证电网的正常运行,需对变电设备进行故障诊断,红外图像中变电设备的精确分割是故障诊断的关键步骤。针对红外图像复杂场景中变电设备分割时存在的分割精度低和漏分割的问题,提出一种基于改进YOLOv8n的变电设备红外图像实例分割算法。首先设计一种上下文引导的特征增强下采样块替换YOLOv8n中的下采样卷积层,充分利用上下文信息和全局信息,增强模型对复杂场景的理解能力;然后引入可变形卷积重构Backbone中的C2f模块,增强对不规则设备特征的提取能力;最后用Wise-IOUv2对损失函数进行优化,提高模型的泛化性和分类能力。使用变电设备红外图像数据集对该模型进行实验验证,实验结果表明,相较于YOLOv8n基准模型,本文所提方法的mAP50和mAP50:95分别提高了4.2%和3.5%,所提方法能够较好地解决复杂场景下设备漏分割的问题,有效提高变电设备实例分割的准确率。

改进YOLACT的服装图像实例分割方法

针对服装图像实例分割精度与速度较低的问题,提出一种基于改进YOLACT的服装图像实例分割方法。以YOLACT为基础模型,首先在ResNet101网络中采用深度可分离卷积代替传统卷积,减少模型计算量和模型参数,加快模型速度;然后,在模板生成网络后引入高效通道注意力模块,优化输出特征,捕获服装图像的跨通道交互信息,加强对掩膜分支的特征提取能力;最后,训练过程采用LeakyReLU激活函数,避免反向传播时权值信息得不到及时更新,提升模型对服装图像负值特征信息的提取能力。结果表明:与原模型相比,所提方法能有效减少模型参数量,在提升速度的同时提高了精度,其速度提升了4.82帧/s,平均精度提升了5.4%。

基于深度学习的实例分割边界框回归方法研究

针对实例分割任务中图像中可能出现相互遮挡或边缘模糊导致边界框定位不准确的问题,本文提出了一种新的边界框回归损失函数。将边界框位置预测转化为估计定位置信度随位置变化的概率分布;考虑坐标点间存在联系,提出一种面积差计算方法;为了证明此方法可以很好地应用于先检测后分割的实例分割模型,本文使用Mask R-CNN作为基线。实验结果表明:在边界框检测及实例分割任务中,本文方法的精度优于其他方法,对于小物体的检测与分割效果更显著,训练和评估速度也更快。

一种基于点云实例分割的六维位姿估计方法

提出了一种基于SoftGroup实例分割模型和PCA主成分分析算法来估计物体位姿的方法。在工业自动化领域,通常会为诸如机器人、机械臂配备视觉系统并利用二维图像估算目标物体位置,但当目标物体出现堆叠、遮挡等复杂场景时,对二维图形的识别精度往往有所下降。为准确、高效地获取物体位置,充分利用三维点云数据的高分辨率、高精度的优势:首先将深度相机采集到的RGB-D图像转为点云图,接着利用SoftGroup模型分割出点云图中的目标对象,最后用PCA算法得到目标的六维位姿。在自制工件数据集上进行验证,结果表明对三种工件识别的平均AP高达97.5%,单张点云图识别用时仅0.73 ms,证明所提出的方法具有高效性和实时性,为诸如机器人定位、机械臂自主抓取场景带来了全新的视角和解决方案,具有显著的工程应用潜力。

基于特征与数据增强的城市街景实例分割算法

城市街景分割是智能交通领域中一项关键的技术,对于城市街景环境中的客观因素例如遮挡、小目标等问题,提出一种基于特征增强与数据增强的城市街景实例分割算法DF-SOLO(data augmentation and feature en-hancement SOLO)。针对遮挡问题,通过非对称自编-解码器架构对城市街景图像进行数据增强,与传统方法相比处理后的图像更贴近真实的源数据分布。针对城市街景中的小目标分割问题,引入特征加权和特征融合的思想,特征加权模块在特征处理过程中能够根据特征的重要程度赋予不同的权值,提高对重要特征的利用率;特征融合模块从更细粒度的角度进行多尺度特征融合以解决尺度敏感问题,提高语义特征的描述性。通过在Cityscapes数据集上的实验表明,提出的实例分割算法在保证实时性的同时相较于单阶段SOLO算法和两阶段Mask R-CNN算法的mAP值上分别提升2.1%和2%,改善了对小目标和遮挡目标的分割效果。

动态场景下基于实例分割与光流的语义SLAM建图

视觉同步定位与建图技术常用于室内智能机器人的导航,但是其位姿是以静态环境为前提进行估计的。为了提升视觉即时定位与建图(Simultaneous Localization And Mapping,SLAM)在动态场景中的定位与建图的鲁棒性和实时性,在原ORB-SLAM2基础上新增动态区域检测线程和语义点云线程。动态区域检测线程由实例分割网络和光流估计网络组成,实例分割赋予动态场景语义信息的同时生成先验性动态物体的掩膜。为了解决实例分割网络的欠分割问题,采用轻量级光流估计网络辅助检测动态区域,生成准确性更高的动态区域掩膜。将生成的动态区域掩膜传入到跟踪线程中进行实时剔除动态区域特征点,然后使用地图中剩余的静态特征点进行相机的位姿估计并建立语义点云地图。在公开TUM数据集上的实验结果表明,改进后的SLAM系统在保证实时性的前提下,提升了其在动态场景中的定位与建图的鲁棒性。

基于SwinS-YOLACT的番茄采摘机器人实时实例分割算法研究

在设施番茄种植环境中,果实重叠遮挡等情况会影响识别精度。因此,本文提出了一种基于YOLACT的实例分割模型,提高识别精度。首先,对果实重叠遮挡的类别进行细分并增加该类数据集,从而接近真实采摘场景,并在采摘决策中改善重叠遮挡对识别精度的影响;其次,采用Simple Cope-Paste数据增强方法提高了模型的泛化能力,降低了环境因素对实例分割效果的干扰;然后,在YOLACT基础上,引用多尺度特征提取技术克服了单一尺度特征提取的局限性,并降低了模型复杂度;最后,引入Swin Transformer中的Swin-S注意力机制,优化了模型对于番茄实例分割的细节特征提取效果。实验结果表明,本文模型能够一定程度上缓解分割结果中出现的漏检、误检问题,其目标检测平均精度为93.9%,相比于YOLACT、YOLO v8-x、Mask R-CNN、InstaBoost分别提升10.4、4.5、16.3、3.9个百分点;平均分割精度为80.6%,相比于上述模型分别提升4.8、1.5、7.3、4.3个百分点;推理速度为25.6 f/s。该模型综合性能有较强的鲁棒性,兼顾了精度与速度,可为番茄采摘机器人完成视觉任务提供参考。

一种基于Transformer的伪装目标实例分割方法

本文研究主要针对伪装复杂背景下的图像进行实例分割.由于分割对象的伪装性以及缺少大规模训练集来支撑模型训练,这对于复杂背景下的实例对象分割构成了巨大挑战.受SOTR(Segmenting Objects with Transformer)的启发下,本文设计了一种方法框架,以解决动物野生环境和其他各类复杂伪装背景下的实例分割问题.相较于原始模型在特征目标的检测表现效果不佳,以及分割掩码存在上下文信息丢失的问题,本文提出的框架主要采用以下方法:引入特定的上下文特征金字塔提取网络CEM-FPN,以解决在高分辨率图像与感受野之间的矛盾.具体而言,高分辨率图像需要更大的感受野,但大感受野会导致小目标的检测误判为背景.在多层级融合模块加入通道空间注意力模块(CS Module),以提升对不同尺度上的各个实例对象的关注度,从而提高原型掩码的质量.实验结果表明,本文方法相较于原模型在COD10K-Test数据集上提升了4.1%的精确度,并在NC4K-Test数据集上提升了4.5%的精确度.

基于实例分割技术的草莓叶龄及冠幅表型快速提取方法

[目的/意义]为解决高通量草莓叶龄及冠幅提取问题,提出一种基于移动式表型平台和实例分割技术的高通量表型提取方法。[方法]利用小型移动式表型平台对温室内盆栽草莓植株的俯拍图像进行数据获取,并利用改进型Mask R-CNN(Convolutional Neural Network)模型对图像进行处理,以此获取草莓植株叶龄信息。首先利用带有分组注意力模块的Split-Attention Networks(ResNeSt)骨干网络替换原有网络,从而提高图像特征信息提取精度和执行效率。在训练时,利用Mosaic方法对草莓图像进行数据增强,并且使用二元交叉熵损失函数对原本的交叉熵分类损失函数进行优化,以达到更好的植株与叶片的检测准确度。在此基础上,对训练结果进行后处理,利用标定比值对冠幅进行计算。[结果和讨论]该方法能够在ResNeSt-101骨干网络下,实现80.1%的掩膜准确率和89.6%的检测框准确率,并且能够以99.3%的植株检测正确率和98.0%的叶片数量检出率实现高通量的草莓叶龄估算工作。而模型推理后草莓植株南北和东西向冠幅测试值与真实值相比误差均低于5%的约占98.1%。[结论]该方法有着较高的鲁棒性,能够为智慧农业下高通量植物表型获取与解析工作提供技术支持。

基于红外视频的VOCs泄漏源定位与气羽实例分割

为实现对基于红外视频的挥发性有机化合物(VOCs)的自动化检测,提出了一种泄漏源定位和气羽实例分割的协同建模方法,既保证了模型对气羽实例的区分,也保证了每个实例只预测一个泄漏源,并支持单支路网络通过单次前向推理同时进行泄漏源定位和实例分割。考虑到泄漏源附近的气羽逸散特性,使用泄漏源位置作为气羽在嵌入空间的聚类中心,并根据泄漏气羽的时空分布选取高斯分布概率密度函数的协方差变量,对嵌入空间内的像素进行聚类,得到不同实例的泄漏源定位和实例分割结果。将泄漏源定位问题定义为具有单一关键点的关键点检测问题并给出定量评价指标。此外,通过合成数据集获得更加精确且易于获取的标注。实验结果表明,本文提出的方法可以对泄漏气羽进行较为准确的泄漏源定位和实例分割,综合定量指标高于其他同类方法,且在真实视频中具有良好的泛化性。

MR-GA:一种基于实例分割的地下排水管道缺陷评估方法

目前地下排水管道检测后的缺陷评估主要采用人工方式进行,不仅费时、费力,智能化程度低,而且容易受到人工经验与视觉疲劳的影响,导致遗漏与误判,影响结果的准确性。近年来迅速兴起的实例分割技术,具有强大的数据特征学习和描述能力。提出了一种基于Mask R-CNN实例分割网络的管道缺陷评估MR-GA(Mask R-CNN-Grading Assessment)方法。首先,自建样本数据集,对Mask R-CNN进行训练构建模型;其次,利用构建好的模型对输入的管道检测帧进行缺陷分类和实例分割;在此基础上,结合《城镇排水管道检测与评估技术规程》,根据各类管道缺陷特征,制定出缺陷量化分级评估方案;最后,按此方案进行参数计算及分级评估。将MR-GA方法应用于实际工程项目,与人工评估结果相比,缺陷类别识别准确率达到91.34%,缺陷分级准确率达到88.75%。