基于轻量化PointNet网络的林果园喷雾作业靶标实时识别方法

为了进一步提高喷雾机器人靶标检测的精准性、实时性和应用部署的实用性,该研究提出一种基于轻量化PointNet网络的林果园喷雾作业靶标实时识别方法。首先通过区域提取降采样、地面分割和改进DBSCAN聚类等点云预处理方法提取原始点云中的靶标;然后通过移动最小二乘上采样将靶标点云转化为满足点云识别网络输入要求的点云数据;最终通过在PointNet网络中引入残差模块和改进循环剪枝算法轻量化PointNet网络,完成林果树靶标的实时识别。试验结果表明,在ModelNet40数据集上,轻量化PointNet网络可达89.7%的准确率;在实际苗圃环境的试验中,该研究方法对靶标的识别准确率可达92.49%,同时误识率与拒识率分别为13.4%和6.47%,相较PointNet网络识别准确率提升了4.38个百分点,误识率和拒识率分别降低了7.2和4.07个百分点;轻量化PointNet网络识别准确率仅比PointNet++网络低1.14个百分点,误识率和拒识率分别高了0.9和1.12个百分点。但是轻量化PointNet网络的模型参数量较PointNet网络和PointNet++网络的模型参数量显著减少,仅为PointNet网络的11.5%,PointNet++网络的27.02%;运算量相较PointNet网络、PointNet++网络分别减少13.3和76.79个百分点。该研究提出的轻量化PointNet网络具有较高的实时性、精确性和鲁棒性,能够满足林果园喷雾作业的靶标识别需求,可为林果园喷雾作业靶标实时识别提供参考。

基于DenseNet与PointNet融合算法的三维点云分割

点云分割对于智能驾驶、物体检测和识别、逆向工程等任务非常重要。PointNet是一种能够直接处理点云数据的方法,近年来在点云分割任务中得到广泛应用,但其分割精度较低,而PointNet++的计算成本又较高。针对以上问题,提出一种融合DenseNet和PointNet的算法,用于点云分割,并引入三分支混合注意力机制,以提高PointNet在提取局部特征方面的能力。基于密集连接卷积网络(DenseNet)思想,提出用DenseNet-STN和DenseNet-MLP结构来替代PointNet中的空间变换网络(STN)和多层感知机(MLP);同时,使用Add连接代替密集块(DenseBlock)中的Concat连接,以提高对点特征间相关性的准确性,同时不显著增加模型复杂度。DenseNet-PointNet能够提高复杂分类问题的泛化能力,实现对复杂函数更好的逼近,从而提高点云分割的准确率。有效性和消融实验结果表明,本文算法具有良好的性能。点云分割实验结果表明,DenseNet-PointNet在大多数类别中的交并比(IoU)都高于PointNet的IoU,并在部分类别中也高于PointNet++,参数量是PointNet++的47.6%,浮点运算量(FLOPs)是PointNet++的49.1%。实验结果验证了DenseNet-PointNet的可行性和有效性。

基于PointNet优化网络的铁路站台语义分割

铁路站台点云语义分割是对铁路侵界现象进行检测的关键环节。文中以新型激光扫描测量系统采集的具有三维空间信息的点云数据为基础,在获取初步分割结果的基础上,设计PointNet网络整体结构提取点云数据全局特征,采用多层次金字塔结构对网络进行局部特征提取优化,实现铁路站台点云数据语义分割。研究表明,所提方法对实验点云数据的分割准确率达到84.5%,在铁路工程应用中的点云总体分割精度达到75.34%,在铁路检测中实现了大范围多尺度点云数据的可靠语义分割,满足铁路侵界现象检测分析需求。

基于TF-PointNet++的林木点云数据语义分割算法研究

【目的】林木点云数据具有边界模糊、空间分布不均的特点,经典PointNet++网络对林木点云邻域特征的关注有局限性,存在原点云的邻接关系未能捕捉全面、不能很好地进行分割的问题,因此改善对林木的分割效果十分重要。【方法】提出了一种基于Transformer-PointNet++的点云语义分割网络,在经典PointNet++网络的中间层引入了Transformer结构,利用自注意力机制优化特征提取,核心思想是将点云中的每个点作为输入,在下采样层以及输出层利用自注意力机制对点云进行全局的特征交互和信息聚合,改善了经典PointNet++对于邻域特征的信息关注。在此基础上,采用了开源ModelNet40点云集合和自建林木点云数据集,分别投入到经典PointNet++网络、DST-PointNet++、B-PointNet++和TF-PointNet++网络进行实验,用于测试改进后网络模型的效果。【结果】TF-PointNet++在开源ModelNet40数据集和自建林木点云数据集上皆有更好的表现。在ModelNet40上,OA达到了94.08%,较PointNet++提升了4.04个百分点;在自建数据集上,OA达到了82.52%,较PointNet++提升了26.24个百分点,mIoU达到了85.67%,提升了11.21个百分点。【结论】TF-PointNet++网络可以使模型更好地理解和利用整个点云的上下文信息,从而提升语义分割的准确性和全局一致性。本研究证明了TF-PointNet++网络在处理语义分割任务中的有效性和先进性,对于提升林木点云数据的语义分割效果具有重要意义。

基于PointNet++的焊装夹具零件识别

焊装夹具是汽车白车身焊接生产线中重要的组成部分,有效的管理和归纳焊装夹具零件设计数模能够显著提高设计效率。将原始设计数模离散为点云,利用点云数据和PointNet++深度学习网络探讨了一种焊装夹具零件智能分类方法,并对比各模型的分类精度,选取运行效率和精度最高的单尺度分组(SSG)模型完成焊装夹具零件的分类。训练结果表明,该方法在验证集上的准确率为97.5%,型块、连接块、定位销、销座、支座的验证集类内准确率分别为92.5%、97.5%、100%、97.5%和100%。这些结果表明该方法具有较高的识别精度,能够满足焊装夹具零件分类的精度要求。

基于改进PointNet的空调散热器V形槽3D点云分割算法

针对给空调散热器自动化点胶时无法准确识别散热器V形槽位置的问题,基于PointNet网络的散热器V形槽语义分割方法,首先针对散热器点云V形槽区域与内部区域特征相似的问题,设计一种通过提取点云边缘将点云边缘区域的点云与内部区域的点云分别进行预处理的方法,实现突出点云边缘区域特征的目的。其次,在PointNet网络最大池化函数的基础上,引入平均池化函数,增加网络所提取的全局特征的特征信息,减少因最大池化引起的信息丢失,并去除T-Net变换网络,减少网络的复杂度。从实验室平台采集空调散热器样本进行实验,结果表明,改进算法的平均交并比(mean intersection over union, mIoU)达到78.17%,总体精度(overall accuracy, OA)达到了92.01%,相较于PointNet提高了9.73%和6.37%,验证了算法的有效性。

基于PointNet++的工井点云语义分割模型研究

受地下工井空间狭窄、环境复杂的影响,采集的工井点云数据存在空间分布不规则且不均匀、数据量大、难以实现多目标高效的语义分割等问题。有鉴于此,本文提出了一种基于PointNet++的工井点云语义分割方法。首先,采集地下工井点云数据并加入语义标签,制作模型训练需要的数据集;其次,为提高点云分割任务的性能,引入一种基于深度学习的PointNet++网络模型,并利用多分辨率分组(multi-scalegrouping,MSG)和随机输入(random inputdropout,DP)策略,实现了地下工井地面、顶、爬梯、墙、电缆线和支架的语义分割;最后,采用精确度、召回率、交并比和F1分数作为评价指标对分割效果进行评价。结果表明,与PointNet网络模型相比,本文方法各类别的评价指标均得到了显著的提升,并且地下工井地面、井顶、井墙和电缆线等类别的评价指标均超过80%,显示分割性能良好,有利于地下电缆工井场景的多目标快速精准分割,为地下工程精细化管理奠定了基础。

基于PointNet++的沙质海岸点云形变监测分析

沙质海岸因其特殊的物理结构,极易受到气候变化的影响而遭受海水侵蚀发生形变。为了获取沙质海岸的形变信息,通常采用M3C2算法计算研究区的形变量,但该方法仅考虑点云间邻域关系,缺失对点云全局的特征描述,因此,本实验采用荷兰Kijkduin地区监测的为期7个月的一公里海岸点云数据作为研究对象,通过PointNet++深度学习算法提取不同尺度点云的局部特征和全局特征,构建点云特征向量的距离度量计算研究区内点云的形变量。实验结果发现,研究区内西部和中部形变量显著,最大月平均形变量为0.3051 m,并根据形变量的变化分析出沙质海岸的形变量与降雨量和温度有密切关系。该研究方法体系充分考虑到点云的局部特征和全局特征,从而实现沙质海岸点云的高效形变监测,对沙质海岸的防护具有重要意义。

基于改进的PointNet++模型的多光谱LiDAR数据分类方法

多光谱激光雷达(LiDAR)系统可同时并快速获取大范围空间目标地物的光谱强度信息和空间几何信息,为三维点云分类、语义分割、目标检测等研究提供新的数据源。然而,由于多光谱点云数据分布的不规则性以及数据量巨大等特性,使得地物特征的提取过程充满挑战。本文通过将通道注意力机制(SE-Block)和修正后的焦点损失函数嵌入至PointNet++网络中,提出了一种改进的PointNet++网络架构。PointNet++网络从不均匀采样的点中提取局部特征,并通过多尺度分组表示点之间的局部几何关系。将SE-Block嵌入至PointNet++网络中,通过显式地建模通道之间的相互依赖关系,自适应地重新校准通道方面的特征响应,从而强调重要通道并抑制不利于预测的无用通道,提高特征的显著性,以便更好地进行点云分类。另外,本文在改进的网络架构基础上利用修正后的焦点损失函数解决了多光谱LiDAR点云数据中类别不均匀分布的问题。本文提出的改进的PointNet++网络架构在托伯莫里港口数据集上进行了评估,获得的总体精度、mIoU、F1-score和Kappa系数分别为95.21%、62.59%、73.58%、0.918。与5个已建立的深度神经网络模型的比较实验证实,本文提出的改进的PointNet++网络架构在多光谱LiDAR点云分类任务中具有良好的性能。

基于Pointnet和迁移学习的苹果表型参数估算研究

[目的]为快速、准确、无损检测苹果的外部表型参数,提出了一种基于Pointnet和迁移学习的苹果表型参数估算算法。[方法]通过Kinect相机从任意角度拍摄苹果并使用直通滤波法去除背景环境数据得到只包含苹果信息的点云数据。在此基础上使用最远点采样法,获取标准输入点云,然后采用椭球曲面方程构建苹果几何模型,生成基于椭圆方程的苹果几何模型库。使用Pointnet算法训练仿真模型数据,然后通过迁移学习迁移到实测数据上去,在训练好的模型上进行微调;再经过5-折交叉验证,判定模型的鲁棒性和泛化能力,得到最终的估算模型。[结果]以均方根误差(RMSE)和决定系数(R2)评价模型结果,实测250个苹果3个角度点云共750组数据,在任意一个角度拍摄的残缺率达到50%的点云数据的条件下,该模型对苹果的直径、高度、体积3组表型参数的RMSE分别为2.247、2.275和22.780,R2分别为0.919、0.841和0.927。[结论]该算法回归效果优于传统算法,在任意角度拍摄到的残缺率达到50%的点云数据的条件下仍能很好完成外部表型参数估算。

基于改进PointNet网络的三维手姿估计方法

针对单幅深度图像三维手姿估计中由于手部复杂结构捕捉困难导致的精度低和鲁棒性较差的问题,提出一种基于改进PointNet网络的三维手姿估计方法。该方法首先采用边界框定位网络预测三维边界框,从而准确裁剪手部区域。然后将手部深度图像表示为点云,模拟手部可见表面,有效地利用深度图像中的三维信息。最后将手部点云数据输入改进的PointNet网络,准确地进行三维手姿估计。改进的PointNet网络通过引入跳跃连接,充分利用不同层次的特征,更好地捕捉手部的复杂结构。在NYU手姿数据集上进行验证,实验结果表明,提出的方法优于现有的大部分方法,并且网络结构简单、易于训练,运行速度快。

基于图卷积神经网络的三维点云分割算法Graph⁃PointNet

三维点云无序不规则的特性使得传统的卷积神经网络无法直接应用,且大多数点云深度学习模型往往忽略大量的空间信息。为便于捕获空间点邻域信息,获得更好的点云分析性能以用于点云语义分割,文中提出Graph⁃PointNet点云深度学习模型。Graph⁃PointNet在经典点云模型PointNet的基础上,结合二维图像中聚类思想,设计了图卷积特征提取模块取代多层感知器嵌入PointNet中。图卷积特征提取模块首先通过K近邻算法搜寻相邻特征点组成图结构,接着将多组图结构送入图卷积神经网络提取局部特征用于分割。同时文中设计一种新型点云采样方法多邻域采样,多邻域采样通过设置点云间夹角阈值,将点云区分为特征区域和非特征区域,特征区域用于提取特征,非特征区域用于消除噪声。对室内场景S3DIS、室外场景Semantic3D数据集进行实验,得到二者整体精度分别达到89.33%和89.78%,平均交并比达到64.62%,61.47%,均达到最佳效果。最后,进行消融实验,进一步证明了文中所提出的多邻域采样和图卷积特征提取模块对提高点云语义分割的有效性。

融合MKF的Pointnet++优化算法研究

移动机器人能够在陌生环境中实现全局定位是目前很多研究的重点和热点问题之一.移动机器人在陌生环境中会受到环境结构变化、障碍物等多种复杂因素的影响,为了使移动机器人能够在陌生环境中实现全局定位需要以机器人能够对环境中的障碍物体进行识别分类以及对环境进行局部分割为基础.为此,本文采用了Pointnet、Pointnet++以及融合了MKF的Pointnet++优化算法等方法,并采用基于深度学习的方法处理点云数据,实现障碍物体的识别分类和环境的局部分割.实验结果表明,基于MKF的Pointnet++优化算法在物体识别分类和环境分割应用上比Pointnet和Pointnet++效果更好,并且在点云低密度的环境下仍有良好的效果.

一种基于改进PointNet++网络的三维手姿估计方法

针对PointNet++网络处理点云局部特征时因分组范围区过大导致计算量较大的问题,提出一种改进的PointNet++网络的三维手姿估计方法。首先对手势点云进行基于Delaunay三角剖分算法与K中位数聚类算法相结合的三角剖分,得到手势点云的三角网格模型,并计算三角网格模型的边长均值;然后以三角网格模型边长均值为半径,对最远点采样(FPS)的采样点进行球查询搜索,再根据搜索到的采样点个数极值对采样点云进行K近邻分组,并最终输入PointNet网络,完成三维手姿的位置估计。改进后的PointNet++网络可以根据不同的点云密度自动调整网络分组区域的局部提取点个数。实验结果表明,在不影响三维手姿估计精度的情况下,该方法提高了PointNet++网络的模型训练速度,并在三维手姿估计中可有效减少特征提取的计算量,使计算机能够更快地捕捉手姿状态。

基于PointNet++的煤场点云分割与识别方法

为了实现煤场环境下的实时监控与安全监测,对煤场环境应用了一种基于PointNet++的目标分割与识别的方法。利用二维激光扫描仪做直线运动的装置采集三维点云数据,通过设置目标安全距离,采用基于欧氏距离的点云分割算法对原始点云进行分割,调用训练好的PointNet++网络对分割后的目标点云进行识别,对识别结果进行判断,并分析目标物体的工作状态是否安全。实验结果表明:煤场环境典型物体点云的分割精确率与召回率均大于90%,目标识别准确率达到98%,验证了基于PointNet++点云分割与识别方法的可行性。

基于PointNet的三维点云部件分割的抗干扰研究

三维点云部件分割的训练预测模型是复杂多样的,影响分割结果的因素有很多。针对深度神经网路设置不同的参数对分割精度的影响,提出在经典点云网络模型PointNet上选择不同的激活函数与优化器进行抗干扰研究。首先将网络中数据采样数、学习率、批量大小等参数确定,其次修改激活函数与优化器参数并在ShapeNet数据集上进行实验对比。实验结果表明,在PointNet网络模型中选择ReLU激活函数与SGD优化器测试精确度达到88.39%。

基于改进PointNet++的输电杆塔点云语义分割模型

针对现有输电线路点云提取精度不高、无法满足无人机自主精细化巡检需求的问题,提出一种改进的PointNet++的输电杆塔点云语义分割方法,以实现对导线、地线、引流线、绝缘子和杆塔塔身的点云分割。首先,对经典PointNet++模型参数进行调整,使模型在特征提取数量、感受野方面更适用于输电杆塔点云数据;然后,采用核心点卷积作为点云特征提取算法,进一步提升模型对点云特征的提取能力;最后,针对点云数据中存在的数据不平衡问题,采用focal loss作为损失函数,使占比较少的类别得到充分训练。为验证所提方法有效性,在2284基输电杆塔组成的点云数据集上进行了实验,实验结果表明:改进后的算法平均F1值达到97.26%,较经典PointNet++提高了3.95个百分点。

基于PointNet和长短时记忆网络的三维人体动作预测

人体动作预测是计算机视觉和图形学领域的重要任务。现有的方法主要基于人体骨架和视频图像表示,相较于骨架和视频表示,三维几何数据表示人体动作更加直观和形象化。为此提出了一种基于PointNet和长短期记忆(LSTM)网络的三维点云表示的人体动作预测方法。首先,使用改进的PointNet对人体动作序列中的每帧三维点云进行特征提取;其次,通过LSTM学习动作序列的时间信息融合动作序列的时空特征;最后,将时空特征通过全连接神经网络(FC)进行动作预测;此外,还构造了三维点云表示的人体动作序列数据集。实验结果表明,所提方法在预测下一帧三维人体点云坐标时的平均损失值低于10-3。

基于PointNet++的船体分段合拢面智能识别方法

船体分段合拢面的精度检测是分段总组合拢过程中的重要环节。在船体分段合拢面的精度检测方面,三维扫描仪相对全站仪有着巨大优势,但三维扫描仪在扫描过程中会记录很多与合拢面无关的点。文章对三维扫描仪扫描出的点云数据进行合拢面的智能识别;采用深度学习理论对PointNet++点云网络进行改进,使用CAD模型导出的点云数据构建有标注的船体分段点云数据集,进而使用Adam优化算法对网络进行优化训练。最终,网络模型对分段合拢面的识别在验证集上获得精确率73%、召回率90%的效果。

基于PointNet++改进的点云特征提取与分类网络架构

点云作为一种能提供丰富空间信息与几何特征的数据表达形式,正受到越来越多的重视。为了克服其无序性,以及不均匀的空间分布带来的影响,许多研究者采取平面投影,或者使用体素网格对原始点云进行转换,但这些方式都是以损失三维信息或者增大数据规模为前提。PointNet[1]创新性的使用原始点云作为输入,提取特征并处理。PointNet++[2]则在此之上,更进一步地加强了对局部特征的提取能力。论文结合深度学习中的优化思想,对PointNet++结构进行改进,加入自顶向下的网络分支,经过处理后将原网络每一层的中间特征都输入到最终分类网络,更进一步地强化特征提取的能力。该网络易于理解且高效,在ModelNet40数据集上测试,整体分类准确率有明显提升,证明了其优化后的特征提取能力。