基于轻量化PointNet网络的林果园喷雾作业靶标实时识别方法

为了进一步提高喷雾机器人靶标检测的精准性、实时性和应用部署的实用性,该研究提出一种基于轻量化PointNet网络的林果园喷雾作业靶标实时识别方法。首先通过区域提取降采样、地面分割和改进DBSCAN聚类等点云预处理方法提取原始点云中的靶标;然后通过移动最小二乘上采样将靶标点云转化为满足点云识别网络输入要求的点云数据;最终通过在PointNet网络中引入残差模块和改进循环剪枝算法轻量化PointNet网络,完成林果树靶标的实时识别。试验结果表明,在ModelNet40数据集上,轻量化PointNet网络可达89.7%的准确率;在实际苗圃环境的试验中,该研究方法对靶标的识别准确率可达92.49%,同时误识率与拒识率分别为13.4%和6.47%,相较PointNet网络识别准确率提升了4.38个百分点,误识率和拒识率分别降低了7.2和4.07个百分点;轻量化PointNet网络识别准确率仅比PointNet++网络低1.14个百分点,误识率和拒识率分别高了0.9和1.12个百分点。但是轻量化PointNet网络的模型参数量较PointNet网络和PointNet++网络的模型参数量显著减少,仅为PointNet网络的11.5%,PointNet++网络的27.02%;运算量相较PointNet网络、PointNet++网络分别减少13.3和76.79个百分点。该研究提出的轻量化PointNet网络具有较高的实时性、精确性和鲁棒性,能够满足林果园喷雾作业的靶标识别需求,可为林果园喷雾作业靶标实时识别提供参考。

基于PointNet优化网络的铁路站台语义分割

铁路站台点云语义分割是对铁路侵界现象进行检测的关键环节。文中以新型激光扫描测量系统采集的具有三维空间信息的点云数据为基础,在获取初步分割结果的基础上,设计PointNet网络整体结构提取点云数据全局特征,采用多层次金字塔结构对网络进行局部特征提取优化,实现铁路站台点云数据语义分割。研究表明,所提方法对实验点云数据的分割准确率达到84.5%,在铁路工程应用中的点云总体分割精度达到75.34%,在铁路检测中实现了大范围多尺度点云数据的可靠语义分割,满足铁路侵界现象检测分析需求。

基于PointNet++的焊装夹具零件识别

焊装夹具是汽车白车身焊接生产线中重要的组成部分,有效的管理和归纳焊装夹具零件设计数模能够显著提高设计效率。将原始设计数模离散为点云,利用点云数据和PointNet++深度学习网络探讨了一种焊装夹具零件智能分类方法,并对比各模型的分类精度,选取运行效率和精度最高的单尺度分组(SSG)模型完成焊装夹具零件的分类。训练结果表明,该方法在验证集上的准确率为97.5%,型块、连接块、定位销、销座、支座的验证集类内准确率分别为92.5%、97.5%、100%、97.5%和100%。这些结果表明该方法具有较高的识别精度,能够满足焊装夹具零件分类的精度要求。

基于改进PointNet的空调散热器V形槽3D点云分割算法

针对给空调散热器自动化点胶时无法准确识别散热器V形槽位置的问题,基于PointNet网络的散热器V形槽语义分割方法,首先针对散热器点云V形槽区域与内部区域特征相似的问题,设计一种通过提取点云边缘将点云边缘区域的点云与内部区域的点云分别进行预处理的方法,实现突出点云边缘区域特征的目的。其次,在PointNet网络最大池化函数的基础上,引入平均池化函数,增加网络所提取的全局特征的特征信息,减少因最大池化引起的信息丢失,并去除T-Net变换网络,减少网络的复杂度。从实验室平台采集空调散热器样本进行实验,结果表明,改进算法的平均交并比(mean intersection over union, mIoU)达到78.17%,总体精度(overall accuracy, OA)达到了92.01%,相较于PointNet提高了9.73%和6.37%,验证了算法的有效性。

基于PointNet++的工井点云语义分割模型研究

受地下工井空间狭窄、环境复杂的影响,采集的工井点云数据存在空间分布不规则且不均匀、数据量大、难以实现多目标高效的语义分割等问题。有鉴于此,本文提出了一种基于PointNet++的工井点云语义分割方法。首先,采集地下工井点云数据并加入语义标签,制作模型训练需要的数据集;其次,为提高点云分割任务的性能,引入一种基于深度学习的PointNet++网络模型,并利用多分辨率分组(multi-scalegrouping,MSG)和随机输入(random inputdropout,DP)策略,实现了地下工井地面、顶、爬梯、墙、电缆线和支架的语义分割;最后,采用精确度、召回率、交并比和F1分数作为评价指标对分割效果进行评价。结果表明,与PointNet网络模型相比,本文方法各类别的评价指标均得到了显著的提升,并且地下工井地面、井顶、井墙和电缆线等类别的评价指标均超过80%,显示分割性能良好,有利于地下电缆工井场景的多目标快速精准分割,为地下工程精细化管理奠定了基础。

基于PointNet++的沙质海岸点云形变监测分析

沙质海岸因其特殊的物理结构,极易受到气候变化的影响而遭受海水侵蚀发生形变。为了获取沙质海岸的形变信息,通常采用M3C2算法计算研究区的形变量,但该方法仅考虑点云间邻域关系,缺失对点云全局的特征描述,因此,本实验采用荷兰Kijkduin地区监测的为期7个月的一公里海岸点云数据作为研究对象,通过PointNet++深度学习算法提取不同尺度点云的局部特征和全局特征,构建点云特征向量的距离度量计算研究区内点云的形变量。实验结果发现,研究区内西部和中部形变量显著,最大月平均形变量为0.3051 m,并根据形变量的变化分析出沙质海岸的形变量与降雨量和温度有密切关系。该研究方法体系充分考虑到点云的局部特征和全局特征,从而实现沙质海岸点云的高效形变监测,对沙质海岸的防护具有重要意义。

基于改进的PointNet++模型的多光谱LiDAR数据分类方法

多光谱激光雷达(LiDAR)系统可同时并快速获取大范围空间目标地物的光谱强度信息和空间几何信息,为三维点云分类、语义分割、目标检测等研究提供新的数据源。然而,由于多光谱点云数据分布的不规则性以及数据量巨大等特性,使得地物特征的提取过程充满挑战。本文通过将通道注意力机制(SE-Block)和修正后的焦点损失函数嵌入至PointNet++网络中,提出了一种改进的PointNet++网络架构。PointNet++网络从不均匀采样的点中提取局部特征,并通过多尺度分组表示点之间的局部几何关系。将SE-Block嵌入至PointNet++网络中,通过显式地建模通道之间的相互依赖关系,自适应地重新校准通道方面的特征响应,从而强调重要通道并抑制不利于预测的无用通道,提高特征的显著性,以便更好地进行点云分类。另外,本文在改进的网络架构基础上利用修正后的焦点损失函数解决了多光谱LiDAR点云数据中类别不均匀分布的问题。本文提出的改进的PointNet++网络架构在托伯莫里港口数据集上进行了评估,获得的总体精度、mIoU、F1-score和Kappa系数分别为95.21%、62.59%、73.58%、0.918。与5个已建立的深度神经网络模型的比较实验证实,本文提出的改进的PointNet++网络架构在多光谱LiDAR点云分类任务中具有良好的性能。

基于PointNet++的煤场点云分割与识别方法

为了实现煤场环境下的实时监控与安全监测,对煤场环境应用了一种基于PointNet++的目标分割与识别的方法。利用二维激光扫描仪做直线运动的装置采集三维点云数据,通过设置目标安全距离,采用基于欧氏距离的点云分割算法对原始点云进行分割,调用训练好的PointNet++网络对分割后的目标点云进行识别,对识别结果进行判断,并分析目标物体的工作状态是否安全。实验结果表明:煤场环境典型物体点云的分割精确率与召回率均大于90%,目标识别准确率达到98%,验证了基于PointNet++点云分割与识别方法的可行性。

基于PointNet的三维点云部件分割的抗干扰研究

三维点云部件分割的训练预测模型是复杂多样的,影响分割结果的因素有很多。针对深度神经网路设置不同的参数对分割精度的影响,提出在经典点云网络模型PointNet上选择不同的激活函数与优化器进行抗干扰研究。首先将网络中数据采样数、学习率、批量大小等参数确定,其次修改激活函数与优化器参数并在ShapeNet数据集上进行实验对比。实验结果表明,在PointNet网络模型中选择ReLU激活函数与SGD优化器测试精确度达到88.39%。

基于改进PointNet++的输电杆塔点云语义分割模型

针对现有输电线路点云提取精度不高、无法满足无人机自主精细化巡检需求的问题,提出一种改进的PointNet++的输电杆塔点云语义分割方法,以实现对导线、地线、引流线、绝缘子和杆塔塔身的点云分割。首先,对经典PointNet++模型参数进行调整,使模型在特征提取数量、感受野方面更适用于输电杆塔点云数据;然后,采用核心点卷积作为点云特征提取算法,进一步提升模型对点云特征的提取能力;最后,针对点云数据中存在的数据不平衡问题,采用focal loss作为损失函数,使占比较少的类别得到充分训练。为验证所提方法有效性,在2284基输电杆塔组成的点云数据集上进行了实验,实验结果表明:改进后的算法平均F1值达到97.26%,较经典PointNet++提高了3.95个百分点。

基于改进PointNet++的大规模猪体点云部位分割

PointNet++点云分割网络能直接处理点云并有良好的分类和分割效果,然而对于自由运动状态下获取的大型牲畜点云,存在较大姿态差异,PointNet++无法难以直接捕捉其局部特征,对牲畜体点云各部位分割效果不佳。针对此问题论文采用Octree结构改进了PointNet++集合抽象层中的分组与采样层,使得网络能够更好地捕捉目标点云的非刚性变化,充分提取不同层次下的局部信息,实现对大规模牲畜点云数据的自动分割。采用Octree改进的PointNet++模型分割活体猪点云数据的头部、耳朵、尾部、躯体和四腿。实验表明,500组猪体点云数据,采用320组不同姿态下的猪体点云进行网络训练,180组分割测试结果的平均mIoU达到了88.06%,OA达到了96.57%。

改进PointNet++模型在道路杆状物提取中的应用

针对现有道路杆状物提取大多需要针对数据类型人工设计特征、泛用性差、自动化程度低等问题,本文提出一种基于改进PointNet++深度学习网络的道路杆状物语义分割方法,实现了对道路杆状物的提取。首先对原网络模型的感受野、分块大小等参数进行调整,使得该模型更适合道路点云数据;然后针对点云数据不平衡的问题,采用焦点损失函数作为模型的损失函数,使占比较少的类别得到充分训练;最后针对PointNet++网络提取特征时没有考虑邻域内各点特征影响关系的问题,采用邻域特征聚合模块融合邻域信息,提升该网络模型对点云特征的学习能力。为验证所提方法的有效性,使用改进后的网络模型在自建的道路点云组成的数据集上进行了试验,相对于经典PointNet++网络,杆状物类的分割精度明显提升,在简单道路和复杂道路上的交并比(IoU)分别提升了8.44%、15.25%,达到了98.88%、92.50%。

基于B-PointNet++的地下电缆工井点云语义分割模型

地下电缆工井具有规模大、范围广、空间分布复杂等特点,为提高地下电缆工井筛查效率,保障地下电缆安全可靠运行,提出了一种基于宽度学习系统(broad learning system,BLS)和编解码器(encoder-decoder)的PointNet++模型,简称BPointNet++,并将其应用于地下电缆工井点云语义分割。首先,为提高PointNet++对于大规模点云数据的特征学习能力以及学习效率,提出了基于Encoder-Decoder的PointNet++学习框架,并在PointNet核心网络中引入BLS算法替代原有多层感知器(multilayer perceptron,MLP),充分发挥BLS随机化学习效率;其次,采集了雄安新区地下电缆工井点云数据并加入真实语义标签制作模型训练需要的数据集;最后,与PointNet和PointNet++等现有方法相比,B-PointNet++具有更高的精确度、召回率、交并比和F1分数,有利于地下电缆工井场景的多目标分割,有较大的应用潜力。

基于FPFH-PointNet的术中膝关节软骨表面点云自动提取

目的机器人辅助膝关节置换术导航系统采用激光扫描仪获取术中软骨点云,并与术前模型配准,实现自动非接触空间注册。术中患者膝关节病变点云包含大量的肌肉、肌腱、韧带及手术器械等无关背景点云。手动去除无关点云会因人机交互而占据手术时间,因此,本研究提出一种新颖的膝关节软骨表面点云自动提取方法,以便快速精准实施术中注册。方法PointNet因缺乏软骨表面和几何局部信息的充分描述,不能高精度地提取软骨点云。本研究提出了一种结合快速点特征直方图FPFH-PointNet方法,该方法有效地描述了软骨点云表观,实现了软骨表面点云的自动高效分割。结果本研究以从不同角度扫描10例尸体膝关节标本和1例人腿模型的股骨远端软骨点云为数据集。PointNet和FPFH-PointNet分割软骨点云的准确率分别为0.94±0.003和0.98±0,平均交并比(mIOU)分别为0.83±0.015和0.93±0.005。FPFH-PointNet相比于PointNet,准确率和mIOU分别提高了4%和10%,而耗时仅约为1.37 s。结论FPFH-PointNet能够精准地自动提取术中膝关节软骨点云,满足了术中导航的性能需求。

面向点云语义分割的多特征融合PointNet++网络

PointNet和PointNet++方法以最大池化为聚合函数使得深度神经网络可直接分类无序点云,得到了较高的分类精度,但对点云空间相关性局部特征提取能力不足,制约了点云语义分割精度的提升。针对该问题,设计了一种面向点云语义分割的多特征融合PointNet++网络,在PointNet++网络中加入一个特征编码器,并以最小信息熵法计算的最优邻域来计算人工特征作为特征编码器的输入。在ISPRS提供的Vaihingen区域三维点云分类标准数据集上进行语义分割实验对比,结果表明多特征融合PointNet++网络语义分割精度比PointNet和PointNet++分别提高了4.3%和3.2%。

A Modified PointNet-Based DDoS Attack Classification and Segmentation in Blockchain

With the rapid development of blockchain technology,the number of distributed applications continues to increase,so ensuring the security of the network has become particularly important.However,due to its decentralized,decentralized nature,blockchain networks are vulnerable to distributed denial-of-service(DDoS)attacks,which can lead to service stops,causing serious economic losses and social impacts.The research questions in this paper mainly include two aspects:first,the classification of DDoS,which refers to detecting whether blockchain nodes are suffering DDoS attacks,that is,detecting the data of nodes in parallel;The second is the problem of DDoS segmentation,that is,multiple pieces of data that appear at the same time are determined which type of DDoS attack they belong to.In order to solve these problems,this paper proposes a modified PointNet(MPointNet)for the classification and type segmentation of DDoS attacks.A dataset containing multiple DDoS attack types was constructed using the CIC-DDoS2019 dataset,and trained,validated,and tested accordingly.The results show that the proposed DDoS attack classification method has high performance and can be used for the actual blockchain security maintenance process.The accuracy rate of classification tasks reached 99.65%,and the accuracy of type segmentation tasks reached 85.47%.Therefore,the method proposed in this paper has high application value in detecting the classification and segmentation of DDoS attacks.

基于改进PointNet++的电力线场景语义分割

从机载激光雷达点云数据中自动准确地提取电力线和杆塔是常规电力线检测的关键步骤,针对目前基于无人机的电力线点云场景中输电线提取精度不高,难以满足无人机自主精细化巡检需求的问题,本文提出了一种新的基于深度学习的电力线点云语义分割方法。本文提出一种改进PointNet++网络架构,完成了对导线、地线、地面和杆塔塔身的分割。首先在输入电力线点云数据的基础上,对经典PointNet++模型参数进行调整,使该模型在特征提取数量、感受野方面更适用大场景输电线现场。然后,对set abstraction(SA)模块进行改进,增强模型对点云数据的特征提取能力。针对该模块主要做了两点改进,一是在每个SA模块中增加残差连接,二是在SA模块中增加了倒置瓶颈设计。基于自建的电力巡检数据集进行测试,结果表明,本文提出的方法在电力线点云语义分割任务上取得了比较好的性能。对比原网络,改进的网络在平均准确率上提升了5.1%,在平均交并比上提升了7.2%。

K-means聚类精简点云驱动PointNet++的行星齿轮故障诊断

复杂装备的三维模型点云数据具有非结构化、无序性、离散性的特点,数据精简策略和深度神经网络模型构建被视为点云数据驱动的机械设备故障诊断关键技术难点。提出了一种K-means聚类(K均值聚类算法)精简点云驱动PointNet++的行星齿轮故障诊断方法。首先,提出了基于K-means的点云数据精简策略实现了在充分保留细节特征的前提下,精简84%的冗余数据;其次,构建了简度、速度、精度的精简效果三维评价指标体系并对精简算法进行评价;最后,构建了能够提取局部特征的PointNet++故障诊断模型。实验结果表明,相比于点云数据直接驱动PointNet++,K-means聚类精简点云驱动PointNet++的行星齿轮故障诊断的准确率提升了6.9%,表明了所提方法的有效性。

基于PointNet++矫形云平台的肢体分割方法

提出一种基于PointNet++三维物体分割模型的人体肢体分割方法,作为矫形器智能数字化设计的关键步骤,以实现对人体肢体模型的精准分割。通过高斯平滑滤波消除离群点,进行三角面片的法向量估计,增加模型特征,然后进行八叉树顶点采样,减少模型数据量,最后利用深度学习PointNet++神经网络对点云数据进行多尺度的特征提取和聚合,结合有效的分割策略,实现了对人体肢体模型的高精度分割。该方法充分利用了点云数据的局部特征和全局特征,并采用了保持细节信息的有效分割策略,以提高分割精度。实验证明,基于PointNet++的人体肢体分割方法在智能数字化矫形设计CAD云平台中,能够实现对人体肢体的准确分割,可获得95.1%的分割精度,为矫形器的智能化数字化设计奠定基础。

顾及邻域相关关系的改进PointNet++网络点云分类应用

机载扫描系统可以快速准确地获取大范围地物坐标,具有无可比拟的优势。机载点云具有其自身的特点,而采用PointNet++网络处理时未能依据机载点云的特点进行设计,其分类精度仍有待提高。鉴于此,提出了一种改进PointNet++网络,该网络将邻域点特征和邻域点间关系特征进行采集,并采用CRF算法对预测值进行全局优化用以增强空间一致性。通过选用ISPRS三维语义分割数据集对改进模型进行了测试,实验结果表明,改进PointNet++网络丰富了机载点云特征的描述,具有较高的分类精度。该成果可为三维地理信息提取提供有力保障。