基于改进PointNet++的输电线路关键部位点云语义分割研究

输电线路的关键部位包括塔身、导线、绝缘子、避雷线以及引流线,无人机精细化导航的首要任务是构造输电线路的点云地图并从中分割出上述部位。为解决现有算法在输电线路的绝缘子、引流线等精细结构分割时精度低的问题,通过改进PointNet++算法,提出了一种面向输电线路精细结构的点云分割方法。首先,基于无人机机载激光雷达在现场采集的点云数据,构造了输电线路点云分割数据集;其次,通过对比实验,筛选出在本输电线路场景下合理的数据增强方法,并对数据集进行了数据增强;最后,将自注意力机制以及倒置残差结构和PointNet++相结合,设计了输电线路关键部位点云语义分割算法。实验结果表明:该改进PointNet++算法在全场景输电线路现场点云数据作为输入的前提下,首次实现了对引流线、绝缘子等输电线路中精细结构和导线、杆塔塔身以及输电线路无关背景点的同时分割,平均交并比(mean intersection over union,mIoU)达80.79%,所有类别分割的平均F_(1)值(F1 score)达88.99%。

基于PointNet优化网络的铁路站台语义分割

铁路站台点云语义分割是对铁路侵界现象进行检测的关键环节。文中以新型激光扫描测量系统采集的具有三维空间信息的点云数据为基础,在获取初步分割结果的基础上,设计PointNet网络整体结构提取点云数据全局特征,采用多层次金字塔结构对网络进行局部特征提取优化,实现铁路站台点云数据语义分割。研究表明,所提方法对实验点云数据的分割准确率达到84.5%,在铁路工程应用中的点云总体分割精度达到75.34%,在铁路检测中实现了大范围多尺度点云数据的可靠语义分割,满足铁路侵界现象检测分析需求。

基于改进PointNet的空调散热器V形槽3D点云分割算法

针对给空调散热器自动化点胶时无法准确识别散热器V形槽位置的问题,基于PointNet网络的散热器V形槽语义分割方法,首先针对散热器点云V形槽区域与内部区域特征相似的问题,设计一种通过提取点云边缘将点云边缘区域的点云与内部区域的点云分别进行预处理的方法,实现突出点云边缘区域特征的目的。其次,在PointNet网络最大池化函数的基础上,引入平均池化函数,增加网络所提取的全局特征的特征信息,减少因最大池化引起的信息丢失,并去除T-Net变换网络,减少网络的复杂度。从实验室平台采集空调散热器样本进行实验,结果表明,改进算法的平均交并比(mean intersection over union, mIoU)达到78.17%,总体精度(overall accuracy, OA)达到了92.01%,相较于PointNet提高了9.73%和6.37%,验证了算法的有效性。

城市竣工测绘典型要素语义分割PointNet++深度学习模型适用性分析

处理三维激光扫描仪获取的城市竣工测绘点云场景数据的传统方法存在较多局限性,无法适应信息化社会对产品高效处理的需求。基于此,本文分析了城市竣工测绘点云场景分类需求,研究了利用深度学习网络模型对点云场景进行自动化处理的方法。首先,对输入的城市竣工测绘数据进行预处理,以实现点云降采样、去噪、地面点与非地面点分割;然后,人工标注5个区域场景数据毫米级标签,进行数据增强;最后,测试PointNet++网络在城市竣工测绘点云场景下的语义分割性能和效果。测试结果表明,在少量样本下,PointNet++网络可以较好地实现城市竣工测绘点云场景的激光点云语义分割,总体mIoU达73.06%,能够满足城市竣工测绘点云语义自动化分割需求,为城市竣工测绘点云数据处理提供了新思路。

PVS-CNN:子流稀疏卷积优化的Point-Voxel CNN

针对经典的三维卷积网络在模型较大的场景上分割和检测的效率低和内存占用大的问题,提出PVS-CNN网络框架,通过更新哈希表和特征稀疏矩阵的方式实现了效率高且占用低的三维卷积,引用子流稀疏卷积改进PV-Conv。将PVS-CNN在ShapeNet和S3DIS数据集上进行评估,实验结果表明,所提出的PVS-CNN比PVCNN快3.6倍,GPU内存占用仅为PVCNN的0.55倍。在目标检测上,与F-PVCNN相比,PVS-CNN在时间效率和检测精度上全面优于F-PVCNN。

基于PointNet++的煤场点云分割与识别方法

为了实现煤场环境下的实时监控与安全监测,对煤场环境应用了一种基于PointNet++的目标分割与识别的方法。利用二维激光扫描仪做直线运动的装置采集三维点云数据,通过设置目标安全距离,采用基于欧氏距离的点云分割算法对原始点云进行分割,调用训练好的PointNet++网络对分割后的目标点云进行识别,对识别结果进行判断,并分析目标物体的工作状态是否安全。实验结果表明:煤场环境典型物体点云的分割精确率与召回率均大于90%,目标识别准确率达到98%,验证了基于PointNet++点云分割与识别方法的可行性。

基于改进PointNet++的输电杆塔点云语义分割模型

针对现有输电线路点云提取精度不高、无法满足无人机自主精细化巡检需求的问题,提出一种改进的PointNet++的输电杆塔点云语义分割方法,以实现对导线、地线、引流线、绝缘子和杆塔塔身的点云分割。首先,对经典PointNet++模型参数进行调整,使模型在特征提取数量、感受野方面更适用于输电杆塔点云数据;然后,采用核心点卷积作为点云特征提取算法,进一步提升模型对点云特征的提取能力;最后,针对点云数据中存在的数据不平衡问题,采用focal loss作为损失函数,使占比较少的类别得到充分训练。为验证所提方法有效性,在2284基输电杆塔组成的点云数据集上进行了实验,实验结果表明:改进后的算法平均F1值达到97.26%,较经典PointNet++提高了3.95个百分点。

基于PointNet的三维点云部件分割的抗干扰研究

三维点云部件分割的训练预测模型是复杂多样的,影响分割结果的因素有很多。针对深度神经网路设置不同的参数对分割精度的影响,提出在经典点云网络模型PointNet上选择不同的激活函数与优化器进行抗干扰研究。首先将网络中数据采样数、学习率、批量大小等参数确定,其次修改激活函数与优化器参数并在ShapeNet数据集上进行实验对比。实验结果表明,在PointNet网络模型中选择ReLU激活函数与SGD优化器测试精确度达到88.39%。

HESSIAN MATRIX BASED SADDLE POINT DETECTION FOR GRANULES SEGMENTATION IN 2D IMAGE

Segmenting the touching objects in an image has been remaining as a hot subject due to the problematic complexities, and a vast number of algorithms designed to tackle this issue have come into being since a decade ago. In this paper, a new granule segmentation algorithm is developed using saddle point as the cutting point. The image is binarized and then sequentially eroded to form a gray-scale topographic counterpart, followed by using Hessian matrix computation to search for the saddle point. The segmentation is performed by cutting through the saddle point and along the maximal gradient path on the topographic surface. The results of the algorithm test on the given real images indicate certain superiorities in both the segmenting robustness and execution time to the referenced methods.

A Modified SOFM Method for Point Cloud Segmentation in Reverse Engineering

The purpose of reverse engineering is to convert a large point cloud into a CAD model. In reverse engineering, the key issue is segmentation, i.e. studying how to subdivide the point cloud into smaller regions, where each of them can be approximated by a single surface. Segmentation is relatively simple, if regions are bounded by sharp edges and small blends; problems arise when smoothly connected regions need to be separated. In this paper, a modified self-organizing feature map neural network （SOFM） is used to solve segmentation problem. Eight dimensional feature vectors （3-dimensional coordinates, 3-dimensional normal vectors, Gaussian curvature and mean curvature） are taken as input for SOFM. The weighted Euclidean distance measure is used to improve segmentation result. The method not only can deal with regions bounded by sharp edges, but also is very efficient to separating smoothly connected regions. The segmentation method using SOFM is robust to noise, and it operates directly on the point cloud. An examples is given to show the effect of SOFM algorithm.

基于改进PointNet++的室内点云语义分割模型

针对点云语义分割过程中存在的大量点云数据的相邻关系丢失以及无法捕获部分点云特征的关键信息等问题,提出了一种基于改进PointNet++的室内点云语义分割模型。首先利用中垂线通道采样获取到更具代表性的采样点,从而提高采样结果的信息丰富度;在此基础上使用采样点邻域特征自适应分组,使组内采样点的分布特征和邻域内的点云特征更加接近,然后引入注意力机制,以实现对点云数据的多层次、多维度的建模和表达;最后通过实验进行性能对比分析。实验结果表明,模型对室内点云进行语义分割相较于PointNet++模型的整体准确率提高了5.6%,因此语义分割网络改进模块能够帮助神经网络提取到更优的点云特征信息,从而提高语义分割网络模型的性能。

基于改进PointNet++的大规模猪体点云部位分割

PointNet++点云分割网络能直接处理点云并有良好的分类和分割效果,然而对于自由运动状态下获取的大型牲畜点云,存在较大姿态差异,PointNet++无法难以直接捕捉其局部特征,对牲畜体点云各部位分割效果不佳。针对此问题论文采用Octree结构改进了PointNet++集合抽象层中的分组与采样层,使得网络能够更好地捕捉目标点云的非刚性变化,充分提取不同层次下的局部信息,实现对大规模牲畜点云数据的自动分割。采用Octree改进的PointNet++模型分割活体猪点云数据的头部、耳朵、尾部、躯体和四腿。实验表明,500组猪体点云数据,采用320组不同姿态下的猪体点云进行网络训练,180组分割测试结果的平均mIoU达到了88.06%,OA达到了96.57%。

A level set based segmentation approach for point-sampled surfaces

Segmenting a complex 3D surface model into some visually meaningful sub-parts is one of the fundamental problems in digital geometry processing. In this paper, a novel segmentation approach of point-sampled surfaces is proposed, which is based on the level set evolution scheme. To segment the model so as to align the patch boundaries with high curvature zones, the driven speed function for the zero level set inside narrow band is defined by the extended curvature field, which approaches zero speed as the propagating front approaches high curvature zone. The effectiveness of the proposed approach is demonstrated by our ex- perimental results. Furthermore, two applications of model segmentation are illustrated, such as piecewise parameterization and local editing for point-sampled geometry.

基于FPFH-PointNet的术中膝关节软骨表面点云自动提取

目的机器人辅助膝关节置换术导航系统采用激光扫描仪获取术中软骨点云,并与术前模型配准,实现自动非接触空间注册。术中患者膝关节病变点云包含大量的肌肉、肌腱、韧带及手术器械等无关背景点云。手动去除无关点云会因人机交互而占据手术时间,因此,本研究提出一种新颖的膝关节软骨表面点云自动提取方法,以便快速精准实施术中注册。方法PointNet因缺乏软骨表面和几何局部信息的充分描述,不能高精度地提取软骨点云。本研究提出了一种结合快速点特征直方图FPFH-PointNet方法,该方法有效地描述了软骨点云表观,实现了软骨表面点云的自动高效分割。结果本研究以从不同角度扫描10例尸体膝关节标本和1例人腿模型的股骨远端软骨点云为数据集。PointNet和FPFH-PointNet分割软骨点云的准确率分别为0.94±0.003和0.98±0,平均交并比(mIOU)分别为0.83±0.015和0.93±0.005。FPFH-PointNet相比于PointNet,准确率和mIOU分别提高了4%和10%,而耗时仅约为1.37 s。结论FPFH-PointNet能够精准地自动提取术中膝关节软骨点云,满足了术中导航的性能需求。

改进PointNet++模型在道路杆状物提取中的应用

针对现有道路杆状物提取大多需要针对数据类型人工设计特征、泛用性差、自动化程度低等问题,本文提出一种基于改进PointNet++深度学习网络的道路杆状物语义分割方法,实现了对道路杆状物的提取。首先对原网络模型的感受野、分块大小等参数进行调整,使得该模型更适合道路点云数据;然后针对点云数据不平衡的问题,采用焦点损失函数作为模型的损失函数,使占比较少的类别得到充分训练;最后针对PointNet++网络提取特征时没有考虑邻域内各点特征影响关系的问题,采用邻域特征聚合模块融合邻域信息,提升该网络模型对点云特征的学习能力。为验证所提方法的有效性,使用改进后的网络模型在自建的道路点云组成的数据集上进行了试验,相对于经典PointNet++网络,杆状物类的分割精度明显提升,在简单道路和复杂道路上的交并比(IoU)分别提升了8.44%、15.25%,达到了98.88%、92.50%。

面向部件分割的PointNet注意力加权特征聚合网络

为解决PointNet最大池化损失次要特征导致部件分割精度降低的问题,提出一种面向部件分割的PointNet注意力加权特征聚合网络,能够充分利用点云的不同特征进行部件分割。首先利用多层感知机提取点云的空间几何特征,将特征乘以共享权重矩阵,以获取每个点的每一个特征的注意力分数;接着把归一化的分数作为权重乘以对应的全局特征并求和,得到聚合的全局特征;最后使用多层感知机将聚合的特征映射到部件分割结果。实验结果表明,相比于传统PointNet方法,该方法提升了部件分割的总平均交并比,同时在网络鲁棒性和计算复杂度方面具有显著优势,有效优化了PointNet。

基于B-PointNet++的地下电缆工井点云语义分割模型

地下电缆工井具有规模大、范围广、空间分布复杂等特点,为提高地下电缆工井筛查效率,保障地下电缆安全可靠运行,提出了一种基于宽度学习系统(broad learning system,BLS)和编解码器(encoder-decoder)的PointNet++模型,简称BPointNet++,并将其应用于地下电缆工井点云语义分割。首先,为提高PointNet++对于大规模点云数据的特征学习能力以及学习效率,提出了基于Encoder-Decoder的PointNet++学习框架,并在PointNet核心网络中引入BLS算法替代原有多层感知器(multilayer perceptron,MLP),充分发挥BLS随机化学习效率;其次,采集了雄安新区地下电缆工井点云数据并加入真实语义标签制作模型训练需要的数据集;最后,与PointNet和PointNet++等现有方法相比,B-PointNet++具有更高的精确度、召回率、交并比和F1分数,有利于地下电缆工井场景的多目标分割,有较大的应用潜力。

基于多线激光雷达的井下斜坡道无人矿卡定位与建图方法

井下斜坡道的定位与建图是实现井下斜坡道无人驾驶的关键技术之一,矿山井下斜坡道区域为典型非结构化环境特征,且道路具有一定倾斜角度,采用传统SLAM算法无法获得精确里程计信息,导致定位与建图精度难以满足无人矿卡行驶需求。针对上述问题,通过研究激光SLAM(Simultaneous Localization And Mapping)算法LeGO-LOAM,笔者提出一种适用于矿山井下斜坡道环境的定位与建图方法。首先,针对井下斜坡道口两侧均为光滑水泥墙壁,特征点稀少问题,设计了基于人工路标的辅助增强定位方法,有效增加点云特征数量,从而优化位姿估计结果,避免建图漂移现象;然后在特征预处理阶段,提出了一种基于激光点云高度差与坡度信息融合的提取地面点高效算法,通过改善地面地点的选取策略,针对倾斜坑洼路面仍能有效识别地面点,解决了井下斜坡道定位与建图倾斜角度大、误差大等问题;其次,基于CVC(Curved-Voxel Clustering)聚类算法设计了一种斜坡道点云曲率体素聚类算法,采用曲率体素和基于哈希的数据结构对点云进行分割,大幅提高在井下稀疏、噪声环境下点云聚类的鲁棒性;最后,运用Scan-To-Map进行点云匹配,同时兼顾点云配准的性能与速度。在中钢集团山东某井下斜坡道的现场实验证明:与原算法相比精度提升13.15%,Z轴误差降低22.3%,地图质量明显提升,能有效解决井下无人驾驶建图及定位的难题。

Effect of Lumbar Spinal Point Injection on Sitting Function in Children with Cerebral Palsy

Objective: To observe the effect of lumbar spinal point injection on sitting function in children with cerebral palsy. Method: Sixty-two children with post-confirmed cerebral palsy were randomly divided into control group and treatment group, 31 each. The control group was given conventional rehabilitation treatment, and the treatment group was given lumbar chiropspinal acupoint injection on the basis of the treatment method of the control group. After 3 consecutive courses of treatment, the sitting score of the two groups before and after treatment (GMFM88) was used to evaluate the sitting score before and after treatment. Outcome: Before treatment, the two groups were evaluated and the differences were not statistically significant (p > 0.05), which was comparable. The two groups (GMFM88) after treatment had significantly increased the differential values, and the difference was statistically significant compared with the same group before treatment (p Conclusion: Conventional rehabilitation combined with lumbar spinal point injection can effectively improve the sitting motor function of children with cerebral palsy.

基于Transformer的道路场景点云分类与分割方法

针对多目标识别过程中点云分类和分割精度不高的问题,提出了一种基于改进Transformer模型的点云分类与分割方法DRPT(Double randomness Point Transformer),该方法在Transformer模型卷积投影层创建新的点嵌入,利用局部邻域的动态处理在数据特征向量中持续增加全局特征属性,从而提高多目标识别中点云分类和分割的精度。实验中采用了标准基准数据集(ModelNet40、ShapeNet部分分割和SemanticKITTI场景语义分割数据集)以验证模型的性能,实验结果表明:DRPT模型的pIoU值为85.9%,比其他模型平均高出3.5%,有效提高了多目标识别检测时点云分类与分割精度,是对智能网联技术发展的有效支撑。