利用局部形状描述实现点云配准和3D目标识别的关键技术研究

随着3D获取技术的发展,如Microsoft Kinect、Intel Realsense和三维激光扫描技术等,三维点云数据易于获取,并且正在变得越来越普遍。在许多实际应用中,三维点云数据起到重要的作用,是重要的数据来源,如实时上图与定位(simultaneous localization and mapping,SLAM)、建筑物信息管理(building information management,BIM)、智能运输系统、场景和模型重构、文物保护和逆向工程等。在这些应用中,点云数据处理是必不可少的,包括点云配准、点云分割与分类、点云简化、特征提取和目标识别等。论文主要对利用局部形状描述实现点云配准和3D目标识别进行研究。

基于点云语义分割的猕猴桃冠层叶密度测量方法

提出了一种基于LiDAR的猕猴桃果园叶密度测量方法,旨在为猕猴桃果园冠层喷药提供更精确的指导。首先,使用激光雷达扫描10个密度不同的猕猴桃冠层建立点云数据集,利用RandLA-Net神经网络模型并通过6折交叉验证的方法对猕猴桃冠层的树叶、树枝和T型架点云进行语义分割;然后,计算仅包含树叶信息的冠层点云表面积,通过与人工落叶后的实测冠层叶属性(叶面积、叶片数)进行回归分析比较,得到冠层叶点云表面积与真实冠层叶属性的关系;最后,将3 m×3 m的猕猴桃冠层区域划分为400个225 cm^(2)的小网格区域,用以生成冠层叶密度图。结果表明:RandLA-Net网络模型能够有效地对猕猴桃冠层的树枝、树叶与T型架点云进行分割,模型平均总体精度OA达到92%以上,平均交并比mIoU为81.4%,冠层实测叶面积与冠层叶点云表面积的回归分析中获得了较高的相关性R=0.78,回归方程为y=1.491x+8315。对于每个猕猴桃冠层点云数据,通过Alpha-shape算法计算网格区域的冠层体积和预测网格真实叶面积的方法生成冠层叶密度图。所开发的基于点云语义分割的猕猴桃冠层叶密度测量方法,各项指标均符合预期要求,可以为果园冠层喷药提供更精准的指导。

无人机LiDAR点云与无人机影像匹配点云分析比较

随着无人机技术的不断发展,无人机数码航测技术和无人机LiDAR技术在测量领域的应用越来越广泛。为分析无人机LiDAR点云和无人机影像匹配点云2种点云的差异,该文通过对西南某铁路一个测区在同一飞行高度的情况下同时进行无人机数码航摄及无人机LiDAR航摄2种方式航摄。对2种不同的摄影方式获取的点云进行比较,分析出2种方法获取点云在形态表现、滤波分类,以及利用2种点云制作DEM高程精度方面的差异,为实际工程航飞方式的选择提供一个参考。

基于三维点云处理的髋臼锉锉齿尺寸分析

髋臼锉是髋关节置换手术中最重要的手术刀具之一,髋臼锉锉齿的尺寸变化会影响髋臼锉对髋臼的铣削质量。通过处理髋臼锉三维点云可以检验髋臼锉的磨损情况,为此提出基于三维点云处理的髋臼锉锉齿尺寸分析的算法。首先结合锉齿孔洞具有点云的边界特征引入微切面法,利用最大夹角准则获取髋臼锉点云的边界;然后通过K-means聚类算法分割点云边界以标记不同齿孔位置,并对分割出的各个齿孔边界点云进行半径最近邻搜索获取隶属不同的锉齿孔的齿刃点云;最后通过RANSAC(RANandom SAample Consensus)算法对髋臼锉三维点云进行球面拟合,计算各齿孔上的齿刃点云到拟合球心的欧氏距离来分析髋臼锉的切削齿尺寸。以PCL(Point Cloud Library)为框架,实现了对髋臼锉锉齿点云的处理,其中髋臼锉点云的齿孔分割准确度达到100%,髋臼锉点云球面拟合半径精度达到0.004 mm;并对各个锉齿点云尺寸范围进行了分析。实验结果表明,所提算法对髋臼锉点云处理效果好,能有效地实现髋臼锉锉齿尺寸分析。

基于边缘特征的港口场景点云配准方法

传统ICP等配准算法对初值敏感容易陷入局部最优,难以在港口等较大场景点云配准的过程中应用。文中针对这一问题,借助港口场景及设备包含丰富的线面几何特性的特点,提出一种基于点云边缘直线特征的点云配准方法。首先,通过区域生长和区域合并将点云分割成平面,根据平面投影得到二维图像后利用二维图像轮廓提取和最小二乘法拟合得到二维线段,然后将2d线段重投影至三维得到3d线段点。将提取到的边缘直线采用先粗后精的配准方法,先使用Super4PCS粗略对齐2帧点云边缘线,最后使用改进Trimmed-ICP对初始点云实现精确配准。通过实地采取港口场景点云数据,通过实验证明文中方法的实用性和优越性。

基于机载激光扫描和倾斜影像匹配的点云构建及差异性分析

点云是三维空间数据的重要组成部分,机载激光扫描和倾斜影像匹配是两种主要点云构建技术,具有共性与差异性。本文旨在分析机载激光扫描和倾斜影像匹配技术构建点云的差异性,首先阐述了机载激光扫描和倾斜影像匹配点云构建的具体方法,然后结合案例,从点云构建效果、数据完整性、密度、精度和植被穿透性等方面进行比较和分析。结果表明,两种技术构建点云都具有较好的数据完整性,均能生产高密集点云,远超规范要求,精度相当且较高,但是激光扫描在遮挡区有漏洞,影像匹配局部盲区细节失真;激光点云具有较好的穿透性,能实现不同植被覆盖区域地面点云构建,而影像匹配点穿透性差,在密集植被区域存在缺失甚至不能构建地面点。研究结果为后续点云构建方法的选用和优化提供了参考,具有一定的研究与应用价值。

堆石坝检测坑点云切片分割提取方法

堆石坝压实质量的检测是大坝工程安全稳定运行的重要保障措施之一。传统的灌水法中检测坑体积的测量耗时耗力,利用三维激光扫描技术可以快速计算检测坑体积,提高压实质量检测效率,而从扫描点云数据精确提取出检测坑点云数据是确保该方法计算精度的关键环节。本文提出了一种基于点云切片分割的堆石坝检测坑点云提取方法:首先对点云数据进行切片处理,然后采用单向搜索排序方法对每个切片点集进行点排序,最后采用一种基于切片点集排序序号的聚类分割方法分割每个点云切片,从而精确提取出检测坑表面点云。利用MATLAB编程实现了基于点云切片分割的堆石坝检测坑点云的快速提取,并通过堆石坝检测坑点云数据开展试验,验证了该方法的有效性。

基于多平面分割和矩阵变换的航摄边坡点云滤波算法

点云滤波是实现地面点与非地面点分离,获取最真实地面点云的重要处理手段,是进行公路边坡点云灾害识别的基础.为了克服传统点云滤波算法在边坡场景下处理速度慢、结果精度低和误差大等问题,提出了基于多平面分割和矩阵变换的航摄边坡点云滤波算法.该方法首先利用基于曲率的区域生长算法对边坡进行多平面分割,得到多个边坡子点云;其次拟合得到边坡子点云平面模型,再利用旋转矩阵将边坡子点云进行空间转换至水平面;然后通过模拟布料下沉并设置距离阈值分离出非地面点;最后再次利用旋转矩阵的逆矩阵进行空间位置还原,进而得到滤波后的边坡点云.利用精细贴近仿地航线设计方法获取高精度点云模型以在不同的边坡场景下进行算法测试,并与其他传统滤波算法结果进行对比,结果表明:在所有的试验中,本文算法的总误差分别为7.11%、4.15%、1.45%、4.41%,在所有测试算法中最小;Kappa系数分别为0.77、0.90、0.96、0.90,在所有测试算法中最大.本文提出的算法在面对地形和植被情况复杂的边坡情景下,有着较高的准确性以及较强的适用性,为公路边坡点云滤波提供了新的解决方案.

基于法线微分的3维声呐点云自适应简化方法

在不损失原始点云数据质量的前提下,大幅约简点云数据量是减少存储空间、降低后期计算强度的重要预处理步骤。针对这一需求,提出了针对水下3维声呐点云数据的自适应简化方法。首先,定义法线微分算子来识别点云中几何尺度的骤变,从而实现原始点云中边界部分点云和主体部分点云的分割。其次,对于点云的边界部分,应用移动最小二乘法来对边界点进行优化,降低噪点的影响,并保持其曲面的几何一致性;基于体素栅格结构,在边界上使用八叉树进行降采样,并在此基础上实施局部最远点采样,在实现均匀简化的同时保证已简化点云的边界部分具有各向同性,有效保留边界部分点云的几何特征信息。再次,对于点云的主体部分,为保持简化后点云整体的各向同性,使用体素中心采样法来减少数据量。然后,通过高斯滤波平滑点云表面,最后,整合简化后的边界点云和主体点云,得到简化结果。实验结果表明,提出的简化方法计算成本低、处理速度快,在与现行典型算法保持一致简化率的情况下,对水下点云数据的简化速度提高了约32%。另外,通过表面密度对比与几何失真分析,证明了提出方法对水下3维点云边界点及整体分布的优化作用。综上,此方法能提高水下作业目标探测效率,得到保留重要几何特征信息并具有各向同性的水下任务目标点云简化结果。

异常点云干扰下的车身构件鲁棒性配准方法

点云配准是大型车身构件位姿参数测量的关键方法,但现有算法在大量异常点云干扰下难以配准至有效位姿,从而导致匹配失真,进而无法保证后续机器人作业质量。针对此问题,提出一种能够有效抑制异常点云干扰的车身构件鲁棒性配准算法——鲁棒函数加权方差最小化(RFWVM)算法。建立鲁棒函数加权目标函数,通过施加随迭代次数可变的动态权重来抑制配准过程中异常点云的影响,并由高斯-牛顿法迭代完成刚性转换矩阵的求解。以高铁白车身侧墙、汽车车门框为研究对象的试验结果表明,较经典的最近点迭代(ICP)算法、方差最小化(VMM)算法、加权正负余量方差最小化(WPMAVM)算法和去伪加权方差最小化(DPWVM)算法,所提出的RFWVM算法配准精度更高,能够有效抑制各种异常点云对配准结果的影响,并具有更好的稳定性和鲁棒性,能够有效实现各类车身构件点云的精确配准。

基于残差优化的综采工作面煤壁点云补全方法

煤矿综采工作面巷道的数字化三维重建过程中需要完整且密集的煤壁点云数据。受遮挡、视角限制等因素影响,采集的综采工作面煤壁点云数据往往不完整且稀疏,影响下游任务,需进行煤壁点云修复和补全。目前缺少针对井下点云补全任务的数据集和网络模型,现有模型用于煤壁点云补全时存在点云密度分布不均匀、点云特征信息丢失等情况。针对上述问题,设计了一种基于残差优化的煤壁点云补全网络模型,采用监督学习方式学习点云特征信息,通过最小化密度采样和残差网络迭代优化输出完整点云。采集煤矿井下真实综采工作面煤壁点云数据,预处理后筛选可用数据,通过模拟随机空洞制作煤壁点云缺失数据集,并用缺失数据集训练基于残差优化的煤壁点云补全网络模型。实验结果表明:与经典的FoldingNet,TopNet,AtlasNet,PCN,3D-Capsule点云补全网络模型相比,基于残差优化的煤壁点云补全网络模型针对构造的缺失煤壁点云和稀疏煤壁点云补全的倒角距离、地移距离及F1分数均能达到最优水平,整体补全效果最佳;针对实际缺失的煤壁点云,该模型能够实现有效补全。

基于图的点云研究综述

点云的处理、传输、语义分割等是3维计算机视觉领域重要的分析任务.现如今,图神经网络和图结构在点云研究方面的有效性已被证实,基于图的点云(graph-based point cloud,GPC)研究不断涌现.因此,一种统一的研究角度、框架和方法论亟待形成.系统性梳理了GPC研究的各种应用场景,包括配准、降噪、压缩、表示学习、分类、分割、检测等任务,概括出GPC研究的一般性框架,提出了一条覆盖当前GPC全域研究的技术路线.具体来说,给出了GPC研究的分层概念范畴,包括底层数据处理、中层表示学习、高层识别任务;综述了各领域中的GPC模型或算法,包括静态和动态点云的处理算法、有监督和无监督的表示学习模型、传统或机器学习的GPC识别算法;总结了其中代表性的成果及其核心思想,譬如动态更新每层特征空间对应的最近邻图、分层以及参数共享的动态点聚合模块,结合图划分和图卷积提高分割精度;对比了模型性能,包括总体精度(overall accuracy,OA)、平均精度(mean accuracy,mAcc)、平均交并比(mean intersection over union,mIoU);在分析比较现有模型和方法的基础上,归纳了GPC目前面临的主要挑战,提出相应的研究问题,并展望未来的研究方向.建立的GPC研究框架具有一般性和通用性,为后续研究者从事GPC这个新型交叉领域研究提供了领域定位、技术总结及宏观视角.点云研究的出现,是探测器硬件技术长足进步后应运而生的结果;点云研究的现状表明在理论和实践之间存在一些挑战,一些关键问题还有待解决.同时,点云研究的发展将推动人工智能进入新的时代.

基于无人机影像匹配点云的土石方量计算

针对传统土石方量测量中存在受地形限制、耗时费力、成本高等问题,提出一种基于无人机影像匹配点云的土石方量计算方法。使用单镜头多旋翼无人机获取玉林市某矿山区域范围内正射影像与倾斜影像,借助Pix4Dmapper软件对无人机影像进行处理与分析,提取矿山地表三维点云数据;利用布料模拟点云滤波算法对所获取的点云数据进行滤波处理,进而分离非地面点与地面点;同时利用局部多项式插值算法对地面点云缺失区域进行插值拟合,生成更加准确的地形特征;利用EPS软件对点云成果进行分析,计算矿山现状开采范围内的土石方量值。结果表明:基于无人机影像匹配点云的土方量计算所得结果与GNSS-RTK实测结果差值比为1.9%,计算方法具有可行性与可靠性,可作为土石方量计算新方法。

点云加权迭代线拟合室内平面图自动生成方法

提出了一种基于三维激光点云加权迭代线拟合的室内平面图自动生成方法,根据线特征对三维点云沿高程方向的投影点云进行分割,采用加权迭代直线拟合方法进行分段直线拟合,并进一步对拟合直线进行融合和轮廓补全,实现室内平面图的自动生成。基于手持SLAM系统获取的典型室内场景激光点云自动生成室内平面图,结果表明,该方法能有效抑制室内点云噪声,结构提取完整性可达94.4%,制图精度优于3 cm,可快速生成室内平面结构图。

基于自蒸馏框架的点云分类及其鲁棒性研究

与2D图像数据集相比,3D点云数据集的规模较小且表征性较差,容易导致神经网络出现过拟合和泛化能力差的问题。为此,提出一种点云自蒸馏(PointSD)框架,通过对表征形式不同的数据样本进行学习,使网络提取到原始点云数据中的更多特征信息,实现样本之间的知识交互,在不增加额外计算负荷的情况下提升网络的泛化能力,适用于不同规模的分类网络模型。基于该框架提出一种点云抗腐败训练方法TND-PointSD,解决了当前点云训练方法抗腐败能力不足的问题。实验结果表明:在ScanObjectNN数据集上,应用PointSD框架的PointNet++和RepSurf-U 2X基准网络的平均准确率(MA)相比于应用标准训练(ST)方法提高了8.22和4.86个百分点;在ModelNet40-C数据集上,在15种腐败类型上分类网络的平均整体准确率(MOA)均有所提升,证明了TND-PointSD方法能够有效地增强网络模型的腐败鲁棒性。

基于多特征约束的露天采场道路点云提取

针对露天采场道路点云数据通过法向量、路缘石等点云特征难以准确提取的问题,提出了一种多特征约束的露天采场道路点云提取方法.以辽阳市千山石灰石矿露天采场激光点云为数据源,首先对原始数据进行降采样;然后基于单点RGB信息、邻域RGB信息、邻域高差、邻域粗糙度、反射强度5类点云特征,制作并划分了训练集和验证集,利用随机森林算法构建了道路点云提取模型并进行了优化,进一步引入欧式聚类算法改进了道路点云提取模型结果,最后评估了露天采场道路点云提取结果.结果表明,本文方法可以实时有效准确地提取露天采场道路点云数据.

基于Transformer的道路场景点云分类与分割方法

针对多目标识别过程中点云分类和分割精度不高的问题,提出了一种基于改进Transformer模型的点云分类与分割方法DRPT(Double randomness Point Transformer),该方法在Transformer模型卷积投影层创建新的点嵌入,利用局部邻域的动态处理在数据特征向量中持续增加全局特征属性,从而提高多目标识别中点云分类和分割的精度。实验中采用了标准基准数据集(ModelNet40、ShapeNet部分分割和SemanticKITTI场景语义分割数据集)以验证模型的性能,实验结果表明:DRPT模型的pIoU值为85.9%,比其他模型平均高出3.5%,有效提高了多目标识别检测时点云分类与分割精度,是对智能网联技术发展的有效支撑。

基于点云强度和地面约束的大范围激光SLAM

在无人车领域,点云强度和地面约束对大范围环境下的建图和定位起着非常重要的作用。然而,现有的激光SLAM算法在构建地图时只考虑几何特征,而忽视点云强度信息和地面约束,导致建图细节模糊、在Z轴方向上易存在漂移,从而降低了SLAM系统的精度。为此,本文提出了一种基于点云强度和地面约束的激光SLAM优化算法。基于地面测量模型,提出构建局部条件性地面约束,不仅提高地面点提取的准确性,而且减少Z轴方向的漂移;引入点云强度信息来改善非地面点聚类的可靠性,进一步提高建图精度和定位稳定性。提出基于局部平滑度的特征提取方法,通过引入强度因子并对强度特征进行排序,优先选择具有一致强度信息的特征,增强特征提取的鲁棒性。引入球形强度图来构建强度残差,与几何残差共同优化估计位姿,有效解决里程计中地图细节处的模糊问题;基于特征投影的匹配距离以及强度差异被用来去除动态点云的干扰,进一步提高SLAM系统的鲁棒性。在公开数据集KITTI和真实场景下的实验表明,引入地面约束和点云强度信息后,本文提出的算法具有更高的建图和定位精度,相对优于传统LIO-SAM的LVI-SAM算法,本文算法的精度提升了54.5%,为无人车在大范围环境中的SLAM任务提供了可靠解决方案。

基于激光雷达点云地图的车辆定位与导航

为解决自动驾驶系统中车辆自主定位与导航无法准确估计车身位姿及导航路径不够平滑等问题,提出一种基于先验激光雷达点云地图的定位与导航方法。利用点云分割技术分离出可行区域以及潜在的风险源,研究基于优化收敛流程的NDT(Normal Distribution Transform)点云配准定位方法,并对传统A*算法从动态权重设计和扩展领域优先搜索策略两方面进行改进,以适应自动驾驶的实时定位与导航需要。实验采用百度Apollo自动驾驶开发套件(D-KIT)进行多组对照实验,在体素降采样Leafsize参数为1(高采样)、1.2(中采样)与1.5(低采样)时,定位耗时分别降低了27.77%,38.75%和38.30%。选取四组符合实际驾驶需求情况进行导航实验,改进后导航路径最大曲率分别降低了80.9%,74.9%,65%,69.5%,导航过程路径曲率保持较低且稳定平滑,曲率数据符合车辆动力学。为车辆定位与高精度导航提供有效方法。

结合分割算法和图卷积网络的车载点云分类方法

车载点云数据语义标注是道路场景语义分析和理解的前提,该文提出了结合分割算法和图卷积网络的车载点云分类方法。首先利用具有噪声的基于密度的聚类方法(densitybased spatial clustering of applications with noise,DBSCAN)将点云分割成点簇,并以点簇为节点,相邻点簇构成边,节点和边形成图;然后利用图卷积网络对图节点进行半监督分类,得到点云中任一点的类别标注。实验表明,所提方法以点簇代替原始点云,极大减少了算法处理的数据量;半监督图卷积网络模型顾及了点云数据的上下文关联,在少量标注样本的情况下,能够获得较高的分类精度,场景简单的实验数据分类精度可以与Pointnet++模型相当,场景较为复杂的实验数据分类精度与Pointnet++模型相差在6.7%以内。