融合注意力门控机制的大场景点云语义分割

室外大场景激光点云语义分割已成为3D场景理解、环境感知的关键性技术,在自动驾驶、智能机器人和增强现实(AR)等领域应用广泛。然而大场景的激光点云具有多目标、几何结构复杂,不同地物尺度变化大等特点,使得在稀疏的小目标点云(例如行人、摩托车等)上的分割性能较低。针对上述问题,本文提出一种融合注意力门控机制的室外点云语义分割算法,设计由注意力机制和多尺度上下文特征融合组成的注意力门控单元,提高对激光点云细粒度特征的表达,降低随机降采样过程中点云几何结构特征丢失程度,从而增强了网络对弱小目标的特征获取能力;同时设计基于共享MLP的平均池化单元,进一步简化自注意力局部特征聚合模块,有效地加速网络收敛,能高效地实现大场景点云的语义分割。本文方法在自动驾驶场景室外激光点云数据集SemanticKITTI上的实验表明,与文献RandLA-Net相比,收敛速度提升48.3%,平均交并比(mIoU)由53.9%提升至54.5%,提高0.6%,尤其是在小目标上交并比(IoU)均有明显提高,person类和motorcycle类的交并比分别提高0.8%和5.4%。

面向室内场景点云的对象重建

针对当前逆向工程中对象提取及模型重建效率较低的问题,提出了一种面向室内场景点云的对象重建方法。首先构建直通滤波器,采用改进的RANSAC算法剔除非对象点云,然后根据欧氏聚类提取算法分割出各个对象点云,最后基于α-shape理论批量重建出对象模型。试验结果表明,该方法能够从散乱的室内场景点云中快速、自动地重建出代表真实对象的三维模型,具有较高的实用价值。

基于Feature-RNet的三维大场景点云分类框架

随着大场景三维点云应用在越来越多的领域中,近些年对激光点云大场景下的分类研究不断深入,各种分类模型层出不穷,在大场景点云分类任务中表现优异,但是依然存在训练时间长、计算复杂以及分类精度低等问题。针对分类精度低这一问题,提出一种基于Feature-RNet的三维大场景点云分类框架模型来实现点云分类工作。该框架模型不直接以三维点云数据作为输入,而是以通过KNN方法提取三维点云的二维特征和三维特征构建的特征图像作为输入,避免了网络框架对三维点云数据直接处理的不适应性;该模型设计的RNet框架结构利用了残差模块,并对其进行变型以达到提高分类精度的效果。采用公开的Oakland三维数据集对Feature-RNet框架模型进行训练,与现有的其他深度学习分类框架相比,提出的Feature-RNet框架模型在分类精度上有较大的提升,总体分类准确率能达到97.7%。

点云场景语义标注的排序批处理模式主动学习法

针对点云场景语义标注存在着手工标注费时费力、算法耗时严重、标注精度不高和不适用于大规模场景点云处理等问题,本文提出了一种结合排序批处理模式的主动学习点云场景语义标注方法。该方法首先对原始点云进行下采样处理,然后利用改进的递归特征增加法从庞大的特征集中筛选出最优特征子集,采用排序批处理模式采样算法迭代选取并人工标注少数未标注点,通过创建最小人工标注训练集来完成下采样点云的语义标注工作,最后利用邻域等权标签传播算法完成原始点云数据的标注。对3个室外大场景点云分别进行的试验表明:本文方法只需人工标注7.50%、7.35%、5.83%的点云即可完成下采样点云的标注工作。此外,对比试验表明,本文方法在标注精度和减少人工成本方面优于其他方法,能为点云语义标注工作节省大量人工成本。

基于二值神经网络的大场景点云分类

近年随着3维数据采集技术不断发展,大场景点云数据的获取越来越方便。目前深度学习网络框架在2维图像处理领域越来越成熟,而大场景点云是一种3维无规则化的数据,3维卷积神经网络直接处理大场景3维数据会存在分类精度低和计算复杂等问题。因此为了有效解决基于深度学习的点云分类任务中存在的计算时间长和分类精度低的问题,本文提出基于二值神经网络的大场景点云分类方法,针对不规则的3维点云数据设计特征值计算方法,基于IR-Net二值神经网络处理输入的点云特征图像,进一步采用Dynamic ReLU激活函数,提高神经网络的计算效率,最后得出点云分类结果。实验结果表明,所提出的方法在Oakland数据集上分类精度达到97.6%,在GML数据集中取得了92.3%和97.2%的分类精度,实验结果证明Dy-ResNet能够有效提升了点云分类的精度,减少计算的复杂度,并提高了训练效率。

基于粒子群优化的点云场景拼接算法

多视点三维点点云场景拼接是解决激光三维主动成像目标自遮挡或被遮挡情况下目标数据不完全问题的一种有效方法,它将直接影响到后续的目标检测与识别处理。提出了一种基于粒子群优化(PSO)的点云拼接算法,该方法通过计算点云的投影分布熵,构建并估计场景的独立坐标系,由此计算得到两者之间的空间变换关系,获取场景拼接初值。在此基础上,构建场景拼接目标函数,利用PSO方法,对目标函数进行优化,优化过程中利用最小概率误判法计算点云之间的匹配关系,最终获取拼接点云之间最优的空间变换关系,实现多视点场景的精确拼接。仿真实验结果表明,本文方法是一种有效可行的方法。

随机工件的点云场景CAD模型的快速识别与定位

工业机器人精准抓取工件的前提是能够获取到目标工件的位置与位姿的信息。提出一种在三维点云场景对随机摆放目标工件的快速、精准的识别与定位的方法。在复杂点云场景中随机采样并提取关键点组成随机点对表征局部特征,再与由物体CAD模型建立的三维匹配模板进行配准,获得一系列候选位姿。利用表面相似点占比多次优化位姿,确定目标工件最佳位姿。最后利用虚拟相机投影二维视图到图像坐标系直观呈现结果。选择汽车座椅连接件作为验证实验的实验对象,实验结果表明:目标工件平移方向上拟合误差可以达到0.3 mm左右,旋转的拟合误差可以达到0.8°左右,具有较高的稳定与高效性能。

基于基本形状及其拓扑关系的点云建筑物重建方法

本文提出一种基于基本形状以及形状间拓扑关系的点云建筑物重建方法。首先,基于每点的法向量以及点间的距离,利用粗分割-细分割的策略对点云场景进行分割,并利用高斯球的性质完成场景中平面点云的识别;然后,利用平面点云的法向量方向、面积等几何特征完成墙面点云的识别与提取;接着,通过"投影-极值点"的方法对单个平面进行重建,并根据平面间的空间临近关系分析建筑物平面之间的拓扑关系,根据拓扑关系对初始重建结果进行修正,自动获得建筑物墙面的重建结果。结果表明,该方法能够自动完成场景中建筑物墙面的重建。

基于改进3D-NDT机器人自定位算法

针对机器人在自定位过程中,传统3D-NDT点云配准在未给定初始旋转矩阵的情况下,存在配准效果不佳、误差大、配准时间长的缺陷,提出一种相对高效的改进3D-NDT点云配准算法。首先,对输入点云进行ISS特征点提取,并计算这些特征点的特征直方图(FPFH);然后,根据直接对应估计对特征点进行匹配,使用RANSAC去除错误对应关系,得到初始旋转矩阵;最后,将得到的初始旋转矩阵代入3D-NDT算法进行匹配,得到最终的匹配结果。采用室内外场景点云进行测试,实验结果表明,改进后的3D-NDT算法能输出较好的匹配结果,并且精度有所提高,但该算法的复杂度有待进一步优化。

基于改进SSD神经网络和点云配准算法的变电站三维模型快速建立方法

为提高变电站三维建模的效率,提出了一种改进SSD(single shot detection)目标检测算法和ICP(iterative closest point)点云配准算法结合的变电站三维模型快速建立方法。该方法针对变电设备点云训练样本数量不足造成的设备识别准确率低这一问题,将三维模型快速建模转换为设备类型、型号识别和点云导入。首先利用改进SSD目标检测算法对变电设备类型进行初步识别,然后运用ICP配准算法对变电设备进行型号识别,2种方法的结合实现了变电设备点云的准确识别,最后根据配准得到的设备在变电站点云场景中的实际位姿,将模型库中配准的标准模型导入变电站三维点云场景,极大地提高了变电站三维模型的建模效率。该方法已在某变电站三维建模中得到应用,结果表明,不同变电设备型号识别准确率较高,设备建模平均时间为32 s,效率远远高于人工建模。

城市竣工测绘典型要素语义分割PointNet++深度学习模型适用性分析

处理三维激光扫描仪获取的城市竣工测绘点云场景数据的传统方法存在较多局限性,无法适应信息化社会对产品高效处理的需求。基于此,本文分析了城市竣工测绘点云场景分类需求,研究了利用深度学习网络模型对点云场景进行自动化处理的方法。首先,对输入的城市竣工测绘数据进行预处理,以实现点云降采样、去噪、地面点与非地面点分割;然后,人工标注5个区域场景数据毫米级标签,进行数据增强;最后,测试PointNet++网络在城市竣工测绘点云场景下的语义分割性能和效果。测试结果表明,在少量样本下,PointNet++网络可以较好地实现城市竣工测绘点云场景的激光点云语义分割,总体mIoU达73.06%,能够满足城市竣工测绘点云语义自动化分割需求,为城市竣工测绘点云数据处理提供了新思路。

大场景下港口装卸设备点云的聚类识别算法研究

针对港口装卸设备位姿变化明显的特点,提出了一种基于区域生长思想的K-Normal聚类算法。该算法在区域生长聚类思想基础上,在进行K邻域搜索时分段进行随点云局部密度改变的距离阈值判定以及法向量夹角判定完成准确聚类,能有效避免过分割与欠分割。聚类完成后通过PCA算法计算不同聚类的特征值,构建特征模型作为全局特征,以特征模型为输入构造SVM分类器,完成港口不同目标的识别,识别正确率达90.5%。

基于投影分布熵的多视点三维点云场景拼接方法

多视点三维点云场景拼接是解决激光三维主动成像目标自遮挡或被遮挡情况下目标数据不完全问题的一种有效方法,它将直接影响到后续的目标检测与识别处理。通过点云投影分布熵对场景独立坐标系进行估计,由此计算待拼接场景之间的空间变换参数,最后通过退火最近点迭代(ICP)方法,实现多视点场景的精确拼接。仿真实验结果表明,此方法是一种有效可行的方法。

融合梯度信息和邻域点云分布的3D线特征提取与配准

针对传统点云场景重建中由于场景区域缺乏纹理、场景物体遮挡等导致重建结果不准确的局限性,借助场景包含的几何特性和线结构信息,有效利用RGB-D数据的梯度信息和邻域点云分布信息,本文提出了一种针对点云场景的3D线特征提取、匹配和配准方法.首先,通过场景RGB图的梯度信息确定梯度方向相似的3D直线段支持域.然后,借助场景深度图呈现的邻域几何特性,根据当前点与其邻近点之间的分布关系判断点云中的直线型边界线点云和直线型折边线点云并拟合得到场景3D线特征.其次,以点云场景提取的3D线特征为轴线,构造等厚度同轴圆柱区域作为3D线段支持域,并统计支持域中各层圆柱壁内点云梯度作为描述符实现3D线特征匹配.最后,利用基于线–线的迭代最近线配准算法,迭代计算得到帧间场景的旋转与平移,从而实现帧间点云场景的高效配准.实验结果表明,与已有的点云场景线特征提取及点特征配准方法比较,本文直接基于线特征的方法配准效率高、计算量小、配准精准,方法具有较强的鲁棒性.