3维点云的拓扑结构表征与计算技术

拓扑结构特征在3维点云的简化、变形、曲面重建、匹配与检索、形状分析与理解、压缩与传输以及实际应用中具有重要的作用,是3维点云信息的一类关键特征。该文综述了3维点云拓扑结构表征与计算的一些有关概念、方法和技术,评述了点云拓扑结构表征与计算的典型方法及其最新进展,介绍了点云拓扑结构表征及计算的一些实际应用,给出了一些研究结果,并展望了这些问题的发展趋势。

基于3维点云深度信息和质心距相结合的机器人抓取控制方法

针对机器人抓取不规则形状物体时,抓取位置难判别问题,提出一种基于物体边界3维点云法向量夹角和质心距相结合的机器人抓取控制方法,该方法建立基于双目标的综合抓取评价方法,避免单一目标抓取评价方法对抓取因素判断不足的问题。首先对Kinect传感器拾取的场景点云进行分割、去噪、降采样等处理,得到目标物边界点云;然后,将边界点云法向量和抓取两点所在直线的夹角、抓取点对所在直线与目标物质心的距离2种评价方法相结合进行综合评价,提出一种抓取质量综合评价函数以获取最优值,进而选取最优抓取位置对物体实施抓取。最后,对抓取综合评价方法进行仿真实验,验证了该方法的可行性和有效性。

三维点云目标识别对抗攻击研究综述

当前,人工智能系统在诸多领域都取得了巨大的成功,其中深度学习技术发挥了关键作用。然而,尽管深度神经网络具有强大的推理识别能力,但是依然容易受到对抗样本的攻击,表现出了脆弱性。对抗样本是经过特殊设计的输入数据,能够攻击并误导深度学习模型的输出。随着激光雷达等3维传感器的快速发展,使用深度学习技术解决3维领域的各种智能任务也越来越受到重视。采用深度学习技术处理3维点云数据的人工智能系统的安全性和鲁棒性至关重要,如基于深度学习的自动驾驶3维目标检测与识别技术。为了分析3维点云对抗样本对深度神经网络的攻击方式,揭示3维对抗样本对深度神经网络的干扰机制,该文总结了基于3维点云深度神经网络模型的对抗攻击方法的研究进展。首先,介绍了对抗攻击的基本原理和实现方法,然后,总结并分析了3维点云的数字域对抗攻击和物理域对抗攻击,最后,讨论了3维点云对抗攻击面临的挑战和未来的研究方向。

基于最大分类器差异域适应方法的3维点云分类

实现快速且高精度的点云分类算法对自动驾驶、3维场景识别、地图重建、工业机器人等应用领域起着重要的作用。针对目前传统3维点云分类算法存在着深度学习需要海量带标签训练数据以及在网络中没有考虑到3维点云数据的局部信息的不足,基于最大分类器差异域适应方法,设计了一种3维点云分类框架。首先使用PointNet点云分类网络作为网络的基本框架,其次在特征网络中添加自适应节点模块以处理3维点云的局部特征,最后利用领域自适应方法中的最大分类器差异域适应方法对网络的全局特征进行训练,有效缓解对海量训练数据的依赖性。在3维点云数据集PointDA-10的6种迁移组合对所提方法进行实验验证,在其中5种组合的分类准确率优于传统的点云分类算法,并且在减少20%训练数据量的情况下仍能较传统方法有效提升分类准确率。

基于3维点云鸟瞰图的高精度实时目标检测

针对基于3维点云的目标检测问题,提出了一种高精度实时的单阶段深度神经网络,分别在网络特征提取、损失函数设计和训练数据增强等3个方面提出了新的解决方案.首先对点云直接进行体素化来构建鸟瞰图.在特征提取阶段,使用残差结构提取高层语义特征,并融合多层次特征输出稠密的特征图.在回归鸟瞰图上的目标框的同时,在损失函数中考虑二次偏移量以实现更高精度的收敛.在网络训练中,使用不同帧3维点云混合的方式进行数据增强,提高网络的泛化性能.基于KITTI鸟瞰图目标检测数据集的实验结果表明,本文提出的网络仅使用雷达点云的位置信息,在性能上不仅优于目前最先进的鸟瞰图目标检测网络,而且优于融合图像和点云的检测方案,且整个网络运行速度达到20帧/秒,满足实时性要求.

基于3维点云欧氏聚类和RANSAC边界拟合的目标物体尺寸和方位识别

目标物体尺寸和方位识别是移动机器人在未知环境下实现自主搬运的关键技术,主要难点是如何从混有地面和周边环境信息的3维点云数据中提取物体信息,并准确识别其方位和尺寸。常用的方法是通过3维点云建立物体包围盒,但是现有的基于PCA（主成分分析）或基于边缘点云提取的包围盒建立方法对物体边缘点云噪声比较敏感。文中主要针对室内搬运场景中方形箱式物体,提出1种基于3维点云欧氏聚类和RANSAC（随机采样一致性）边界拟合的物体尺寸和方位识别算法。首先,采用点云截断、体素滤波降采样和离群点移除对数据进行预处理,然后采用基于K-D树的快速聚类算法进行物体与物体之间的分割,接着将分割后物体3维点云进行2维投影。由于投影后物体2维点云边缘点密度远高于内部点云密度,采用RANSAC算法对边缘点云进行直线拟合。该直线能够近似物体边缘点云分布的期望均值,受物体边缘点云噪声的影响较小。实验表明该算法精度较高、速度较快、鲁棒性好,可用于移动机器人物体搬运作业等领域。

融合图注意力的多分辨率点云补全

为了解决3维点云补全中难以提取点云局部特征信息的问题,提出了融合图注意力的多分辨率点云补全网络结构。采用了生成对抗网络框架处理数据的方法,生成器通过图注意力层构建点云图结构,融合不同分辨率的特征信息后加上网格数据,结合折叠操作重构缺失结构并输出逐级补全的点云数据;判别器判别点云真伪,通过反馈以提高准确度并优化生成器,使得生成数据具有精细的几何结构,近似于真实点云;在形状数据集上,将本文中的方法与其它4种方法进行比较,通过实验验证和理论分析,取得了最优的结果。结果表明,该方法能够有效地补全点云形状的缺失部分,得到完整且均匀的点云形状,相较于点分形网络性能提高约1.79%,对于实测数据的补全处理也达到了预期效果;所提出的点云补全网络结构,在提取点云全局形状特征的同时更好地提取了其局部几何特征信息,使得补全出的点云形状更加精细。该研究为智慧城市3维建模提供了参考。

基于多传感器信息融合的3维目标实时检测

针对基于多传感器信息融合的3维目标检测,提出了一种实时高精度的双阶段深度神经网络PointRGBNet。第1阶段,在区域提案网络中,首先将3维点云投影到2维图像上生成6维RGB点云,然后对输入的6维RGB点云进行特征提取,得到低维特征图与高维特征图,利用融合后的特征图生成大量置信度较高的提案;第2阶段,在目标检测网络中,利用第1阶段生成的提案进行RoI池化,得到特征图上与每个提案对应的特征集合,通过针对性地学习提案的特征集合,实现了更精准的3维目标检测。在KITTI数据集上的公开测试结果表明,PointRGBNet在检测精度上不仅优于仅使用2维图像或3维点云的目标检测网络,甚至优于某些先进的多传感器信息融合网络,而且整个网络的目标检测速度为12帧/s,满足实时性要求。

变电站电力设备红外热像测温数据三维可视化方案

针对当前电力设备红外热像测温数据2维可视化技术表现力不足,友好性差,不利于故障分析与诊断的现状,开展了电力设备红外热像测温数据3维可视化方案研究,提出了3维实景模型可视化和3维点云模型可视化2种模式,并给出了实现策略。案例验证结果表明:所提3维实景模型可视化模式可直观展示设备的局部红外温度分布特征,适用于局部快速可视化情景;所提3维点云模型可视化模式可准确展示设备整体红外温度量化数值,在设备整体可视化情景应用中具有优势;2种模式可实现优势互补。研究成果可为提升设备红外热像测温数据的表现力和查看的友好性提供参考,具有一定的工程价值。

面向形状特征的多维度多层级点云分析

目的 3维点云是编码几何信息的主要数据结构,与2维视觉数据不同的是,点云中隐藏了3维物体中重要的形状特征。为更好地从无序的点云中挖掘形状特征,本文提出一种能够端到端且鲁棒地处理点云数据的多维度多层级神经网络(multi-dimensional multi-layer neural network,MM-Net)。方法多维度特征修正与融合(multidimensional feature correction and fusion module,MDCF)模块从多个维度自适应地修正局部特征和逐点特征,并将其整合至高维空间以获得丰富的区域形状。另一方面,多层级特征衔接(multi-layer feature articulation module,MLFA)模块利用多个层级间的远程依赖关系,推理得到网络所需的全局形状。此外设计了两种分别应用于点云分类与分割任务的网络结构MM-Net-C(multi-dimensional multi-layer feature classification network)和MM-Net-S(multi-dimensional multi-layer feature segmentation network)。结果在公开的ModelNet40数据集与Shape Net数据集上进行测试,并与多种方法进行比较。在ModelNet40数据集中,MM-Net-C的分类精度较Point Net++和DGCNN(dynamic graph convolutional neural network)方法分别提高了2.2%和1.9%;在Shape Net数据集中,MM-Net-S的分割精度较ELM(extreme learning machine)和A-CNN(annularly convolutional neural networks)方法分别提高了1.2%和0.4%。此外,在ModelNet40数据集中的消融实验验证了多维度多层级神经网络(MM-Net)架构的可靠性,消融实验的结果也表明了多维度特征修正与融合(MDCF)模块和多层级特征衔接(MLFA)模块设计的必要性。结论本文提出的多维度多层级神经网络(MM-Net)在分类与分割任务中取得了优秀的性能。

点云下地平面检测的RGB-D相机外参自动标定

目的 RGB-D相机的外参数可以被用来将相机坐标系下的点云转换到世界坐标系的点云,可以应用在3维场景重建、3维测量、机器人、目标检测等领域。一般的标定方法利用标定物(比如棋盘)对RGB-D彩色相机的外参标定,但并未利用深度信息,故很难简化标定过程,因此,若充分利用深度信息,则极大地简化外参标定的流程。基于彩色图的标定方法,其标定的对象是深度传感器,然而,RGB-D相机大部分则应用基于深度传感器,而基于深度信息的标定方法则可以直接标定深度传感器的姿势。方法首先将深度图转化为相机坐标系下的3维点云,利用MELSAC方法自动检测3维点云中的平面,根据地平面与世界坐标系的约束关系,遍历并筛选平面,直至得到地平面,利用地平面与相机坐标系的空间关系,最终计算出相机的外参数,即相机坐标系内的点与世界坐标系内的点的转换矩阵。结果实验以棋盘的外参标定方法为基准,处理从Prime Sense相机所采集的RGB-D视频流,结果表明,外参标定平均侧倾角误差为-1.14°,平均俯仰角误差为4.57°,平均相机高度误差为3.96 cm。结论该方法通过自动检测地平面,准确估计出相机的外参数,具有很强的自动化,此外,算法具有较高地并行性,进行并行优化后,具有实时性,可应用于自动估计机器人姿势。

基于kinect的物体抓取场景认知

针对RoboCup竞赛家庭组比赛对物体抓取的要求,研究了物体抓取场景认知问题。设计了一种基于kinect的物体抓取场景认知系统。先将kinect传感器得到的深度图像转换为3维(3D)点云图,然后计算每个3D点所在曲面的局部法向量,再根据法向量和距离特征分割提取出水平桌面;采用3D点与水平桌面的位置关系分离出潜在的抓取物体目标点,选择随机抽样一致(RANSAC,Random Sample Consensus)算法完成圆柱形抓取物体的定位。使用实验室采集的场景深度图对认知系统进行测试。结果表明,设计的系统可以可靠提取水平桌面和桌面上的圆柱形物体,可以达到物体抓取比赛的要求。

3维细长管路测量系统扫描路径自主规划

针对弯折加工而成的3维细长管路的测量问题,设计了一种由工业机器人和多种传感器组成的自主测量系统.为完成测量中关键的管路点云自主扫描,提出了一种基于遗传算法的管路扫描路径规划算法,可求取出能够完整扫描管路且扫描次数尽可能少的1组无碰关键扫描点,并且在关键扫描点处机器人的姿态被约束在竖直方向周围的一定范围内.此外,在每代群体产生后根据向前覆盖因子更新探索步长,并据此调整新采样个体的采样区间用以快速采集到更合适的个体.路径规划算法的性能验证中,首先实施了弯曲管路仿真,然后进行了圆柱段和圆环段在不同姿态下的扫描路径规划的仿真,最后开展了汽车管路扫描路径规划的仿真和实测实验.仿真结果中最优个体扫描长度随迭代次数增加而增大,且两种管路段和汽车管路的扫描覆盖率均超过0.99,表明规划得到的关键扫描点数量少,且关键扫描点的扫描体可近乎完整地扫描对应管路.汽车管路仿真与实测实验结果表明该算法对复杂管路可规划出合适的扫描路径.

基于ToF技术的高压输电线路带电作业安全监测方法

针对高压带电作业过程中人工实施安全监测难的问题,提出了1种基于飞行时间(time of flight,ToF)深度相机的高压带电作业实时安全监测及预警方法。在对高压输电线路带电作业方式和典型工况分析基础上,基于带电作业安全距离对带电作业人员的安全作业空间进行了划分,利用ToF深度相机对带电作业安全距离进行实时检测,采用安全作业空间边界越界和入侵检测实现安全预警;同时对影响安全监测的绝缘绳索进行甄别和排除,提高了该方法对野外复杂环境的适用性和准确性。在现场试验时,杆塔上的观察人员与系统同时进行安全监控,系统进行了12次报警,而观测人员仅进行了5次报警提示,其他7次报警是由于作业人员足部仅触及报警线边缘,精度要求高,故观测人员没能及时报警。通过现场试验验证了基于ToF深度相机的高压带电作业实时安全监测系统的准确性和可靠性,与人工监测相比,系统可大幅提高带电作业安全监测的有效性,能有效预防带电作业人身伤害事故的发生。

嵌入Transformer结构的多尺度点云补全

目的当前点云补全的深度学习算法多采用自编码器结构,然而编码器端常用的多层感知器(multilayer perceptron,MLP)网络往往只聚焦于点云整体形状,很难对物体的细节特征进行有效提取,使点云残缺结构的补全效果不佳。因此需要一种准确的点云局部特征提取算法,用于点云补全任务。方法为解决该问题,本文提出了嵌入注意力模块的多尺度点云补全算法。网络整体采用编码器—解码器结构,通过编码器端的特征嵌入层和Transformer层提取并融合3种不同分辨率的残缺点云特征信息,将其输入到全连接网络的解码器中,输出逐级补全的缺失点云。最后在解码器端添加注意力鉴别器,借鉴生成对抗网络(generative adversarial networks,GAN)的思想,优化网络补全性能。结果采用倒角距离(Chamfer distance,CD)作为评价标准,本文算法在2个数据集上与相关的4种方法进行了实验比较,在Shape Net数据集上,相比于性能第2的PF-Net(point fractal network)模型,本文算法的类别平均CD值降低了3.73%;在ModelNet10数据集上,相比于PF-Net模型,本文算法的类别平均CD值降低了12.75%。不同算法的可视化补全效果图,验证了本文算法具有更精准的细节结构补全能力和面对类别中特殊样本的强泛化能力。结论本文所提出的基于Transformer结构的多尺度点云补全算法,更好地提取了残缺点云的局部特征信息,使得点云补全的结果更加准确。

多特征融合与残差优化的点云语义分割方法

目的当前的大场景3维点云语义分割方法一般是将大规模点云切成点云块再进行处理。然而在实际计算过程中,切割边界的几何特征容易被破坏,使得分割结果呈现明显的边界现象。因此,迫切需要以原始点云作为输入的高效深度学习网络模型,用于点云的语义分割。方法为了解决该问题,提出基于多特征融合与残差优化的点云语义分割方法。网络通过一个多特征提取模块来提取每个点的几何结构特征以及语义特征,通过对特征的加权获取特征集合。在此基础上,引入注意力机制优化特征集合,构建特征聚合模块,聚合点云中最具辨别力的特征。最后在特征聚合模块中添加残差块,优化网络训练。最终网络的输出是每个点在数据集中各个类别的置信度。结果本文提出的残差网络模型在S3DIS(Stanford Large-scale 3D Indoor Spaces Dataset)与户外场景点云分割数据集Semantic3D等2个数据集上与当前的主流算法进行了分割精度的对比。在S3DIS数据集中,本文算法在全局准确率以及平均准确率上均取得了较高精度,分别为87.2%,81.7%。在Semantic3D数据集上,本文算法在全局准确率和平均交并比上均取得了较高精度,分别为93.5%,74.0%,比GACNet(graph attention convolution network)分别高1.6%,3.2%。结论实验结果验证了本文提出的残差优化网络在大规模点云语义分割的应用中,可以缓解深层次特征提取过程中梯度消失和网络过拟合现象并保持良好的分割性能。

基于机载LiDAR数据的DEM快速获取及应用

作为直接获取对象表面点3维坐标的现代对地观测技术,激光雷达技术能够快速获取高精度地面高程模型。基于LiDAR系统所获取的点云数据,通过过滤处理将区域纯地形特征信息与地物信息相分离,最终生成高精度的DEM,并在此基础上对同步获取的数码影像进行正射纠正,为进一步的信息提取、定量分析及实体建模奠定基础。