基于深度学习的移动机器人语义SLAM方法研究

为了给移动机器人提供细节丰富的三维语义地图,支撑机器人的精准定位,本文提出一种结合RGB-D信息与深度学习结果的机器人语义同步定位与建图方法。改进了ORB-SLAM2算法的框架,提出一种可以构建稠密点云地图的视觉同步定位与建图系统;将深度学习的目标检测算法YOLO v5与视觉同步定位与建图系统融合,反映射为三维点云语义标签,结合点云分割完成数据关联和物体模型更新,并用八叉树的地图形式存储地图信息;基于移动机器人平台,在实验室环境下开展移动机器人三维语义同步定位与建图实验,实验结果验证了本文语义同步定位与建图算法的语义信息映射、点云分割与语义信息匹配以及三维语义地图构建的有效性。

融合细粒度特征编码的点云分类分割网络

有效获取点云特征是分析和处理三维点云场景的关键。针对目前深度学习方法特征信息提取不充分,难以捕捉深层次语义信息的问题,提出了一种融合细粒度特征编码的网络来提高点云分类与分割任务的准确率。首先,特征提取模块包含2个子模块:一个是扩张图卷积模块,相比图卷积能够提取更丰富的几何信息;另一个是细粒度特征编码模块,能够获取局部区域的细节特征。其次,通过可学习参数将二者动态融合,有效地学习每个点的上下文信息。最后,将提取的所有特征相加,通过通道亲和注意力模块来强调不同通道,协助特征图来避免可能的冗余。在ModelNet40及ScanObjectNN数据集上进行点云分类实验,总体分类精度分别为93.3%和80.0%。在ShapeNet Part数据集上进行点云部件分割实验,平均交并比为85.6%。实验结果表明,与目前主流方法相比,该网络具有较优的性能。

自然环境下苹果点云多维度特征分割方法研究

为了解决自然环境下苹果果园复杂场景及光照变化对果实精准定位和空间形态评估带来的困难,对基于多维度特征的苹果点云分割方法进行了研究。研究中,通过融合欧氏距离、曲率分析和颜色特征创建苹果点云分割掩膜,对苹果点云进行分割;引入K-D Tree进行聚类修正,拟合后获取最终果实空间全面信息。试验结果显示:在自然果园环境下,该方法在逆光、顺光和侧光条件下分别取得了96.20%、97.67%和97.93%的分割纯净率,与仅基于欧氏距离或颜色特征的单一特征分割方法相比,该方法的纯净率分别提高了37.57%和14.53%,且聚类误分问题得到有效解决。该方法具有良好的鲁棒性和精确性,可为苹果智能化采摘作业的精确性和可靠性提供技术支持。

基于筛选策略的动态环境下激光SLAM算法

现有的同步定位与建图(SLAM)方法在理想条件下运行稳定,但在动态环境中会因移动物体特征点云的误匹配导致定位误差增大。为解决此问题,提出了一种动态点云检测算法。首先利用惯性测量装置信息对点云数据预处理,包含去畸变等操作;然后剔除地面点云,采用弯曲体素结构对非地面点云进行聚类;接着,通过匈牙利算法关联和匹配两帧之间的聚类,同时利用惯性信息统一坐标系;最后设计一种筛选策略,先用边界框交并比和质心速度粗略筛选动态聚类,再用z轴(高度)分布相似性进行精细筛选。实验结果表明,所提算法能够识别并滤除实验环境中的大部分动态点云聚类;与LIO-SAM算法相比,四种场景下的定位均方根误差平均降低了17.75%;平均精确率和召回率相比Removert分别提升14.81%和5.90%。

现代建筑物点云平面特征识别方法

【目的】基于现代建筑物点云数据面片特征,提出一种基于随机抽样一致算法的平面分割识别方法。【方法】该方法先利用三维格网划分来建立空间格网单元,再根据随机采样点来确定局部格网单元,通过随机机制来拟合平面模型,经过局部打分来确定候选模型集,利用法向约束和共面分割来解决过分割和欠分割的问题。【结果】采用该方法可获取当前最优模型和一致集,并完成点云分割。【结论】试验结果表明,该方法能对富有平面特征的建筑物进行有效分割。

基于局部感知的点云语义分割方法

点云语义分割技术是点云数据处理、三维场景理解与分析的有效手段之一。针对点云场景中局部形态各异,导致网络模型识别特征困难的问题,提出了邻域分布关系学习和混合尺度融合的方法,来增强局部感知能力。在卷积算子思想的基础上,根据邻域内所有点在三个坐标轴方向上的联合分布,学习其在高维特征层面的关系,从而捕获局部的整体相关性。此外,将包含小范围底层特征和大范围深层特征的邻域进行整体融合,有效保留不同层级的特征,并能够辅助网络修正相似或错误特征。在场景分割数据集S3DIS、ScanNet上进行实验验证,结果表明该方法在总体精度和类均精度的评价指标上均有提升,证明了其有效性。

基于三维点云重建的混凝土结构裂缝定位与追踪

为实现混凝土结构裂缝的自动化定位、宽度量化及扩展追踪,提出一种基于三维点云重建的混凝土结构裂缝定位及扩展追踪方法。首先通过无人机搭载高分辨率云台相机获取目标建筑物的图像集,再通过优化数据集与三维重建流程得到准确的建筑结构点云模型,并还原相机空间参数;然后提出视点定位算法,基于还原的相机空间参数求得拍摄裂缝的相机世界坐标,将裂缝图片与相机世界坐标绑定,基于图片索引裂缝的三维坐标,实现裂缝在点云模型中的自动定位;最后提出适用于混凝土结构的点云映射与配准算法,对裂缝宽度的扩展进行量化追踪。通过试验对服役期的大型混凝土建筑结构进行了可行性和精度验证。结果表明:所提出方法的三维模型重建的尺度平均误差小于3%,且可自动化定位结构裂缝的三维坐标,裂缝平均定位时间为38.09μs;通过进一步将整体模型与更新的裂缝点云集配准,可实现裂缝扩展信息(裂缝宽度)的准确追踪,试验相对误差小于8%。

基于多传感器融合的系统自我定位与地图重建

在图优化框架的基础上,设计多传感器融合方案和有效的优化方法,提出一套具有鲁棒性的定位与建图(Simultaneous Localization and Mapping,SLAM)方案,能够有效应对室内外复杂环境。进一步发展激光-视觉后端建图融合方法,构建具备全新地图表达形式的点云网格化地图。同时使用低成本传感器,设计实现基于多传感器融合的高性能低成本背包扫描系统,整体完成在未知环境中的自我定位和稠密建图,且在低性能CPU设备上将长时间运动带来的每100 m的轨迹误差平均降低至厘米级。提出的基于多传感器融合方案,在精度、算力消耗上能够匹配现有主流方案,对获取各种环境条件下的系统准确定位结果和丰富的空间信息具有重要意义。

基于三角词袋回环检测的激光惯性SLAM算法

回环检测是减少激光惯性同步定位与建图(SLAM)位姿漂移的有效方法,而回环检测的精度和速度是其能否被应用于SLAM的关键因素。基于此,提出了一种基于三角词袋回环检测的激光惯性SLAM算法。首先,通过激光点云的LinK3D特征生成三角描述符,使用三角描述符构建三角词袋,实现实时位置识别与六自由度回环位姿估计。其次,将LinK3D特征用于帧到帧的点云配准,与惯性测量装置(IMU)预积分相结合,实现精确鲁棒的帧间位姿估计。在KITTI数据集上的实验结果表明,与LIO-SAM算法相比,所提SLAM算法的帧间位姿估计方法更加鲁棒,轨迹的平均均方根误差减少29.79%,每次回环约束的平均耗时减少93.53%。实测实验结果表明,与LIO-SAM算法相比,所提算法每次回环约束的平均耗时减少85.15%,室外长距离实验的绝对轨迹误差的均方根误差减少84.36%。

基于关键特征增强机制的3D人脸识别

3D人脸识别是计算机视觉领域的重要组成部分,Pointnet依靠深度学习解决了点云的无序性,实现了3D点云的全局特征提取,但由于点云数据缺乏细节纹理,仅靠全局特征很难实现复杂情况下的人脸识别。针对以上问题,基于Pointnet提出了一种局部特征描述子,用于描述点云局部空间的几何特征,并引入关键特征增强机制,通过特征概率分布增强人脸关键信息,该机制能减少不必要特征对任务的干扰,有效提升模型的准确率。在公共数据集CASIA-3D、Lock3DFace、Bosphorus上进行实验测试,结果表明该方法能很好地应对表情变化、部分遮挡以及头部姿态的干扰,在弱光环境下其准确率高于RP-Net 1.1%,并具有良好的实时性。

基于激光雷达与IMU融合的农业机器人定位方法

[目的/意义]精准可靠的定位技术是智能农业机器人开展自主导航作业的重要前提,而常用的全球卫星导航系统(Global Navigation Satellite System,GNSS)定位方法在农业环境中容易受到树木遮挡、电磁干扰等因素影响,因而,提出一种基于三维激光雷达(Light Detection and Ranging,LiDAR)与惯性测量单元(Inertial Measurement Unit,IMU)信息融合的农业机器人定位方法。[方法]首先,利用基于角度的聚类方法对激光雷达点云数据进行信息处理,并与三维正态分布变换(3D Normal Distribution Transform,3D-NDT)定位算法相结合,在先验点云地图信息基础上实现基于激光雷达的实时定位;其次,为了克服单传感器定位方法的局限性,利用扩展卡尔曼滤波(Extended Kalman Filter,EKF)算法对激光雷达定位信息与IMU里程计信息进行融合,进一步提升农业机器人的定位精度。最后,分别在机器人操作系统(Robot Operating System,ROS)的Gazebo仿真环境中,以及真实作业场景中进行实验,验证提出的定位算法的有效性。[结果和讨论]融合定位方法在仿真环境中的纵向和横向平均定位误差分别为1.7和1.8 cm,而在实验中的纵向和横向平均定位误差分别为3.3和3.3 cm,均小于传统3D-NDT定位算法的定位误差。[结论]提出的融合定位方法能够满足农业机器人在弱GNSS环境下自主作业的定位要求,为农业机器人提供了一种新的定位方法。

利用SLAM点云的玉米株数自动识别

为了实现农田玉米株数的快速无损自动化识别,提出一种利用同时定位与地图构建(SLAM)点云的农田玉米株数自动识别方法。借助飞马SLAM100手持扫描仪进行玉米田块点云数据采集,充分利用SLAM点云中玉米植株的竖直度特征和扫描过程中植株的先验纹理特征,进行玉米植株顶部的自动提取,引入密度聚类算法进行玉米植株的区分与株数自动识别,并通过农田实测数据进行实验。结果表明,所设计的方法能够实现玉米植株的自动识别,对玉米种植株数的识别率达到92.53%。该研究在玉米植株自动识别、作物估产以及智慧农业研究领域具有良好的工程应用价值。

LSVSH描述符:高鉴别强鲁棒的点云局部特征统计直方图

三维局部特征描述是三维计算机视觉中的重要任务.现实场景中包含噪声、遮挡和杂波等干扰,使得准确和鲁棒的三维局部特征描述具有很大的挑战性.为提高特征描述的性能,提出一种局部曲面变化统计直方图(local sur-face variation based statistics histogram,LSVSH)描述符.首先设计一种不依赖于局部参考轴(local reference axis,LRA)的新属性(称为曲率属性),增强描述符对LRA误差的稳健性;然后沿径向剖分局部空间,在每个子空间中统计3个角度属性和1个曲率属性生成LSVSH描述符,实现对局部曲面信息的全面稳健描述.在B3R,U3M,U3OR和QuLD这4个数据集上进行大量的实验,结果表明,LSVSH在4个数据集上的RPC下面积(the area under the recall-precision curve,AUCpr)值分别为0.95,0.70,0.54和0.10,优于现有的局部特征描述符的性能;在U3M数据集上的正确配准率和在U3OR数据集上的正确识别率分别达到70%和100%,验证了LSVSH应用于物体配准和识别任务上的有效性.

面向局部学习的点云分割分类网络

在各种3D对象表示中,三维点云越来越受欢迎,其中基于点的方法在各种数据集上都表现出了良好的性能。针对PointNet++只关注了点本身的信息,并未关注相邻点的信息,同时它采用最大池化聚合局部信息,导致丢失次最大值信息。由此,文中提出Con-PointNet++网络,该网络利用增强局部信息模块,以关注相邻点的信息,从而增强局部信息特征提取;采用局部注意力机制下的融合池化模块,将最大池化与注意力池化特征信息融合,得到更为丰富的局部特征信息。本文方法在室内数据集S3DIS的Area_5区域上评估模型语义分割能力,mIoU达55.2%;在数据集ModelNet40上评估模型分类效果,OA达91.2%。与其他方法相比,所提模型性能均有提升,进一步证明了本文方法的有效性。

基于RANSAC拟合点云去噪的苹果采摘位姿构建方法

针对果园环境下果实重叠和光照等因素带入的难滤除点云噪声,导致借助点云构建的采摘位姿精度低的问题,本文提出了一种基于随机采样一致性(Random sample consensus,RANSAC)拟合点云去噪的采摘位姿构建方法。该方法通过RANSAC拟合算法从预处理后的果实点云中检测出多个潜在的球体,并以与点云采集设备垂直距离最短的球体球心作为目标果实的基准设置距离阈值,以便进一步滤除目标果实点云中难滤除的点云噪声,提高目标果实的位姿构建精度。在此基础上,利用最小二乘法对去噪后的点云进行球拟合得到球心坐标,并作为目标果实的采摘位置,然后结合实例分割算法获取的二值化掩膜图像质心三维坐标,构造接近向量作为采摘姿态,完成采摘位姿的构建。重叠果实点云去噪试验表明,本文方法能够有效滤除目标果实中难滤除的点云噪声;位姿构建评估试验结果显示,在室外仿果园环境下采用提出的位姿构建方法,果实定位精度达到15.0 mm,相较于直接使用RANSAC拟合球的定位方法,定位精度最大提高28.1%,位置构建稳定性提高76.0%;果园采摘对比试验表明,采用提出的位姿构建方法定位成功率达到70.2%,相较于现有同类方法,定位成功率提高23.4%,采摘成功率提高38.4%。本文提出的方法可为复杂果园环境下的果实位姿准确构建提供参考。

基于移动激光扫描的地铁隧道渗漏水定位及快速检测方法

渗漏水是地铁隧道最主要的病害之一,也会导致其他结构病害,开展地铁隧道渗漏水病害检测方法研究具有重要意义。本文聚焦于地铁隧道渗漏水问题,提出了一种基于移动激光扫描点云数据的渗漏水定位及检测方法。首先,结合移动激光扫描检测方法,开展了隧道精确定位方法研究。然后,对YOLOv7模型进行了改进,引入了ConvNeXt网络和CBAM模块以使模型更好地捕获多尺度、多抽象级别的特征,增强对渗漏水关键特征的关注;使用GIoU Loss损失函数,使模型能够更好地处理不完整渗漏水框;预测时使用Soft-NMS加权平均的方法,保留更多的边界框,从而提高检测精度。结合在重庆地铁获取的激光扫描数据构建的盾构法和矿山法隧道渗漏水数据集,验证了本文方法的高效性和稳健性。消融试验表明,本文方法相较于基线模型在不同数据集上均取得了显著的性能提升,在盾构法数据集中,准确率P提升了8.1%,召回率R提升了4%;在矿山法数据集中,准确率P提升了8.6%,召回率R提升了6.8%。同时,与主流目标检测算法,如Faster RCNN(Swin)、Faster RCNN(ConvNeXt)、YOLOv8对比,本文方法在精度和速度方面都表现出优势。最后,本文展示了部分隧道渗漏水的定位与检测结果,以验证本文方法的实用性。

基于密度与局部统计的单光子点云去噪方法

针对北京遥测技术研究所自主研发的64通道机载单光子激光雷达,提出一种基于密度与局部统计的二维剖面点云去噪方法:在确定信号点云的高程区间后,先使用基于密度的改进空间聚类算法粗去噪,然后使用基于局部统计的统计移除离群点算法精去噪,获取信号点云。实验结果表明,本方法可适用于多种地物类型点云,高程均方根误差为0.27 m,准确率90.78%,精度高于常规点云去噪算法,满足国产机载单光子激光雷达获取高精度地表三维轮廓的技术需求。

用于SLAM的点云动态物体识别

检测和分割场景中动态物体对于建立一致性地图至关重要。针对当前点云动态物体检测算法依赖大量含有动态属性标注的数据、限制激光雷达扫描方式等问题,提出了一种基于连续点云的动态物体检测算法。将待预测点云、相邻帧点云以及通过SLAM(simultaneous localization and mapping)得到的位姿信息作为输入,利用点云场景流估计算法逐点估计移动情况,结合点云聚类、主成分分析(principal component analysis,PCA)等技术,整合场景流结果以获取实例级移动信息以判断物体的动态属性,并将点云语义分割作为判别点是否属于可移动类别的插件以提升动态物体识别精度。所提算法不需要具有动态属性的标注数据进行训练,并且对传感器的扫描方式、生成的点云数没有任何限制;与现有最先进的方法进行对比,具有易于训练、判断准确、结果鲁棒等特性。

复杂异型建筑立面测绘轮廓提取方法设计

为解决点云数据密度异常时复杂异型建筑立面测绘轮廓提取精度变差的问题,提出基于局部点云密度的复杂异型建筑立面测绘轮廓提取方法。引入基于平面投影和双边滤波的测绘点云数据平滑方法,对测绘数据进行去噪和平滑处理,并通过点云分割方法提取目标点云区域。通过基于改进Alpha Shapes算法的立面测绘轮廓提取方法,以边界网格筛选的方式,去除目标点云区域冗余点云数据后,使用滚动圆半径自适应调节方法提取轮廓数据。试验结果表明,所提取轮廓匹配度高达95.08%,具有良好的精度和可行性。该方法可在有效平滑点云数据、分割获取目标点云区域的同时,高精度提取复杂异型建筑立面测绘轮廓。

基于改进3D-NDT机器人自定位算法

针对机器人在自定位过程中,传统3D-NDT点云配准在未给定初始旋转矩阵的情况下,存在配准效果不佳、误差大、配准时间长的缺陷,提出一种相对高效的改进3D-NDT点云配准算法。首先,对输入点云进行ISS特征点提取,并计算这些特征点的特征直方图(FPFH);然后,根据直接对应估计对特征点进行匹配,使用RANSAC去除错误对应关系,得到初始旋转矩阵;最后,将得到的初始旋转矩阵代入3D-NDT算法进行匹配,得到最终的匹配结果。采用室内外场景点云进行测试,实验结果表明,改进后的3D-NDT算法能输出较好的匹配结果,并且精度有所提高,但该算法的复杂度有待进一步优化。