The autonomous exploration and mapping of an unknown environment is useful in a wide range of applications and thus holds great significance. Existing methods mostly use range sensors to generate twodimensional (2D) g...The autonomous exploration and mapping of an unknown environment is useful in a wide range of applications and thus holds great significance. Existing methods mostly use range sensors to generate twodimensional (2D) grid maps. Red/green/blue-depth (RGB-D) sensors provide both color and depth information on the environment, thereby enabling the generation of a three-dimensional (3D) point cloud map that is intuitive for human perception. In this paper, we present a systematic approach with dual RGB-D sensors to achieve the autonomous exploration and mapping of an unknown indoor environment. With the synchronized and processed RGB-D data, location points were generated and a 3D point cloud map and 2D grid map were incrementally built. Next, the exploration was modeled as a partially observable Markov decision process. Partial map simulation and global frontier search methods were combined for autonomous exploration, and dynamic action constraints were utilized in motion control. In this way, the local optimum can be avoided and the exploration efficacy can be ensured. Experiments with single connected and multi-branched regions demonstrated the high robustness, efficiency, and superiority of the developed system and methods.展开更多
真实场景点云不仅具有点云的空间几何信息,还具有三维物体的颜色信息,现有的网络无法有效利用真实场景的局部特征以及空间几何特征信息,因此提出了一种双通道特征融合的真实场景点云语义分割方法DCFNet(dual-channel feature fusion of ...真实场景点云不仅具有点云的空间几何信息,还具有三维物体的颜色信息,现有的网络无法有效利用真实场景的局部特征以及空间几何特征信息,因此提出了一种双通道特征融合的真实场景点云语义分割方法DCFNet(dual-channel feature fusion of real scene for point cloud semantic segmentation)可用于不同场景下的室内外场景语义分割。更具体地说,为了解决不能充分提取真实场景点云颜色信息的问题,该方法采用上下两个输入通道,通道均采用相同的特征提取网络结构,其中上通道的输入是完整RGB颜色和点云坐标信息,该通道主要关注于复杂物体对象场景特征,下通道仅输入点云坐标信息,该通道主要关注于点云的空间几何特征;在每个通道中为了更好地提取局部与全局信息,改善网络性能,引入了层间融合模块和Transformer通道特征扩充模块;同时,针对现有的三维点云语义分割方法缺乏关注局部特征与全局特征的联系,导致对复杂场景的分割效果不佳的问题,对上下两个通道所提取的特征通过DCFFS(dual-channel feature fusion segmentation)模块进行融合,并对真实场景进行语义分割。对室内复杂场景和大规模室内外场景点云分割基准进行了实验,实验结果表明,提出的DCFNet分割方法在S3DIS Area5室内场景数据集以及STPLS3D室外场景数据集上,平均交并比(MIOU)分别达到71.18%和48.87%,平均准确率(MACC)和整体准确率(OACC)分别达到77.01%与86.91%,实现了真实场景的高精度点云语义分割。展开更多
在自动驾驶感知系统中视觉传感器与激光雷达是关键的信息来源,但在目前的3D目标检测任务中大部分纯点云的网络检测能力都优于图像和激光点云融合的网络,现有的研究将其原因总结为图像与雷达信息的视角错位以及异构特征难以匹配,单阶段...在自动驾驶感知系统中视觉传感器与激光雷达是关键的信息来源,但在目前的3D目标检测任务中大部分纯点云的网络检测能力都优于图像和激光点云融合的网络,现有的研究将其原因总结为图像与雷达信息的视角错位以及异构特征难以匹配,单阶段融合算法难以充分融合二者的特征.为此,本文提出一种新的多层多模态融合的3D目标检测方法:首先,前融合阶段通过在2D检测框形成的锥视区内对点云进行局部顺序的色彩信息(Red Green Blue,RGB)涂抹编码;然后将编码后点云输入融合了自注意力机制上下文感知的通道扩充PointPillars检测网络;后融合阶段将2D候选框与3D候选框在非极大抑制之前编码为两组稀疏张量,利用相机激光雷达对象候选融合网络得出最终的3D目标检测结果.在KITTI数据集上进行的实验表明,本融合检测方法相较于纯点云网络的基线上有了显著的性能提升,平均mAP提高了6.24%.展开更多
移动单线激光雷达(Laser detection and ranging,LiDAR)扫描(Mobile single-layer LiDAR scanning,MSLS)树冠叶面积估计方法使用单一视角的单线激光雷达采集树冠点云数据,获取的冠层信息不够全面,限制了树冠叶面积估计精度。本文提出一...移动单线激光雷达(Laser detection and ranging,LiDAR)扫描(Mobile single-layer LiDAR scanning,MSLS)树冠叶面积估计方法使用单一视角的单线激光雷达采集树冠点云数据,获取的冠层信息不够全面,限制了树冠叶面积估计精度。本文提出一种基于移动多线LiDAR扫描(Mobile multi-layer LiDAR scanning,MMLS)的树冠叶面积估计方法,使用多线LiDAR从多个视角采集树冠点云数据,提升树冠叶面积估计精度。首先,将多线LiDAR采集的点云数据变换到世界坐标系下,通过感兴趣区域(Region of interest,ROI)提取出树冠点云。然后,提出一种MMLS树冠点云融合方法,逐个融合单个激光器采集的树冠点云,设置距离阈值删除重复点,添加新点。最后,构建MMLS空间分辨率网格,建立基于树冠网格面积的树冠叶面积估计模型。实验使用VLP-16型多线LiDAR传感器搭建MMLS系统,设置1、1.5 m 2个测量距离和间隔45°的8个测量角度对6个具有不同冠层密度的树冠进行数据采集,共得到96个树冠样本。采用本文方法,树冠叶面积线性估计模型的均方根误差(Root mean squared error,RMSE)为0.1041 m^(2),比MSLS模型降低0.0578 m^(2),决定系数R^(2)为0.9526,比MSLS模型提高0.0675。实验结果表明,本文方法通过多线LiDAR多视角树冠点云数据采集、MMLS树冠点云融合和空间分辨率网格构建,有效提升了树冠叶面积估计精度。展开更多
在图优化框架的基础上,设计多传感器融合方案和有效的优化方法,提出一套具有鲁棒性的定位与建图(Simultaneous Localization and Mapping,SLAM)方案,能够有效应对室内外复杂环境。进一步发展激光-视觉后端建图融合方法,构建具备全新地...在图优化框架的基础上,设计多传感器融合方案和有效的优化方法,提出一套具有鲁棒性的定位与建图(Simultaneous Localization and Mapping,SLAM)方案,能够有效应对室内外复杂环境。进一步发展激光-视觉后端建图融合方法,构建具备全新地图表达形式的点云网格化地图。同时使用低成本传感器,设计实现基于多传感器融合的高性能低成本背包扫描系统,整体完成在未知环境中的自我定位和稠密建图,且在低性能CPU设备上将长时间运动带来的每100 m的轨迹误差平均降低至厘米级。提出的基于多传感器融合方案,在精度、算力消耗上能够匹配现有主流方案,对获取各种环境条件下的系统准确定位结果和丰富的空间信息具有重要意义。展开更多
基金the National Natural Science Foundation of China (61720106012 and 61403215)the Foundation of State Key Laboratory of Robotics (2006-003)the Fundamental Research Funds for the Central Universities for the financial support of this work.
文摘The autonomous exploration and mapping of an unknown environment is useful in a wide range of applications and thus holds great significance. Existing methods mostly use range sensors to generate twodimensional (2D) grid maps. Red/green/blue-depth (RGB-D) sensors provide both color and depth information on the environment, thereby enabling the generation of a three-dimensional (3D) point cloud map that is intuitive for human perception. In this paper, we present a systematic approach with dual RGB-D sensors to achieve the autonomous exploration and mapping of an unknown indoor environment. With the synchronized and processed RGB-D data, location points were generated and a 3D point cloud map and 2D grid map were incrementally built. Next, the exploration was modeled as a partially observable Markov decision process. Partial map simulation and global frontier search methods were combined for autonomous exploration, and dynamic action constraints were utilized in motion control. In this way, the local optimum can be avoided and the exploration efficacy can be ensured. Experiments with single connected and multi-branched regions demonstrated the high robustness, efficiency, and superiority of the developed system and methods.
文摘真实场景点云不仅具有点云的空间几何信息,还具有三维物体的颜色信息,现有的网络无法有效利用真实场景的局部特征以及空间几何特征信息,因此提出了一种双通道特征融合的真实场景点云语义分割方法DCFNet(dual-channel feature fusion of real scene for point cloud semantic segmentation)可用于不同场景下的室内外场景语义分割。更具体地说,为了解决不能充分提取真实场景点云颜色信息的问题,该方法采用上下两个输入通道,通道均采用相同的特征提取网络结构,其中上通道的输入是完整RGB颜色和点云坐标信息,该通道主要关注于复杂物体对象场景特征,下通道仅输入点云坐标信息,该通道主要关注于点云的空间几何特征;在每个通道中为了更好地提取局部与全局信息,改善网络性能,引入了层间融合模块和Transformer通道特征扩充模块;同时,针对现有的三维点云语义分割方法缺乏关注局部特征与全局特征的联系,导致对复杂场景的分割效果不佳的问题,对上下两个通道所提取的特征通过DCFFS(dual-channel feature fusion segmentation)模块进行融合,并对真实场景进行语义分割。对室内复杂场景和大规模室内外场景点云分割基准进行了实验,实验结果表明,提出的DCFNet分割方法在S3DIS Area5室内场景数据集以及STPLS3D室外场景数据集上,平均交并比(MIOU)分别达到71.18%和48.87%,平均准确率(MACC)和整体准确率(OACC)分别达到77.01%与86.91%,实现了真实场景的高精度点云语义分割。
文摘在自动驾驶感知系统中视觉传感器与激光雷达是关键的信息来源,但在目前的3D目标检测任务中大部分纯点云的网络检测能力都优于图像和激光点云融合的网络,现有的研究将其原因总结为图像与雷达信息的视角错位以及异构特征难以匹配,单阶段融合算法难以充分融合二者的特征.为此,本文提出一种新的多层多模态融合的3D目标检测方法:首先,前融合阶段通过在2D检测框形成的锥视区内对点云进行局部顺序的色彩信息(Red Green Blue,RGB)涂抹编码;然后将编码后点云输入融合了自注意力机制上下文感知的通道扩充PointPillars检测网络;后融合阶段将2D候选框与3D候选框在非极大抑制之前编码为两组稀疏张量,利用相机激光雷达对象候选融合网络得出最终的3D目标检测结果.在KITTI数据集上进行的实验表明,本融合检测方法相较于纯点云网络的基线上有了显著的性能提升,平均mAP提高了6.24%.
文摘移动单线激光雷达(Laser detection and ranging,LiDAR)扫描(Mobile single-layer LiDAR scanning,MSLS)树冠叶面积估计方法使用单一视角的单线激光雷达采集树冠点云数据,获取的冠层信息不够全面,限制了树冠叶面积估计精度。本文提出一种基于移动多线LiDAR扫描(Mobile multi-layer LiDAR scanning,MMLS)的树冠叶面积估计方法,使用多线LiDAR从多个视角采集树冠点云数据,提升树冠叶面积估计精度。首先,将多线LiDAR采集的点云数据变换到世界坐标系下,通过感兴趣区域(Region of interest,ROI)提取出树冠点云。然后,提出一种MMLS树冠点云融合方法,逐个融合单个激光器采集的树冠点云,设置距离阈值删除重复点,添加新点。最后,构建MMLS空间分辨率网格,建立基于树冠网格面积的树冠叶面积估计模型。实验使用VLP-16型多线LiDAR传感器搭建MMLS系统,设置1、1.5 m 2个测量距离和间隔45°的8个测量角度对6个具有不同冠层密度的树冠进行数据采集,共得到96个树冠样本。采用本文方法,树冠叶面积线性估计模型的均方根误差(Root mean squared error,RMSE)为0.1041 m^(2),比MSLS模型降低0.0578 m^(2),决定系数R^(2)为0.9526,比MSLS模型提高0.0675。实验结果表明,本文方法通过多线LiDAR多视角树冠点云数据采集、MMLS树冠点云融合和空间分辨率网格构建,有效提升了树冠叶面积估计精度。
文摘在图优化框架的基础上,设计多传感器融合方案和有效的优化方法,提出一套具有鲁棒性的定位与建图(Simultaneous Localization and Mapping,SLAM)方案,能够有效应对室内外复杂环境。进一步发展激光-视觉后端建图融合方法,构建具备全新地图表达形式的点云网格化地图。同时使用低成本传感器,设计实现基于多传感器融合的高性能低成本背包扫描系统,整体完成在未知环境中的自我定位和稠密建图,且在低性能CPU设备上将长时间运动带来的每100 m的轨迹误差平均降低至厘米级。提出的基于多传感器融合方案,在精度、算力消耗上能够匹配现有主流方案,对获取各种环境条件下的系统准确定位结果和丰富的空间信息具有重要意义。
