室内场景下实时地三维语义地图构建

移动机器人自主建图是完成智能行为的前提。为提高机器人智能水平和直观的用户交互,地图需要扩展超出几何和外观信息的语义信息。研究了将基于深度残差网络(DRN)的像素级图像语义分割和三维同时定位与建图(SLAM)相融合的三维语义地图构建方法。首先,采用一种联合中值滤波算法进行深度图像的修复,使用改进的迭代最近点(ICP)算法得到相机估计位姿以及基于随机蕨类的闭环检测构建出三维环境地图;其次,采用优化的深度残差网络对输入的图像实现较精准的像素语义级别的预测与分割;最后,采用贝叶斯更新方法,渐进式的将图像分割获取的语义分类标签迁移到重建的室内三维模型中,获得完整的三维语义地图。实验表明,所设计的方法可以在实际的、复杂环境下实时地构建语义地图。

一种基于RGB-D相机的语义地图构建方法

在三维地图中添加环境语义信息,可以有助于移动机器人更快更精确地进行初始及移动状态时的定位定向。论文提出一种基于RGB-D相机的三维语义地图构建方法,首先,使用语义分割深度学习模型提取RGB图像中的语义信息,通过相邻的多帧图像数据关联去除误识别数据。然后与深度图像进行数据关联生成带有语义标签的点云数据,最后通过增量融合的方法构建周围环境的三维语义地图。基于ScanNet(v2)数据集的对比实验,论文方法可以有效地提高数据关联准确率,为基于3D地图导航提供具有丰富语义信息的导引地图。

基于深度学习的语义SLAM关键帧图像处理

同时定位和地图构建(SLAM)凭借其高能效和低功耗等特点在诸多领域应用前景广阔。然而,在传统的SLAM系统中仍存在一些问题:传统的视觉里程计中关键帧并不包含语义信息,移动机器人获取的图像信息较为单一,且在实际场景中关键帧总包含大量误匹配点和动态点。针对以上问题,本文提出一种语义SLAM思路。首先,为了能够匹配到正确且对应的特征点,摒弃动态点和误匹配点的干扰,提出了一种基于Lucas-Kanade光流法的相邻帧特征状态判别法,将这项功能作为新的线程加入ORB-SLAM3的视觉里程计部分,完成对部分传统SLAM框架的优化和改进工作。其次,针对传统SLAM系统前端视觉里程计获取的图像帧不包含任何语义信息的问题,使用基于YOLOV4的目标检测算法和融合全连接条件随机场CRF的Mask R-CNN语义分割算法对ORB-SLAM3中的关键帧图像进行处理,有效提高了机器人等智能设备对室内环境的感知能力。

结合语义信息与3D点云技术的未知环境地图构建方法

目的机器人在进行同时定位与地图构建(simultaneous localization and mapping,SLAM)时需要有效利用未知复杂环境的场景信息,针对现有SLAM算法对场景细节理解不够及建图细节信息缺失的问题,本文构造出一种将SLAM点云定位技术与语义分割网络相结合的未知环境地图构建方法,实现高精度三维地图重建。方法首先,利用场景的实时彩色信息进行相机的位姿估计,并构造融合空间多尺度稀疏及稠密特征的深度学习网络HieSemNet(hierarchical semantic network),对未知场景信息进行语义分割,得到场景的实时二维语义信息;其次,利用深度信息和相机位姿进行空间点云估计,并将二维语义分割信息与三维点云信息融合,使语义分割的结果对应到点云的相应空间位置,构建出具有语义信息的高精度点云地图,实现三维地图重建。结果为验证本文方法的有效性,分别针对所构造的HieSemNet网络和语义SLAM系统进行验证实验。实验结果表明,本文的网络在平均像素准确度和平均交并比上均取得了较好的精度,MPA(mean pixel accuracy)指标相较于其他网络分别提高了17.47%、11.67%、4.86%、2.90%和0.44%,MIoU(mean intersection over union)指标分别提高了13.94%、1.10%、6.28%、2.28%和0.62%。本文的SLAM算法可以获得更多的建图信息,构建的地图精度和准确度都更好。结论本文方法充分考虑了不同尺寸物体的分割效果,提出的HieSemNet网络能有效提高场景语义分割准确性,此外,与现有的前沿语义SLAM系统相比,本文方法能够明显提高建图的精度和准确度,获得更高质量的地图。

基于视觉SLAM的物体实例识别与语义地图构建

针对目前面向语义同步定位与地图构建(SLAM)研究大多需要已知三维对象模型作为先验知识,或者只对有限的几种物体的类别进行语义分割,而没有区分对象的个体的问题,结合目前先进的基于深度学习的实例分割算法和视觉SLAM算法提出了一种面向实例个体的物体识别和语义地图构建方法,使得机器人不仅获得了面向导航的环境几何信息,而且掌握了面向物体个体的属性和位置信息.该方法利用由视觉SLAM算法获得的图像帧间几何一致性约束来促进连续图像帧中物体匹配与识别结果,提高物体实例识别的精度,同时结合实例识别结果完成语义建图的任务.最后实现了基于视觉SLAM算法的物体实例识别与语义地图构建系统,并在ICL-NUIM数据集上进行实验,实验结果表明该系统能够基本完整地识别场景中的各种物体并生成环境的语义地图,验证了本方法的有效性.