基于YOLOv7-mask和ORB-SLAM2的语义八叉树地图构建

针对传统视觉SLAM构建的地图不具有语义信息的问题,提出一种基于深度学习算法的八叉树地图构建方法。该方法采用YOLOv7-mask对图像进行实例分割,得到像素所属类别信息,生成语义灰度图,并结合ORB-SLAM2,将新关键帧投影生成语义点云地图,最终将语义点云地图转换成语义八叉树地图进行存储。通过搭建实验平台,构建了不同状况下实验室场景的语义八叉树地图,验证了所提方法的可行性。

面向室内动态场景的视觉同时定位与地图构建语义八叉树地图构建方法

针对传统视觉同时定位与地图构建(vSLAM)系统在动态场景中无法有效去除运动物体及缺少可用于更高层应用的语义地图等问题,提出了一种可有效去除动态物体并构建表征室内静态环境的语义八叉树地图的vSLAM系统方法。首先,使用FastSCNN作为语义分割网络提取图像的语义信息,同时,利用金字塔光流法对特征点进行跟踪匹配。然后,使用步进随机抽样一致算法(Multistage RANSAC)通过多次执行不同尺度的RANSAC流程对特征点进行步进采样,再利用对极几何约束并结合FastSCNN提取的语义信息进行视觉里程计动态特征点剔除。最后,通过体素滤波降低点云冗余后构建纯静态环境的语义八叉树地图。实验结果表明:所提方法在公用数据集TUM RGBD的8个RGBD高动态序列中测试的相机相对位移误差、相对旋转误差和全局轨迹误差相较于ORBSLAM2系统有94%以上的提升,全局轨迹误差仅为0.1 m;相较于同类DSSLAM系统,动点剔除总耗时有21%的缩减。建图性能方面,经体素滤波后构建的语义点云地图与语义八叉树地图分别占据9.6 MB、685 kB的存储空间,相较于17 MB的原始点云,语义八叉树地图仅占用其4%的存储空间并因含有语义可用于更高层次的智能交互任务。

基于实例分割的室内动态场景SLAM

针对动态物体在室内场景中影响定位与建图准确性的问题,提出一种基于实例分割的室内动态场景同步定位与地图构建(SLAM)系统。首先,利用Mask RCNN网络对输入的图像序列进行实例分割,结合多视几何方法提高动态对象分割效果;然后提取图像中的快速提取和描述(ORB)特征点,将动态物体内的特征点剔除,利用静态的特征点进行位姿估计;最后,利用背景修复和点云拼接技术实现室内场景实例级稠密点云地图和语义八叉树地图的构建。在公开动态场景数据集上进行多次测试的实验结果表明,相对于ORB-SLAM2系统,该系统相机位姿估计误差明显降低,对环境信息的理解能力得到提升,对后续移动机器人的导航工作具有重要的意义。