动态环境下的语义地图构建

三维语义地图在移动机器人的导航、路径规划、智能抓取、人机交互等任务中有着关键的作用,因此如何实时地构建三维语义地图尤为重要。当前同时定位和地图构建(Simultaneous Localization And Mapping,SLAM)算法已经可以达到较高的定位和制图精度,但是在动态环境下如何通过剔除动态物体来获得较高的定位精度,以及理解周围场景中存在的物体及其位置信息等问题没有得到很好的解决。在此,文中提出了一种可在动态环境下构建语义地图的算法。该算法在ORB-SLAM2上进行改进,在跟踪线程中加入动静点检测算法来剔除检测为动点的特征点,提高了动态环境下的定位精度;添加目标检测线程对关键图像进行目标检测,在地图构建线程中构建Octo-Map地图,同时根据检测结果构建3D目标数据库。为了证明该算法的可行性,以实验室为测试环境,分别进行了目标检测、动态点检测、三维目标信息获取和动态环境下语义地图构建的实验。在目标检测实验中,训练了速度和精度较高的目标检测网络——mobilenet-v2-ssdlite,检测速度可以达到7帧/秒,基本可以实现实时检测。在动态点检测中,采用光流法剔除动态点,处理速度为16.5帧/秒。文中创建了数据集来评测算法性能,相比原版ORB-SLAM2算法,结合光流法后的算法的定位精度提高了5倍;在三维目标信息获取上,采用了基于深度滤波和基于点云分割两种方法,结果表明后者的3D目标获取更为精确。最后,对整个实验室进行动态环境下的语义地图构建,构建Octo-Map稠密地图,根据检测结果构建3D目标数据库,并将目标尺寸和位置的检测值与真实值进行对比,误差均在5厘米以内。实验结果表明所提算法具有较高的精度和实时性。

集成RGB-D语义分割网络的室内语义地图构建

针对传统视觉SLAM准确度低、实时性差、缺乏语义的问题,提出一种全新的RGB-D语义分割网络,利用室内场景中受光照等条件影响较小的深度信息来提高分割的准确性,并且设计了轻量级多尺度残差模块(MRAM)和空间金字塔池化模块(ASPP)来轻量化分割网络、提高分割的精度。首先输入的图像序列进入ORB-SLAM2网络进行关键帧筛选,之后关键帧送入语义分割网络得到二维语义标签,再将二维语义信息映射到三维点云空间,最后使用贝叶斯算法更新三维地图得到全局一致的三维点云语义地图。实验采用NYUv2数据集验证语义分割网络性能,采用TUM数据集构建点云语义地图,结果表明,提出的语义分割网络性能和速度优于现有的模型,且此语义分割网络与视觉SLAM相结合可以满足高精度、实时的稠密三维语义点云地图构建要求。

基于视觉SLAM的物体实例识别与语义地图构建

针对目前面向语义同步定位与地图构建(SLAM)研究大多需要已知三维对象模型作为先验知识,或者只对有限的几种物体的类别进行语义分割,而没有区分对象的个体的问题,结合目前先进的基于深度学习的实例分割算法和视觉SLAM算法提出了一种面向实例个体的物体识别和语义地图构建方法,使得机器人不仅获得了面向导航的环境几何信息,而且掌握了面向物体个体的属性和位置信息.该方法利用由视觉SLAM算法获得的图像帧间几何一致性约束来促进连续图像帧中物体匹配与识别结果,提高物体实例识别的精度,同时结合实例识别结果完成语义建图的任务.最后实现了基于视觉SLAM算法的物体实例识别与语义地图构建系统,并在ICL-NUIM数据集上进行实验,实验结果表明该系统能够基本完整地识别场景中的各种物体并生成环境的语义地图,验证了本方法的有效性.

基于环境语义信息的同步定位与地图构建方法综述

同步定位与地图构建技术(SLAM)是当前机器人领域的重要研究热点,传统的SLAM技术虽然在实时性方面已经达到较高的水平,但在定位精度和鲁棒性等方面还存在较大缺陷,所构建的环境地图虽然一定程度上满足了机器人的定位需要,但不足以支撑机器人自主完成导航、避障等任务,交互性能不足.随着深度学习技术的发展,利用深度学习方法提取环境语义信息,并与SLAM技术结合,越来越受到学者的关注.本文综述了环境语义信息应用到同步定位与地图构建领域的最新研究进展,重点介绍和总结了语义信息与传统视觉SLAM在系统定位和地图构建方面结合的突出研究成果,并对传统视觉SLAM算法与语义SLAM算法做了深入的对比研究.最后,展望了语义SLAM研究的发展方向.

基于卷积神经网络的语义同时定位以及地图构建方法

环境感知技术是智能车功能实现的前提,而在感知的基础上提高智能车对环境的认知能力是实现全自动驾驶的关键。针对室外交通场景,基于卷积神经网络提出了一种新的智能车同时定位以及语义地图构建方法。对智能车进行定位,并且构建稠密的3D语义地图,提高智能车的环境感知、认知能力。首先,基于双目ORB-SLAM提出了一种四线程的双目SLAM(simultaneous localization and mapping)方法构建稠密的3D点云地图,四线程分别为追踪线程,局部地图构建线程,回环检测线程以及稠密地图构建线程。其次,为提高智能车的环境认知能力,使用端对端的方法对图像进行语义分割,并且为提高语义分割精确率,将环境的几何信息也作为卷积神经网络输入。最后,将感知的能力与认知的能力相结合构建语义地图,为智能车实现全自动驾驶奠定基础。将算法在KITTI数据集上进行测试,整体算法速度为10帧/s,语义分割的全局精确率为73.1%,构建的语义地图显示本文提出算法能够在大规模室外场景下重构全局一致性地图,并且帮助智能车实现对环境的解析。

一种实时的三维语义地图生成方法

为了提高模块化机械臂分拣作业效率,研究了一种实时三维语义地图生成方法。该方法设计了一种改进的区域增长分割算法提高了分割效率和准确性,通过基于距离阈值的特征匹配方法得到候选模型,采用随机采样一致性(RANSAC)和迭代最近点算法(ICP)生成转变假设并对候选模型进行验证,获取物体位姿信息,保存于XML地图文件中,将其与机械臂末端位姿进行推理分析,得到抓取任务轨迹。实验结果表明,该方法满足作业实时性与准确性的要求。

基于语义分割的室内动态场景同步定位与语义建图

针对动态物体在室内同步定位与地图构建(SLAM)系统中影响位姿估计的问题,提出一种动态场景下基于语义分割的SLAM系统。在相机捕获图像后,首先用PSPNet(PyramidSceneParsingNetwork)对图像进行语义分割;之后提取图像特征点,剔除分布在动态物体内的特征点,并用静态的特征点进行相机位姿估计;最后完成语义点云图和语义八叉树地图的构建。在公开数据集上的五个动态序列进行多次对比测试的结果表明,相对于使用SegNet网络的SLAM系统,所提系统的绝对轨迹误差的标准偏差有6.9%~89.8%的下降,平移和旋转漂移的标准偏差在高动态场景中的最佳效果也能分别提升73.61%和72.90%。结果表明,改进的系统能够显著减小动态场景下位姿估计的误差,准确地在动态场景中进行相机位姿估计。