融入语义信息的VSLAM研究综述

随着实际应用需求的不断提高,传统视觉同步定位与地图构建(visual simultaneous localization and mapping,VSLAM)难以建立符合要求的环境地图。语义VSLAM在传统VSLAM基础框架上引入深度学习获取环境图像的语义信息,并且构建环境的3D点云语义地图,能为更高层次的交互任务提供有效支持。通过分析传统的VSLAM框架中视觉里程计、回环与优化以及建图上的不足,阐述了近年来使用语义信息改善VSLAM系统性能及为环境交互任务提供助力的方法。最后,结合研究现状结论及课题组正在开展的工作对语义VSLAM未来研究方向及应用进行展望。

基于多模态感知与融合的无人车韧性导航系统

针对野外复杂环境下的无人车自主导航需要,建立了一种基于多源融合定位、语义建图与运动规划的智能导航系统。首先,针对IMU、轮式里程计、视觉SLAM与激光雷达SLAM等测量子系统,设计了误差状态扩展卡尔曼滤波器进行融合定位。其次,基于改进的CNN语义分割网络生成环境的语义图像,与3D激光雷达点云融合,并使用最大概率更新算法构建语义3D地图。接着,在语义和几何信息投影获得可通行性代价的基础上,提出了一种语义动态窗口的局部路径规划方法。最后,将以上感知、定位与规划方法整合成完整的智能导航系统,在城市与野外典型场景的测试中,相对定位误差小于0.4%D,具备一定的韧性导航定位和智能感知规划能力。