一种面向动态环境下视觉同时定位和建图的图像预处理方法

提出了一种用于动态环境下视觉同时定位和建图(SLAM)系统的图像预处理方法。该方法可以很容易地集成到现有视觉SLAM系统中,使其在高动态环境下能够稳定、准确和连续的工作。首先,提出了一种综合使用语义分割网络和光流估计网络的动态物体识别算法,鲁棒、准确地识别图像中潜在的动态物体。然后,为了检测与动态物体关联的阴影,提出了一种基于区域生长的阴影识别算法。最后,使用图像补全技术对剔除动态物体后的图像进行补全。将该图像预处理方法与双目ORB-SLAM2结合,并在KITTI数据集上进行了实验,实验表明所提出的图像预处理方法显著地提升了视觉SLAM系统的定位精度,并且图像预处理方法中的每一个模块都有着不可替代的作用。

动态场景下基于视觉同时定位与地图构建技术的多层次语义地图构建方法

为提高视觉同时定位与地图构建(SLAM)技术的环境适应性和语义信息理解能力,该文提出一种可以在动态场景下实现多层次语义地图构建的视觉SLAM方案。首先利用被迫移动物体与动态目标间的空间位置关系,并结合目标检测网络和光流约束判断真正的动态目标,从而剔除动态特征点;其次提出一种基于超体素的快速点云分割方案,将基于静态区域构建的3维地图进行优化,构建了物体级的点云语义地图;同时构建的语义地图可以提供更高精度的训练数据样本,进一步用来提升目标检测网络性能。在TUM和ICL-NUIM数据集上的实验结果表明,该方法在定位精度上远优于目前主流的动态场景下的视觉SLAM方案,证明了该方法在高动态场景中具有较好的稳定性和鲁棒性;在建图精度和质量上,经过将重建的不同种类地图与各个现有方法进行比较,验证了提出的多层次语义地图构建的方法在静态和高动态场景中的有效性与适用性。

弱纹理环境下融合点线特征的双目视觉同步定位与建图

针对室内弱纹理环境下基于点特征的视觉同步定位与建图(Simultaneous Localization and Mapping,SLAM)存在的轨迹漂移等问题,提出了一种融合点线特征的双目视觉SLAM系统,并对线特征的提取与匹配问题展开研究。为了提高线特征的质量,通过长度与梯度抑制、短线合并等方法,进一步改进LSD(Line Segment Detector)线特征提取方法。同时,通过将匹配问题转换为优化问题,并利用几何约束构建代价函数,提出了一种基于几何约束的快速线段三角化方法。实验结果表明,本文所提方法在多个数据集上的表现都优于基于描述子的传统方法,尤其在室内弱纹理场景下,其平均匹配精度达到91.67%,平均匹配时间仅需7.4 ms。基于此方法,双目视觉SLAM系统在弱纹理数据集上与已有算法ORBSLAM2,PL-SLAM的定位误差分别为1.24,7.49,3.67 m,定位精度优于现有算法。

融合点线特征的视觉惯性同时定位及建图

为了解决移动机器人在低纹理场景中的定位精度较低且容易跟踪丢失问题,本文设计了一种点线特征提取和匹配策略,并以此构建了视觉惯性同时定位和建图系统。提出线特征提取和匹配算法,通过改良线特征提取算法的隐藏参数,提高了线特征提取的精度。利用点线特征不同匹配筛选框架减少误匹配的数目,得出了可以应用于视觉惯性同时定位和建图系统的线特征提取匹配算法。在现有视觉惯性框架中引入提出的线特征约束,搭建了能在未知低纹理环境下鲁棒运行的视觉惯性同时定位及建图系统。研究表明:在真实环境中的移动机器人定位实验证明了该系统的精度和鲁棒性优于现有的视觉惯性框架,其室内定位精度提高了24.2%,走廊定位精度提高了8%,对于移动机器人在低纹理场景下的高精度定位具有较高价值。

动态场景感知下的移动机器人视觉定位与建图

移动机器人可替代或辅助人类的生产和生活,并深入复杂或危险的环境,需随时感知周围场景。传统的ORB-SLAM2方法在动态场景中定位不准确,由此提出一种动态场景感知下的移动机器人视觉定位与建图方法。SLAM方法通过光学传感器采集环境信息完成建图,以ORB-SLAM2作为基本框架,在其跟踪线程中添加一个动态目标检测模块,该模块采用YOLOv4网络检测目标,使用的CSPDarknet53结构在减轻骨干网络权重的同时保持检测准确性;采用改进四叉树算法提取特征,并采用改进型形状上下文的图像匹配方法完成特征匹配。在TUM RGB-D数据集上进行实验,所提算法在walking_xyz场景序列的RMSE相对ORB-SLAM2算法增加97.6%,walking_rpy场景序列的RTE和RRE分别改进97.1%和96%。比较所提算法与ORB-SLAM2算法在高、低动态场景中的客观指标和估计轨迹误差,所提算法的RMSE、均值、中间值以及性能提升的改进百分比较优,所估计出的轨迹能够更好地拟合真实情况。

复杂环境下的视觉同时定位与建图

针对实际的复杂场景下同时定位与建图存在精度不高和动态环境下系统容易追踪丢失的问题,提出一种基于聚类的视觉同时定位与建图算法。首先,在ORB-SLAM3算法中融合语义分割网络,并对参考帧图像进行聚类划分运动区域和物体类别,改进ORB特征提取,提高特征点的鲁棒性。其次,在运动一致性基础上提出机器人感知自身处于动态还是静态的环境检测约束条件,然后在匹配阶段融合K均值聚类算法剔除由物体运动和系统匹配过程产生的误匹配对,以此提高系统的精度和稳健性。最后利用运动矢量虚拟匹配重构静态地图点获取更多的匹配对,降低系统追踪丢失率。在TUM数据集上实验结果表明,改进后系统特征点提取成功率平均提高了20%;误匹配过滤时间稳定在1~2 ms之间,在动态环境下相对于原方法匹配效率提高十倍,特征点匹配数目增多;算法整体精度在静态环境下提升10%,动态环境下提高90%并且追踪完整性表现优越。实验结果表明复杂场景下所提算法具有优越的精度和稳健性。

视觉同时定位与地图创建综述

同时定位与地图创建(simultaneous localization and mapping,SLAM)自1986年提出以来一直是机器人领域的热点问题,被认为是实现真正全自主移动机器人的关键。其目的是让机器人在未知环境下实现自身定位同时创建出环境地图。视觉SLAM(visual simultaneous localization and mapping,VSLAM)是仅用相机作为传感器的定位与制图。随着计算机视觉和机器人技术的发展,VSLAM已成为无人系统领域的研究焦点。本文对VSLAM的最新研究现状进行总结,阐述了VSLAM中的主要问题,分别介绍了VSLAM基于滤波和图优化的实现方法,并探讨了VSLAM的研究与发展方向。

基于视觉的移动机器人同时定位与建图研究进展

同时定位与建图(SLAM)是实现移动机器人真正自治的必要前提,视觉传感器由于能够提供丰富的环境信息而在SLAM研究中受到重视,本文从视觉传感器配置方式、视觉特征提取方法、视觉SLAM实现机制、地图表示类型以及环境对视觉SLAM的影响五个方面综述基于视觉传感器的同时定位与建图研究的发展现状,对已有的典型视觉SLAM方法进行分析和比较,并展望了未来的发展趋势.

同步定位与建图技术研究进展

同步定位与建图(SLAM)技术是自主移动机器人的主要技术支撑,成为当今的研究热点。介绍了SLAM技术的发展历程及主要传感器,梳理了基于视觉、激光雷达以及多传感器融合的SLAM技术,并对常见的SLAM算法进行归纳总结,对比分析各实现方案的优缺点。最后探讨了SLAM的技术难题和发展趋势。

基于GPS和视觉同步定位与建图的无人驾驶车辆定位方法研究

为提高无人驾驶车辆的定位精度,提出一种基于GPS与视觉同步定位与建图(VSLAM)相融合的定位算法,在VINS-Mono基础上进行改进,提出了VINS-FAST算法进行角点提取,并将VINS-FAST与GPS技术相结合,提出了GPS与VSLAM相融合的VINS-GPS算法。试验结果表明:VINS-GPS在KITTI数据集07和09子集上的均方根误差较VINS-Mono分别降低了18.16%和33.08%,改善了VSLAM在大范围环境中表现较差的问题,同时提高了在GPS信号薄弱或无GPS信号环境中的定位精度。

惯导卫星组合导航辅助的视觉导盲仪定位建图

视觉即时定位与建图(VSLAM)算法能够为穿戴式视觉导盲仪提供必要的位姿信息和环境信息。针对穿戴式视觉导盲仪对定位与建图精度的要求,提出了一种利用IMU/GPS组合导航辅助VSLAM的算法。在双目ORB-SLAM的跟踪线程中,将匀速运动模型改进为基于IMU/GPS组合导航位姿数据的运动模型,并且构造了综合视觉与组合导航数据的非线性优化,以提高跟踪线程的稳定性、提升定位精度。同时,局部建图线程的地图优化中也融合了组合导航数据,提高局部地图的精度,便于导盲仪检测环境信息,最终得到在大范围场景下稳定运行的定位与建图算法。在实际场景中的试验结果表明,该融合算法抑制了VSLAM的累积误差,同时VSLAM能够有效抑制GPS受环境影响产生的定位偏移误差,最终的定位精度达到0. 47 m。该算法提高了VSLAM建图效果,基本满足了视觉导盲仪对定位精度和环境信息的应用需求。

融合视觉信息的激光定位与建图

针对大型和几何特征不够明显的环境,提出了激光与单目视觉融合的方法,进行同步定位与地图构建。结合视觉传感器获取信息丰富的特点,设计了激光与单目视觉融合的SLAM系统,设计了视觉回环检测环节,其中包括图像特征提取算法的选取、视觉关键帧的提取、视觉单词字典的构建和回环帧相似度的计算。进行了构建地图的实验,并与传统激光SLAM进行了对比。实验证明,该方法能够及时发现回环帧,有效抑制了误差的累积,起到较好的建图效果。

基于深度学习的实时同步定位与建图算法研究

传统的视觉同步定位与建图(simultaneous localization and mapping,SLAM)算法大多数建立在假设场景是静态的基础之上,这种假设限制了视觉SLAM在现实场景的应用。针对传统SLAM算法在动态环境下定位精度低、鲁棒性差的问题,提出了一种实时动态视觉SLAM算法。首先所提出的算法以ORBSLAM3为基础,新增了一个语义线程,该线程与其他线程并行运行,可以避免语义线程运行较慢而影响跟踪线程的运行。然后使用移动概率更新和传播语义信息,将其保存在地图中,并且使用数据关联算法从跟踪中去除动态点。最后使用公共TUM数据集来评估,证明了所提出的算法在动态环境下的鲁棒性和实时性优于现有的算法。

基于单目视觉的同时定位与建图算法研究综述

与传统基于激光传感器的同时定位与建图(SLAM)方法相比,基于图像视觉传感器SLAM方法能廉价地获得更多环境信息,帮助移动机器人提高智能性。不同于用带深度信息的3D传感器研究SLAM问题,单目视觉SLAM算法用二维图像序列在线构建三维环境地图并实现实时定位。针对多种单目视觉SLAM算法进行对比研究,分析了近10年来流行的单目视觉定位算法的主要思路及其分类,指出基于优化方法正取代滤波器方法成为主流方法。从初始化、位姿估计、地图创建、闭环检测等功能组件的角度分别总结了目前流行的各种单目视觉SLAM或Odometry系统的工作原理和关键技术,阐述它们的工作过程和性能特点;总结了近年最新单目视觉定位算法的设计思路,最后概括指出本领域的研究热点与发展趋势。

顾及图像增强的煤矿井下视觉同时定位与建图算法

基于特征点法的视觉同时定位与建图(SLAM)算法在煤矿井下有一定应用,但受光照不均、光照多变、明暗区域交错等因素影响,图像质量较差、纹理信息匮乏,导致视觉SLAM前端特征提取与匹配精度较低,易出现跟踪丢失问题,影响视觉SLAM算法的定位精度与建图效果。提出一种顾及图像增强的煤矿井下视觉SLAM算法,通过图像增强处理提升视觉SLAM的整体性能。采用基于改进双边滤波的Retinex算法对煤矿井下图像进行增强处理:将原始RGB图像转换至HSI色彩空间,以改进的双边滤波代替传统Retinex算法的高斯滤波作为中心环绕函数,对图像反射分量进行估计后转换至RGB色彩空间,得到最终增强图像。将基于改进双边滤波的Retinex算法引入经典ORB-SLAM2算法框架进行位姿估计和建图。基于矿井轮式机器人数据采集平台在煤矿井下巷道环境中对顾及图像增强的视觉SLAM算法进行试验,结果表明:与传统Retinex算法相比,经基于改进双边滤波的Retinex算法增强后的煤矿井下图像未出现明显的泛白及光晕现象,图像质量得到提升;与ORB-SLAM2算法相比,顾及图像增强的视觉SLAM算法提高了特征匹配质量和数量,估计轨迹与真实轨迹的重合度更高,绝对轨迹误差平均值下降了76.2%,且建立的井下巷道三维稠密点云地图更加真实和准确。

动态环境下视觉定位与建图的运动分割研究进展

动态环境中视觉定位与建图系统受环境中动态物体的影响,定位与建图误差增加同时鲁棒性下降。而对输入图像的运动分割可显著提高动态环境下视觉定位与建图系统的性能。动态环境中的动态物体可分为运动物体与潜在运动物体。当前动态物体识别方法存在运动主体混乱、实时性差的问题。因此,综述了视觉定位与建图系统在动态环境下的运动分割策略。首先,从场景的预设条件出发,将运动分割策略分为基于图像主体静止假设方法、基于先验语义知识的方法和不引入假设的多传感融合方法;然后,对这三类方法进行总结,并分析各方法的准确性和实时性;最后,针对视觉定位与建图系统在动态环境下运动分割策略的准确性、实时性难以平衡的问题,讨论并展望了动态环境下运动分割方法的发展趋势。

一种融合视觉与IMU的车载激光雷达建图与定位方法

针对激光雷达非匀速运动畸变问题,提出一种融合视觉惯性里程计和激光雷达里程计,进行三维地图构建与定位(simultaneous localization and mapping,SLAM)方法.经预处理和时间戳对齐后的数据,应用视觉估计和惯性测量单元(inertial measurement unit,IMU)预积分对视觉进行初始化,通过约束的滑窗优化和视觉里程计的高频位姿,将传统雷达匀速运动模型改进为多阶段匀加速模型,从而降低点云畸变.同时,利用列文伯格-马夸尔特(Levenberg-Marquardt,LM)方法优化激光里程计,提出一种融合词袋模型的回环检测方法,最终实现三维地图构建.基于实车试验数据,通过与LEGO-LOAM(lightweight and ground-optimized lidar odometry and mapping on variable terrain)方法的结果对比,本文方法在平均误差和误差中位数上分别提升了16%和23%.

一种鲁棒的多目视觉惯性即时定位与建图方法

针对深空环境下机器人精确自定位的大视野和防抖性要求,提出了一种基于多图像匹配和惯性约束的即时定位与建图(SLAM)方法。基于对多目情况下SLAM系统的像素投影与位姿跟踪过程的分析,引入紧耦合视觉惯性约束,以降低轨迹估计的累计漂移误差,增强系统的鲁棒性,使其在快速运动时定位不易丢失;针对鲁棒初始化的需求,提出了一种稳定的自动静止初始化方法。搭建了多目相机视觉惯性定位的仿真试验平台,在V-REP中搭建仿真试验场景,仿真结果验证了本方法的定位准确性和鲁棒性。

基于深度学习的视觉同时定位与建图研究进展

随着机器视觉的不断发展,视觉传感器其小巧轻便、价格低廉等优势,使得视觉同时定位与建图(VSLAM)越来越受人们关注,深度学习为处理VSLAM问题提供了新的方法与思路。本文综述了近年来基于深度学习的VSLAM方法。首先回顾了VSLAM的发展历程,系统阐释了VSLAM的基本原理与组成结构。然后从视觉里程计(VO)、回环检测与建图3个方面分析各类基于深度学习的方法,从特征提取与特征匹配、深度估计与位姿估计及关键帧选择等3个部分阐述了深度学习在VO中的应用;基于场景表达方式的不同,总结了几何建图、语义建图及广义建图中的深度学习方法。接着介绍了目前VSLAM常用的各种数据集以及性能评估指标。最后指出了目前VSLAM面临的难题与挑战,展望未来深度学习与VSLAM结合的研究趋势与发展方向。

一种激光雷达与视觉融合的同步定位及建图算法

室内移动机器人自主导航依赖于同步定位及建图技术,激光雷达与相机作为主流传感器正在不断深入应用到机器人定位与建图,但是单一传感器存在的缺陷不可避免,视觉传感器采集环境特征信息丰富,但视野范围较窄,而且对环境变化较为敏感;三维激光雷达检测精度较高,但价格昂贵,不适合生产生活应用。基于上述问题,提出了一种视觉与激光相融合的SLAM算法框架。首先利用惯性测量单元IMU对RPLidar采集到的雷达数据进行畸变校正处理,同时将Astra Pro深度相机获取的三维数据映射到二维坐标系,通过扩展卡尔曼方法将激光数据与深度数据相融合,最终在实际环境下进行建图比较,获得了更加完整的地图,从而验证了该文算法的可靠性和有效性。