图像语义信息在视觉SLAM中的应用研究进展

视觉同步定位与建图(visual simultaneous localization and mapping,VSLAM)技术以相机为主要传感器采集图像数据,基于多视几何、状态估计等算法原理获取载体的位置和姿态,同时构建一张用于导航定位的地图。视觉SLAM是自动驾驶、AR(augmented reality)、VR(virtual reality)、MR(mix reality)、智能机器人、无人机飞控中的关键技术。近年来,随着各个产业对智能导航定位的需求日渐增多,原本以几何测量为主的视觉SLAM逐渐融入对环境的语义理解。语义信息是指能够被人类直观感受和理解的概念,而图像语义信息是指图像中物体的轮廓、类别、显著性等信息。相比于图像中的几何特征,语义信息更具时空一致性,且更贴近人类感知的结果。将图像语义信息引入视觉SLAM,既能促进系统各个模块的性能,还能够提升视觉SLAM的智能感知能力,形成集几何测量、定位定姿、环境理解等多种功能的视觉语义SLAM。本文根据图像语义信息的应用方式,对视觉语义SLAM经典方案和最新研究进展进行归纳梳理。在此基础上,本文总结了视觉语义SLAM的现存问题与挑战,指出该领域未来的研究方向,以推动其面向智能导航定位进一步发展。

基于异构数据融合的SLAM研究综述

激光与视觉SLAM技术经过几十年的发展,目前都已经较为成熟,并被广泛应用于军事和民用领域.单一传感器的SLAM技术都存在局限性,如激光SLAM不适用于周围存在大量动态物体的场景,而视觉SLAM在低纹理环境中鲁棒性差,但两者融合使用具有巨大的取长补短的潜力,激光与视觉甚至是更多传感器融合的SLAM技术将会是未来的主流方向.本文回顾了SLAM技术的发展历程,分析了激光雷达与视觉的硬件信息,给出了一些经典的开源算法与数据集.根据融合传感器所使用的算法,从传统基于不确定度、基于特征以及基于深度学习的角度详细介绍了多传感器融合方案,概述了多传感器融合方案在复杂场景中的优异性能,并对未来发展作出了展望.

面向实际场景SLAM应用的光照适应性研究

为探究环境感知设备在SLAM算法应用过程中的光照适应性问题,在不同光照强度下分别进行激光雷达和深度相机SLAM算法的验证性评估实验.基于四轮差速机器人,搭载16线激光雷达和深度相机,结合LOAM(Lidar Odometry And Mapping)和RTAB-MAP(Real-Time Appearance-Based Mapping)算法,分别在明暗环境中分析验证设备光照适应性.实验结果表明:在明亮环境下,基于视觉SLAM和激光SLAM系统偏差的中误差分别为0.203和0.644 m;在黑暗环境中两者偏差的中误差分别为0.282和0.683 m;深度相机在明、暗环境中的定位建图效果均优于激光雷达,深度相机的光照适应性更强.

动态场景下基于3D多目标追踪的实时视觉SLAM方法研究

近年来一些解决动态场景下的SLAM技术被提出,其中SLAM与MOT结合的技术路线不仅可解决动态场景问题,还可以提高系统对周围场景的理解,获得了更大关注。本文介绍了一种高效的实时在线视觉SLAMMOT融合系统,以双目视觉或RGBD作为输入,只须借助2D目标检测网络,便能高效、准确、鲁棒地跟踪相机以及动态目标的位姿,并生成稀疏点云地图。为提高多动态目标追踪的精度与准确度,引入了级联匹配与IOU匹配结合的策略;利用阿克曼转向模型来简化追踪目标的运动,减少求解动态目标位姿所需匹配点的数量;利用因子图将相机与动态目标的追踪结果进行联合优化,同时提高相机、追踪目标的位姿和地图点的精度。最后在KITTI跟踪数据集上与其他方法进行比较。结果表明,在满足实时性要求的前提下,该方法仍能准确地追踪相机以及动态目标位姿。

基于因子图优化的激光惯性SLAM方法研究

融合激光雷达和惯性测量单元的SLAM方法是拒止环境下自动驾驶定位建图的重要技术手段。该技术包含前端和后端2个数据处理模块,在后端数据处理方面,现有方法存在长时间运行时累积误差较高、回环检测计算负载较大以及复杂拒止环境下鲁棒性不理想等问题。针对上述需求,提出一种适配前端激光惯性里程计的新型后端数据处理方法。该方法采用因子图优化算法架构,建立激光连续关键帧间的惯性单元预积分模型,将该模型作为因子图架构中表征惯性单元数据的算法因子,降低数据处理的计算负载。构建基于Scan-Context描述符的高效回环检测方法,将点云数据三维空间结构特征转化为二维特征图,在保证回环检测精度的前提下进一步提高计算效率。结合前端里程计信息,构建包含里程计因子、惯性单元预积分因子和回环检测因子误差项的目标函数,通过非线性优化算法求解最优位姿状态,形成完整的SLAM算法结构。对所述方法及FAST-LIO2、LIO-SAM和SC-LeGO-LOAM等现有主流激光惯性SLAM方法基于开源数据集进行对比验证,并开展实车试验。结果表明:相较于现有方法,所述DSC-Algo方法在公开数据集测试中的计算性能和全局定位精度实现了显著提升,在现实拒止环境实车测试中的定位精度和算法鲁棒性也具有明显优势。

基于激光SLAM辅助的陆用惯导行进间粗对准方法

目前常见的陆用惯导系统的行进间对准方法往往存在一些各自的问题,如GPS辅助时容易受到信号遮蔽影响;而里程计辅助时往往会受到机动路线约束的限制。针对这些问题,提出了一种激光SLAM系统信息辅助的陆用惯性导航系统(SINS)行进间粗对准算法,推导了基于激光SLAM系统视在速度观测矢量的姿态矩阵更新算法,利用基于REQUEST的双矢量定姿方法,实现初始常值姿态矩阵C_(b)^(n)(0)的求取,完成行进间的姿态粗对准和定位导航。在实验室无人车实验中,所提方法的对准姿态误差比里程计辅助的方法减小了约56%;同时与合作单位的综合实验验证结果表明,在进行250 s的行进间粗对准时,最终时刻的航向角误差为-0.0088°,实现5 min内达到1 mil的粗对准精度,所提算法可以有效实现激光SLAM信息辅助下的陆用惯导的行进间粗对准,并具有较快的收敛速度。

基于图优化的GNSS/双目视觉/惯性SLAM系统开发及应用

为提高机器人室外长航时定位精度,提出一种基于图优化的全球导航卫星系统(GNSS)/双目视觉/惯性同时定位与建图(SLAM)系统开发及应用。将空间中的线特征作为几何约束的补充,集成至前端的特征提取及后端的位姿优化线程,提升位姿解算精度。同时,以因子图构建联合优化的图结构,并推导出全局观测误差模型。近200 m的BullDog-CX机器人巡检结果表明,所提算法相比于VINSFusion和PL-VINS分别取得约12.6%及3.4%的定位精度提升,为室外机器人长航时导航提供了一种可行方案。

基于SLAM技术的矿区巷道巡检机器人路径规划优化

针对矿区巷道环境复杂、道路狭窄等特点,提出了一种基于SLAM(SimultaneousLocalizationandMapping)技术的矿区巷道巡检机器人路径规划优化方法,实现机器人的自主定位和地图构建。采用激光雷达、RGB-D相机等多种传感器相融合,获取矿区三维点云数据,并使用SLAM算法实时构建矿区三维地图。同时,通过配准当前获取的点云数据与已构建的地图,实现机器人在矿区内的自主定位。针对矿山中存在的狭窄、弯曲、分支等复杂环境,提出了一种增量式A~*优化算法用于路径规划。该算法在传统A~*算法的基础上,引入了路径平滑、走廊宽度约束等优化策略,能生成满足矿区复杂环境约束的平滑可行路径。算法采用增量式方式更新,只需对改变的局部区域重新进行路径搜索,大大减少了整体路径规划的计算耗时。通过试验验证该算法性能,结果表明:与传统路线规划方法相比,该算法能够快速、精准地完成巡检任务,为矿区巷道巡检机器人推广应用提供了参考。

基于特征点改进的视觉SLAM定位研究

为改善视觉SLAM系统在低纹理环境下定位精度较低的现象,提出一种改进的ORB特征点提取策略和一种关键帧选择机制;首先采用多尺度分析和基于局部灰度的特征检测方法克服一般ORB算法缺乏尺度和旋转描述的缺点;其次提出一种基于高斯模糊的图像信息增强方法解决传统ORB特征点提取方法在纹理信息不被突出环境下容易失效的问题,并对图像进行象限分割使特征点均匀分布;最后为剔除劣质关键帧,设计了一种综合时间因素与特征点数量因素的关键帧选择机制;将提出的方法移植到ORB_SLAM2上,并在TUM数据集上测试,实验结果表明,视觉SLAM系统的定位误差平均降低14.688%,证实了该方法的有效性。

手持SLAM设备在土方测量中的应用研究

随着测绘技术的不断革新,传统的数据采集方法也在使用过程中出现了相关的弊端,无法满足现有项目的时间要求与精度要求,三维激光扫描技术的出现极大地提升了数据质量和数据采集速度,为现有项目的开展提供了数据支持。基于手持SLAM技术在土方测量中的应用与优势展开研究,通过对手持SLAM技术原理、算法和关键技术进行分析,并结合工程实例利用手持SLAM和三维激光扫描仪对土方精度进行验证。实验证明,手持SLAM技术能够在土方测量中实现高精度、高效率的数据采集和建模,为土方方量计算奠定了数据基础。

基于改进ORB-SLAM2算法的动态特征点剔除

随着SLAM系统的不断发展,人们对定位服务的要求越来越高,提高定位精度是一直以来不断研究的课题。为了能以更高定位精度的方式来获取图像中的语义信息,本文首先通过对比One stage算法中的网络模型选用了YOLOV5网络模型对目标物体进行检测和识别,提出一种基于动态区域内剔除动态特征点的SLAM算法,利用训练的网络提取图像中语义信息并对动态目标特征点进行剔除,在公开TUM数据集上进行验证,通过对比真实轨迹和本文算法的估计轨迹来进行误差分析。试验结果表明,本文提出的改进算法相对位移误差的均方根误差减小了97.83%,相对旋转误差的均平方根误差减小了96.80%。

多目鱼眼视觉SLAM特征点误匹配的剔除优化

为了解决由于鱼眼图像显著失真和明显的视角差异而导致的定位精度下降的问题,提出了一种去除多目鱼眼视觉SLAM系统中误匹配特征点的策略。该策略采用从粗到细的误匹配特征点去除过程,在粗匹配阶段,使用阈值为0.6的匹配算法获得粗匹配阶段的初始点集。在精细去除阶段,采用预校准的多摄像机模型将匹配的特征点转换为同一坐标系,并将其作为承载向量投影到单位球上,利用球上的外极约束去除不匹配的特征点。在去除不匹配的特征点后,在投影球面上建立重投影误差函数,对初始姿态点和映射点进行非线性优化。该策略在24 000张鱼眼图像上进行了测试,结果表明,该剔除策略显著降低了失配率,提高了初始化和定位精度,有效地提高了系统的定位精度和性能效率。

一种特征点权重自适应优化的动态SLAM算法

针对传统的同步定位与地图构建(SLAM)在动态场景中位姿估计准确率低、鲁棒性差的问题,提出一种基于特征点权重自适应优化的动态视觉SLAM算法。首先,利用掩膜区域卷积神经网络(Mask R-CNN)对输入图像进行语义分割并获取动态特征点掩码,在此基础上对静态特征点进行帧间匹配得到位姿变换初值;然后利用运动一致性检测算法和多视图几何算法处理图像并分别得到对应的动态特征点掩码,进而依据得到的3种动态特征点掩码信息构建特征点权重函数,利用最小化重投影误差自适应调整特征点对位姿优化的影响程度,降低场景中的动态目标对SLAM精度的影响;最后使用慕尼黑工业大学动态数据集进行仿真测试,在室内高动态场景中,绝对轨迹误差(ATE)的均方根误差值(RMSE)仅为尺度不变特征变换同步定位与地图构建(ORB-SLAM2)的3.1%。与DS-SLAM、DynaSLAM等动态SLAM系统相比,绝对轨迹误差分别为DS-SLAM的52%、DynaSLAM的86.1%。结果表明,该算法可以显著提高SLAM系统在高动态环境下的定位精度和鲁棒性。

SLAM精度的向量加权平均自适应调节研究

针对粒子滤波算法需要大量粒子以提高精度以及重采样导致的粒子多样性缺失的问题,提出一种自调INFO(向量加权平均算法)优化的粒子重组粒子滤波算法。首先,通过向量不同的加权平均规则,使得最优粒子引导粒子集向期望区域移动,以此提高估计精度;其次,实时计算最优粒子附近的粒子密度,当密度大于阈值时,自适应调整迭代次数,实时监测粒子密度,根据此指标引入次优粒子的作用自适应调整粒子集分布;最后,重采样阶段将筛选后保留的粒子与剩余粒子重新组合成新的粒子,以此增加粒子多样性。通过仿真实验检验改进算法在SLAM中的性能,结果表明该算法较标准算法相比,其位姿与路标估计精度更高且鲁棒性更佳。

雪道点云时域波形特征分割及SLAM算法

为提升压雪车在滑雪场行驶与作业的夜间环境感知能力,提出了压雪车车载激光雷达点云时域波形阶跃值检测的雪道分割算法,并构建了适用于高山滑雪场的实时定位与建图算法(SLAM)。首先,对点云反射率分布进行统计并标记飘雪噪声点,利用邻近点线性插值方法对标记的飘雪噪声进行处理,保证点云的时域波形连续性,同时在特定扫描视角内划分栅格并以相邻网格高程值变化实时估计坡度。其次,根据山地滑雪场典型障碍设计了相应的时域波形阶跃值检测判据,筛选雪道-障碍分界点,划分扫描区间并对区间内的波形阶跃值进行包络,实现雪道点云特征分割。然后,根据雪道分割结果对特征进行分类匹配,并利用特征约束方法提高建图速度。最后,在张家口万龙滑雪场的高级和中级雪道进行算法效果验证测试。测试结果表明:所提出的雪道分割算法对单帧点云数据的处理平均耗时为2.36 ms,平均分割准确率可达98.54%,在基于雪道分割算法的改进SLAM方法中可以准确实现雪道-障碍分割,在建图精度方面表现更为优越且大幅缩减了计算耗时。

基于RBF神经网络与SLAM的全捷联导引头定位研究

针对全捷联导引头探测器和IMU传递函数的需要进行相位匹配的问题,利用在线学习的RBF神经网络进行相位匹配算法设计,利用Z变换进行离散化处理;针对全捷联单模和多模导引头的相位匹配算法进行了设计与分析,并通过Matlab/Simulink联合仿真实验验证了算法的效果。同时,结合SLAM系统进行同时定位矫正,提升导弹的定位精度与全捷联导引头的导引准确度。

基于IMU与激光雷达融合的无人弹药补给车SLAM系统研究

针对单一传感器建图精度低、实时性不足的问题,将IMU融合到激光雷达SLAM算法中。首先,采用手眼标定方法对2种传感器坐标系外参进行标定,实现传感器在时间与空间上的对齐。然后,结合因子图优化模型,解决在建图过程中产生的漂移现象,并将IMU融合到激光雷达LeGO-LOAM算法中。最后,在室外场景下搭建了无人弹药补给车SLAM实验平台,分别进行了LeGO-LOAM算法融合IMU前后的建图和定位试验。结果表明,融合IMU后的SLAM算法建图和定位精度都明显提高,满足了在未知环境下无人弹药补给车建图和定位的性能要求。

基于多策略人工蜂鸟优化PF的SLAM研究

针对粒子滤波算法(PF)重采样导致粒子贫乏及需增加粒子数以提高估计精度的问题,提出一种基于多策略人工蜂鸟算法优化的粒子重组粒子滤波算法。首先,引入中垂线算法提高人工蜂鸟算法收敛速度,通过其智能觅食机制,使得最优粒子引导粒子集向高似然区域移动,以此提高估计精度;其次,实时计算最优粒子附近的粒子密度,当密度大于设置的区域搜索阈值时引入Levy飞行策略以扩大搜索空间,当其大于最大密度值时,自适应调整迭代次数;最后,重采样阶段将筛选后保留的粒子与剩余粒子重新组合成新的粒子,以此增加粒子多样性。通过仿真实验检验改进算法在SLAM中的性能,结果表明该算法较其他3种算法相比,其位姿与路标估计精度更高且鲁棒性更佳。

改进ORB提取匹配算法的SLAM应用研究

由于传统的ORB特征点提取匹配方法在图像纹理信息不丰富或者光照变化剧烈时极易产生特征点丢失、分布不均等问题,不利于SLAM系统的定位与建图。为此本文提出了一套较为鲁棒、精度较高的提取匹配算法。首先基于ORB特征点对其提取算法进行改进,计算自适应阈值并基于网格模型提取特征点,可提高特征点提取的鲁棒性并使其分布均匀。此外还提出了G-R图像匹配算法,基于网格特征计算邻域支持估计量来区分正误匹配点,再结合引入评价函数的RANSAC算法进一步剔除误匹配点,相比ORB-SLAM2原始匹配算法提高匹配精度9.36%,并减少时间消耗约13.6%。最后将本文提出的特征点提取匹配算法加入到ORB-SLAM2算法框架,经数据集与实际场景验证本文方法能有效提高ORB-SLAM2系统定位精度36.6%以上,使系统更具鲁棒性。

基于神经网络的VSLAM综述

传统的基于视觉的SLAM技术成果颇丰,但在具有挑战性的环境中难以取得想要的效果.深度学习推动了计算机视觉领域的快速发展,并在图像处理中展现出愈加突出的优势.将深度学习与基于视觉的SLAM结合是一个热门话题,诸多研究人员的努力使二者的广泛结合成为可能.本文从深度学习经典的神经网络入手,介绍了深度学习与传统基于视觉的SLAM算法的结合,概述了卷积神经网络(CNN)与循环神经网络(RNN)在深度估计、位姿估计、闭环检测等方面的成就,分析了神经网络在语义信息提取方面的优点,以期为未来自主移动机器人真正自主化提供帮助.最后,对未来VSLAM发展进行了展望.