Dynamic SLAM Visual Odometry Based on Instance Segmentation:A Comprehensive Review

Dynamic Simultaneous Localization and Mapping(SLAM)in visual scenes is currently a major research area in fields such as robot navigation and autonomous driving.However,in the face of complex real-world envi-ronments,current dynamic SLAM systems struggle to achieve precise localization and map construction.With the advancement of deep learning,there has been increasing interest in the development of deep learning-based dynamic SLAM visual odometry in recent years,and more researchers are turning to deep learning techniques to address the challenges of dynamic SLAM.Compared to dynamic SLAM systems based on deep learning methods such as object detection and semantic segmentation,dynamic SLAM systems based on instance segmentation can not only detect dynamic objects in the scene but also distinguish different instances of the same type of object,thereby reducing the impact of dynamic objects on the SLAM system’s positioning.This article not only introduces traditional dynamic SLAM systems based on mathematical models but also provides a comprehensive analysis of existing instance segmentation algorithms and dynamic SLAM systems based on instance segmentation,comparing and summarizing their advantages and disadvantages.Through comparisons on datasets,it is found that instance segmentation-based methods have significant advantages in accuracy and robustness in dynamic environments.However,the real-time performance of instance segmentation algorithms hinders the widespread application of dynamic SLAM systems.In recent years,the rapid development of single-stage instance segmentationmethods has brought hope for the widespread application of dynamic SLAM systems based on instance segmentation.Finally,possible future research directions and improvementmeasures are discussed for reference by relevant professionals.

Human Visual Attention Mechanism-Inspired Point-and-Line Stereo Visual Odometry for Environments with Uneven Distributed Features

Visual odometry is critical in visual simultaneous localization and mapping for robot navigation.However,the pose estimation performance of most current visual odometry algorithms degrades in scenes with unevenly distributed features because dense features occupy excessive weight.Herein,a new human visual attention mechanism for point-and-line stereo visual odometry,which is called point-line-weight-mechanism visual odometry(PLWM-VO),is proposed to describe scene features in a global and balanced manner.A weight-adaptive model based on region partition and region growth is generated for the human visual attention mechanism,where sufficient attention is assigned to position-distinctive objects(sparse features in the environment).Furthermore,the sum of absolute differences algorithm is used to improve the accuracy of initialization for line features.Compared with the state-of-the-art method(ORB-VO),PLWM-VO show a 36.79%reduction in the absolute trajectory error on the Kitti and Euroc datasets.Although the time consumption of PLWM-VO is higher than that of ORB-VO,online test results indicate that PLWM-VO satisfies the real-time demand.The proposed algorithm not only significantly promotes the environmental adaptability of visual odometry,but also quantitatively demonstrates the superiority of the human visual attention mechanism.

移动机器人视觉里程计技术研究综述

随着移动机器人技术不断发展,里程计技术已经成为移动机器人实现环境感知的关键技术,其发展水平对提高机器人的自主化和智能化具有重要意义。首先,系统阐述了同步定位与地图构建(Simultaneous localization and mapping,SLAM)中激光SLAM和视觉SLAM的发展近况,阐述了经典SLAM框架及其数学描述,简要介绍了3类常见相机的相机模型及其视觉里程计的数学描述。其次,分别对传统视觉里程计和深度学习里程计的研究进展进行系统阐述。对比分析了近10年来各类里程计算法的优势与不足。另外,对比分析了7种常用数据集的性能。最后,从精度、鲁棒性、数据集、多模态等方面总结了里程计技术面临的问题,从提高算法实时性、鲁棒性等方面展望了视觉里程计的发展趋势为:更加智能化、小型化新型传感器的发展;与无监督学习融合;语义表达技术的提高;集群机器人协同技术的发展。

面向动态环境的视觉惯性定位方法

针对传统的视觉惯性里程计在动态环境下定位精度低和系统鲁棒性差等问题,提出了面向动态环境的视觉惯性定位方法。首先,利用语义分割提取环境中的语义信息,借助环境先验信息识别出动态物体。同时,采用深度生成网络对动态物体区域进行背景修复,生成只包含静态场景的图像,并将生成的图像用于后续的特征提取和跟踪,以减弱动态物体的影响。后端构建了紧耦合的图优化模型,将视觉数据与IMU数据相互融合,在滑动窗口中以非线性优化的方式估计位姿。实验结果表明,方法可以有效降低动态物体对定位的影响,提高系统的定位精度和鲁棒性。

一种室内环境下点线特征综合的RGB-D VO算法

针对弱纹理场景下点特征提取不足影响同步定位与建图(SLAM)算法定位精度的问题,提出了一种室内环境下点线特征综合的RGB-D视觉里程计(VO)算法。通过跟踪深度信息计算垂直主导方向,基于曼哈顿假设使用线特征来加权搜索两个水平自由度,提取并优化曼哈顿坐标系;综合场景的结构规律,与点线特征的重投影误差进行联合优化,同时在位姿估计和局部地图优化中对残差引入自适应权重,提高位姿估计精度。实验结果表明,所提算法在ICL-NUIM数据集中的绝对轨迹均方根误差相比于ORB-SLAM2和MSC-VO分别平均减少62.93%、37.04%,与Planar-SLAM和Manhattan-SLAM精度相当;在TUM数据集中相比于ORB-SLAM2、Planar-SLAM、MSC-VO和Manhattan-SLAM,绝对轨迹均方根误差分别平均减小21.43%、54.40%、35.08%和26.94%;在TAMU数据集中相比于ORB-SLAM2,回环漂移平均减小43.34%。

行人自主导航技术综述

导航与位置服务是我国经济新增长点和战略性新兴产业。近年来,行人自主导航技术由于可为行人提供高自主、高智能、高可靠和低成本的位置服务而备受关注,成为了导航与位置服务赋能可穿戴设备的关键驱动力。针对惯性、磁场和视觉三大主流行人自主导航方法进行了调研分析,梳理了行人自主导航技术的研究进展,重点阐述了各类技术途径的原理与特点,并指出了行人自主导航技术的未来发展趋势。

基于NDT配准与轮式里程计的激光雷达运动畸变补偿算法

激光雷达是广泛应用于同时定位与地图构建(SLAM)的测距传感器,普遍基于旋转机制收集周围环境的几何信息。当扫描期间激光雷达发生移动时,生成的点云会产生运动畸变,降低SLAM系统的准确性。在激光雷达SLAM算法设计中,为使雷达运动的估计结果更为精确,文中提出一种基于正态分布变换(NDT)和轮式里程计的激光雷达运动畸变补偿算法。首先,使用轮式里程计以高频测量方式对雷达运动进行估计,可补偿部分运动畸变。其次,设计一种基于NDT配准算法的误差处理方法,通过对点云的精准匹配降低里程计漂移的影响,实现雷达运动精确估计,进而精准补偿运动畸变。文中采用数据集以及真实场景实验对提出算法进行测试。实验结果表明,与传统里程计辅助方法相比,提出的算法能够优化运动畸变补偿效果,降低轨迹累积误差并生成全局一致地图。

一种结合光流追踪的双目视觉里程计算法

针对特征点法视觉里程计频繁计算和匹配描述子导致系统实时性能变差的问题,提出一种结合光流追踪的双目视觉里程计算法;首先进行初始化,生成初始的关键帧和地图点,随后在追踪线程中使用光流追踪特征点获取匹配关系,计算并优化相机位姿;满足生成关键帧的条件后,将当前帧设置为关键帧,提取图像的ORB特征点,并使用描述子匹配获取与上一关键帧特征点的匹配关系,三角化生成新的地图点;最后在优化线程中将新的关键帧和地图点使用滑动窗口算法进行优化,剔除冗余关键帧和地图点;在KITTI数据集上的实验结果表明,所提出的算法轨迹误差与双目模式下的ORB-SLAM3算法处于同一水平,同时实时性能有大幅度提高,追踪每一帧图像的平均时间从52 ms降至16 ms,在保证高精度的情况下运行速度大大提高,具有较高的实用价值。

基于点云特征的改进RANSAC地面分割算法

针对室外复杂场景下,轻量级和地面优化的激光雷达里程计与测图(LeGO-LOAM)算法由于地面分割不精确而导致算法定位精度降低的问题,提出一种基于改进随机一致性采样(RANSAC)的多线程地面分割算法:相较于传统RANSAC算法,该算法舍弃从全部原始数据中随机选取种子点拟合地面模型的迭代方式,首先利用点云高程、曲率等点特征信息挑选出所有小于高程、曲率等阈值的种子点以构建种子点集合,并根据种子点集合中的种子点数量判断是否需要多线程处理;然后根据判断结果从种子点集合中选择种子点子集进行地面拟合;最后比较各地面模型所包含的点云数量以获得最优地面模型参数以及地面点云集;地面分割精度的提高有效地降低了LeGO-LOAM算法的定位误差。实验结果表明,在室外复杂场景下所提出的地面分割算法分割效果更好,杂点更少;相较于原LeGO-LOAM算法,改进算法的定位误差降低至3.73 m,平面均方根误差降低了20.8%。

基于点线特征融合的视觉惯性里程计方法研究

相机和惯性测量单元组成的基于图像点特征的视觉惯性里程计(Visual Inertial Odometry,VIO),广泛应用于移动机器人定位领域,但会面临点特征退化的问题,使其定位精度受到很大影响。因此,本文提出一种基于点线特征融合的VIO方法,并在EuRoC数据集上进行实验。结果表明:该方法不仅定位精度最优,而且线特征提取的时间较低。

基于激光雷达的自动驾驶同步定位与建图方法综述

同步定位与建图(Simultaneous Localization and Mapping,SLAM)技术可使自动驾驶车辆在未知环境中根据车载传感器采集到的数据估计自身位姿,建立环境地图,为车辆的规划、决策提供定位信息,是近年来自动驾驶技术研究的热点之一。基于车载激光雷达的点云数据,聚焦SLAM技术在自动驾驶领域的应用,围绕前端里程计、后端优化和回环检测技术,对国内外相关研究进行综述。考虑到单一传感器的局限性,结合目前多传感器融合研究的热点与难点,展望了自动驾驶多传感器融合SLAM技术在自动驾驶领域的机遇与挑战。

基于注意力卷积神经网络的视觉里程计

传统的视觉里程计(visual odometry,VO)要求图像含有大量的纹理信息,且求解过程较为复杂。针对以上问题提出基于注意力卷积神经网络的视觉里程计,对相机进行端到端的位姿估计,利用注意力机制提高模型估计轨迹的精度。首先,使用注意力-卷积神经网络(convolutional neural networks,CNN)模块提取图像特征;然后,将特征输入到门控循环单元(gated recurrent unit,GRU)学习图像的时序连接性;最后,通过全连接层降维输出相机位姿。在KITTI数据集上完成实验,并与其他方法进行对比,结果表明卷积网络中加入注意力机制可以有效提高轨迹估计的精度,且误差低于其他视觉里程计算法。

一种全局低偏的视觉/惯性/弱定位辅助融合导航系统

以视觉惯性为核心的导航技术在长期运行工况下误差会不断累积,进而产生严重的轨迹偏移。针对该问题,提出一种全局低偏的视觉/惯性/弱定位辅助融合导航系统。该系统以视觉惯性里程计高频率、高局部精度特性为基础,在室内外不同场景中,提供可选的全局信息辅助方案,融合卫星导航原始信息、超声基站测距信息以及视觉靶标定位辅助信息,实现室内外一体化全局低偏导航。搭建数据平台采集现实数据,基于激光点云匹配方法生成轨迹真值,将本文方法与VINS-Mono方法和ORBSLAM3方法进行导航精度评估对比,证明所提出的系统在全天候室内外不同光照环境中鲁棒性最好,在局部和全局都具备最优的导航精度。

一种基于线特征约束的无人机双目视觉SLAM算法

为了解决点特征SLAM算法在低纹理环境中精度下降的问题,提出了一种基于线特征约束的无人机双目视觉SLAM算法。首先,将双目相机观测线特征分为单目相机在两帧下观测、双目相机在两帧下观测、双目相机在一帧下观测3种情况;然后,计算了3种情况下的残差块和雅可比矩阵;最后,利用所提线特征约束改进了VINS-Fusion算法。在EuRoC数据集上进行实验验证,结果表明提出的算法在数据集半数以上的场景中都有良好的表现,相较于改进前的VINS-Fusion算法定位精度平均提升13.2%。

ELPVO:基于I/O流水优化的超低功耗视觉里程计

视觉里程计赋予了机器人自主定位与构建环境地图的能力,被广泛应用在各类无人设备上。视觉里程计涉及大量的图像处理计算,但其部署平台多数仅具备极为有限的计算资源,限制了其使用范围。针对现有低功耗视觉里程计存在的I/O瓶颈,提出一种面向STM32F7嵌入式平台的基于RGB-D相机的高速低功耗视觉里程计ELPVO。ELPVO充分考虑STM32F7平台的硬件资源,通过DMA传输提高处理器使用效率,进而在算法精度没有变化的情况下提升处理速度。在搭载216 MHz ARM Cortex■-M7处理器的STM32F767嵌入式平台上,以TUM RGB-D数据集作为测试基准,ELPVO对320×240分辨率的图像处理速度可以达到26 fps,整体运行速度提升了84%,运行功耗维持在0.7 W。

基于点转移矫正的视觉惯性里程计

针对卷帘相机的卷帘效应会引起图像扭曲,进而影响系统定位精度的问题,提出了一种融合IMU信息的点转移矫正的视觉惯性里程计。首先,针对卷帘图像扭曲问题,利用三焦点张量的点转移方法修正卷帘图像,相当于输入系统的是全局图像。其次,为了保证算法在嵌入式硬件上实时运行,采用扩展卡尔曼滤波进行信息融合来提高系统的定位精度和降低计算资源的要求。然后,引入静态检测和异常检测来保证系统的鲁棒性。最后,所提算法在手机上以25 Hz左右的帧率实时运行,并在真实环境下进行实验。公开数据集上的实验结果表明:与RS-VINS-Mono算法相比,所提算法的定位精度提升了27%,验证了该算法可有效融合视觉和惯性信息来减小卷帘效应带来的定位误差,提高了系统的鲁棒性。

基于Accodometry法的两轮自平衡机器人位置估计研究

针对两轮自平衡机器人运行过程中遇到打滑、越障、碰撞等异常事件,测程法进行位置估计失效的情况,提出一种Accodometry方法,通过融合码盘与加速度计数据对位置进行估计,解决了非系统测程法误差对机器人位置估计的影响,降低了加速度计固有漂移的不利影响,提高了两轮自平衡机器人的定位精度.实验验证了Accodometry方法的有效性,结果显示位置误差降为原来的1/4.

平面环境约束辅助的单目视觉惯性里程计

为提高视觉惯性导航系统在宽动态、长航时、大范围作业环境中的精确性与鲁棒性,提出了一种平面环境约束辅助的单目视觉惯性里程计。通过在视频图像中提取并跟踪均匀分布的FAST特征点,并采用对称光流剔除误跟踪点,实现了视觉特征点高效检测与精确跟踪;无需计算稠密深度地图,仅从稀疏特征点集中检测共面特征点,拟合空间平面,构建了对视觉特征点三维坐标的空间几何约束;融合视觉特征点重投影误差、共面特征点坐标约束以及惯性测量单元(Inertial measurement unit,IMU)预积分误差构造代价函数,采用非线性优化方法估计了系统状态。最后,分别在公开数据集和实际户外场景中评估了算法的准确性和有效性。实验结果表明,相较于VINS-Mono和ORB-SLAM3算法,本文方法的定位结果有显著提升,实现了复杂应用环境中精确、稳定导航,在机器人、无人驾驶等领域具有较大的实用价值。

一种在线更新的单目视觉里程计

现有的基于深度学习的视觉里程计(visual odometry,VO)训练样本与应用场景存在差异时,普遍存在难以适应新环境的问题,因此提出了一种在线更新单目视觉里程计算法OUMVO。其特点在于应用阶段利用实时采集到的图像序列在线优化位姿估计网络模型,提高网络的泛化能力和对新环境的适用能力。该方法使用了自监督学习方法,无须额外标注地面真值,并采用了Transformer对图像流进行序列建模,以充分利用局部窗口内的视觉信息,提高位姿估计精度,以避免传统方法只能利用相邻两帧图像来估计位姿的局限,还可以弥补采用RNN进行序列建模无法并行计算的缺点。此外,采用图像空间几何一致性约束,解决了传统单目视觉里程计算法存在的尺度漂移问题。在KITTI数据集上的定量和定性实验结果表明,OUMVO的位姿估计精度和对新环境的适应能力均优于现有的先进单目视觉里程计方法。

一种多源测距与视觉惯性融合的月球车定位方法

针对月球车月面探测活动任务中对高精度定位的需求,当前视觉惯性定位方法存在误差累积,并且在缺乏先验环境信息时无法消除,基于三角测量原理的无线电定位方法可以通过测量接收端到至少三个不同发射端的距离来确定目标物体位置,但需要架设三台以上基站,因此难以满足月面环境下大范围定位的需求。文章提出了一种基于基站无线测距和视觉惯性里程计融合定位方法,以解决上述定位手段存在的问题。该方法首先利用视觉惯性里程计构建的环境模型将WIFI、UHF和UWB三类无线电基站测距信息进行融合,然后将测距结果和视觉IMU信息进行位置联合解算来确定月球车位置,最后在Matlab和Gazebo软件平台上进行仿真验证,在距离基站最远行进1500米的条件下实现了0.92米定位误差。实验结果表明,该方法能够在满足月面探测任务对于精准定位的需求。