Dynamic SLAM Visual Odometry Based on Instance Segmentation:A Comprehensive Review

Dynamic Simultaneous Localization and Mapping(SLAM)in visual scenes is currently a major research area in fields such as robot navigation and autonomous driving.However,in the face of complex real-world envi-ronments,current dynamic SLAM systems struggle to achieve precise localization and map construction.With the advancement of deep learning,there has been increasing interest in the development of deep learning-based dynamic SLAM visual odometry in recent years,and more researchers are turning to deep learning techniques to address the challenges of dynamic SLAM.Compared to dynamic SLAM systems based on deep learning methods such as object detection and semantic segmentation,dynamic SLAM systems based on instance segmentation can not only detect dynamic objects in the scene but also distinguish different instances of the same type of object,thereby reducing the impact of dynamic objects on the SLAM system’s positioning.This article not only introduces traditional dynamic SLAM systems based on mathematical models but also provides a comprehensive analysis of existing instance segmentation algorithms and dynamic SLAM systems based on instance segmentation,comparing and summarizing their advantages and disadvantages.Through comparisons on datasets,it is found that instance segmentation-based methods have significant advantages in accuracy and robustness in dynamic environments.However,the real-time performance of instance segmentation algorithms hinders the widespread application of dynamic SLAM systems.In recent years,the rapid development of single-stage instance segmentationmethods has brought hope for the widespread application of dynamic SLAM systems based on instance segmentation.Finally,possible future research directions and improvementmeasures are discussed for reference by relevant professionals.

基于惯性先验校正图像灰度的VIO前端改良方法

针对封闭环境中不同光照场景导致相机图像序列光照过强、过弱以及光照强度大幅变化等问题,提出了一种基于惯性先验预测并校正图像灰度、提升光流跟踪成功率的视觉惯性里程计(VIO)前端改良方法,以解决由于极端光照条件导致的特征点跟踪失败问题.该VIO前端改良算法通过以惯性预测特征点像素位置,并衡量图像序列中对应特征点邻域之间的相似性对当前图像灰度进行伽马校正.通过TUM数据集实验验证,所提算法定位精度比VINS-Mono平均提升了17.7%;在真实的室内外环境下进行实验,相较于VINS-Mono有更好的表现.

基于抗差估计的VIO/UWB自适应组合定位算法

在GNSS信号拒止的室内环境定位中,针对视觉惯性里程计(VIO)在长期运动或无回环等不利环境下产生误差累积偏移以及超宽带(UWB)受非视距影响定位精度难以保证的问题,提出了一种基于抗差估计的UWB辅助视觉惯性自适应组合定位算法。首先,构建UWB与VIO的优化框架,利用UWB定位结果对VIO进行全局约束。其次,在后端优化阶段加入抗差估计,实时调整传感器间的权重值,抑制UWB非视距的影响。最后,在EuRoc数据集和真实场景中进行了实验验证。真实场景实验结果表明,组合算法在非遮挡条件下定位精度相比于VINS_Mono提高75.05%,基于抗差估计的组合算法在遮挡条件下定位精度相比于不加抗差估计的组合算法提高37.53%。

一种单目VIO定位精度与跟踪稳定性优化方法

为了提高视觉惯性同时定位与建图(visual-inertial simultaneous localization and mapping,VISLAM)系统的系统性能,提出了一种单目视觉惯性里程计(visual-inertial odometry,VIO)定位精度与跟踪稳定性优化方法。在相机位姿优化阶段,通过多残差项对相机位姿进行优化,提高系统的定位精度。在特征跟踪丢失时,通过惯性测量单元(inertial measurement unit,IMU)积分信息与特征点深度增强方法对系统进行重定位,提高系统的跟踪稳定性。针对所提方法,基于ORB-SLAM3代码框架进行改进,并在开源数据集与真实环境中验证方法的可行性。实验结果表明,所提方法能够有效提高视觉惯性里程计的定位精度与跟踪稳定性。

Human Visual Attention Mechanism-Inspired Point-and-Line Stereo Visual Odometry for Environments with Uneven Distributed Features

Visual odometry is critical in visual simultaneous localization and mapping for robot navigation.However,the pose estimation performance of most current visual odometry algorithms degrades in scenes with unevenly distributed features because dense features occupy excessive weight.Herein,a new human visual attention mechanism for point-and-line stereo visual odometry,which is called point-line-weight-mechanism visual odometry(PLWM-VO),is proposed to describe scene features in a global and balanced manner.A weight-adaptive model based on region partition and region growth is generated for the human visual attention mechanism,where sufficient attention is assigned to position-distinctive objects(sparse features in the environment).Furthermore,the sum of absolute differences algorithm is used to improve the accuracy of initialization for line features.Compared with the state-of-the-art method(ORB-VO),PLWM-VO show a 36.79%reduction in the absolute trajectory error on the Kitti and Euroc datasets.Although the time consumption of PLWM-VO is higher than that of ORB-VO,online test results indicate that PLWM-VO satisfies the real-time demand.The proposed algorithm not only significantly promotes the environmental adaptability of visual odometry,but also quantitatively demonstrates the superiority of the human visual attention mechanism.

移动机器人视觉里程计技术研究综述

随着移动机器人技术不断发展,里程计技术已经成为移动机器人实现环境感知的关键技术,其发展水平对提高机器人的自主化和智能化具有重要意义。首先,系统阐述了同步定位与地图构建(Simultaneous localization and mapping,SLAM)中激光SLAM和视觉SLAM的发展近况,阐述了经典SLAM框架及其数学描述,简要介绍了3类常见相机的相机模型及其视觉里程计的数学描述。其次,分别对传统视觉里程计和深度学习里程计的研究进展进行系统阐述。对比分析了近10年来各类里程计算法的优势与不足。另外,对比分析了7种常用数据集的性能。最后,从精度、鲁棒性、数据集、多模态等方面总结了里程计技术面临的问题,从提高算法实时性、鲁棒性等方面展望了视觉里程计的发展趋势为:更加智能化、小型化新型传感器的发展;与无监督学习融合;语义表达技术的提高;集群机器人协同技术的发展。

爱尔博VIO2系列设备常见故障与维修

爱尔博VIO2系列高频电刀被广泛地应用到临床中对组织的切割功能、凝血工作。为提高日常的使用效果,保证设备的稳定运行,以爱尔博VIO2系列旗舰机型(VIO300D主机)高频电刀为例,对其常见的故障进行总结,进行故障原因分析,经分析,故障的产生与低压板、高压板、IIF手孔板有关,并提出相应的维修方法。

基于点云特征的改进RANSAC地面分割算法

针对室外复杂场景下,轻量级和地面优化的激光雷达里程计与测图(LeGO-LOAM)算法由于地面分割不精确而导致算法定位精度降低的问题,提出一种基于改进随机一致性采样(RANSAC)的多线程地面分割算法:相较于传统RANSAC算法,该算法舍弃从全部原始数据中随机选取种子点拟合地面模型的迭代方式,首先利用点云高程、曲率等点特征信息挑选出所有小于高程、曲率等阈值的种子点以构建种子点集合,并根据种子点集合中的种子点数量判断是否需要多线程处理;然后根据判断结果从种子点集合中选择种子点子集进行地面拟合;最后比较各地面模型所包含的点云数量以获得最优地面模型参数以及地面点云集;地面分割精度的提高有效地降低了LeGO-LOAM算法的定位误差。实验结果表明,在室外复杂场景下所提出的地面分割算法分割效果更好,杂点更少;相较于原LeGO-LOAM算法,改进算法的定位误差降低至3.73 m,平面均方根误差降低了20.8%。

面向动态环境的视觉惯性定位方法

针对传统的视觉惯性里程计在动态环境下定位精度低和系统鲁棒性差等问题,提出了面向动态环境的视觉惯性定位方法。首先,利用语义分割提取环境中的语义信息,借助环境先验信息识别出动态物体。同时,采用深度生成网络对动态物体区域进行背景修复,生成只包含静态场景的图像,并将生成的图像用于后续的特征提取和跟踪,以减弱动态物体的影响。后端构建了紧耦合的图优化模型,将视觉数据与IMU数据相互融合,在滑动窗口中以非线性优化的方式估计位姿。实验结果表明,方法可以有效降低动态物体对定位的影响,提高系统的定位精度和鲁棒性。

基于扩张状态观测器的里程计定位补偿无人车轨迹跟踪控制

无人车的轨迹跟踪精度与车载传感器密切相关,应用图像、基站定位等方法容易受到实际中存在的各种干扰的影响导致传感器数据出现误差甚至丢失,进而影响无人车的轨迹跟踪精度。鉴于此本文以差速驱动型无人车为研究对象,提出了一种仅依赖轮式里程计的无人车轨迹跟踪控制方法,同时通过扩张状态观测器来估计总扰动的方式解决里程计在复杂工况下受干扰产生读数偏移以及长时间运行产生的累计误差等问题。本文首先对里程计的定位过程进行了分析,通过对里程计建立扩张状态观测器准确测量影响定位的干扰,并且针对里程计的偏差,采取扰动补偿措施以提升定位精度。随后对车辆的轨迹跟踪动态误差进行了深入研究,并设计了相应的误差方程,以制定轨迹跟踪控制策略。在实际弯曲道路测试中,车辆可以稳定在0.21 m的跟踪误差范围内,验证了本文所提方法的可行性和有效性。

一种室内环境下点线特征综合的RGB-D VO算法

针对弱纹理场景下点特征提取不足影响同步定位与建图(SLAM)算法定位精度的问题,提出了一种室内环境下点线特征综合的RGB-D视觉里程计(VO)算法。通过跟踪深度信息计算垂直主导方向,基于曼哈顿假设使用线特征来加权搜索两个水平自由度,提取并优化曼哈顿坐标系;综合场景的结构规律,与点线特征的重投影误差进行联合优化,同时在位姿估计和局部地图优化中对残差引入自适应权重,提高位姿估计精度。实验结果表明,所提算法在ICL-NUIM数据集中的绝对轨迹均方根误差相比于ORB-SLAM2和MSC-VO分别平均减少62.93%、37.04%,与Planar-SLAM和Manhattan-SLAM精度相当;在TUM数据集中相比于ORB-SLAM2、Planar-SLAM、MSC-VO和Manhattan-SLAM,绝对轨迹均方根误差分别平均减小21.43%、54.40%、35.08%和26.94%;在TAMU数据集中相比于ORB-SLAM2,回环漂移平均减小43.34%。

行人自主导航技术综述

导航与位置服务是我国经济新增长点和战略性新兴产业。近年来,行人自主导航技术由于可为行人提供高自主、高智能、高可靠和低成本的位置服务而备受关注,成为了导航与位置服务赋能可穿戴设备的关键驱动力。针对惯性、磁场和视觉三大主流行人自主导航方法进行了调研分析,梳理了行人自主导航技术的研究进展,重点阐述了各类技术途径的原理与特点,并指出了行人自主导航技术的未来发展趋势。

走廊场景下辅助视觉里程计初始化的单目深度恢复方法

单目相机由于缺少尺度信息在视觉里程计等应用场景中性能受限。现有研究大多通过基于深度学习的方法解决这一问题,但其推理速度慢,难以实时运行。针对这一问题,提出了一种走廊场景下基于非线性优化进行快速单目深度恢复的显式方法。采用虚拟相机假设,简化对相机姿态角的求解;通过最小化几何残差,将深度估计问题转换为优化问题;设计一种深度平面构建方法,对空间点深度进行分类,实现走廊等封闭结构场景下的快速深度估计;最后,将所提方法在单目视觉里程计初始化中进行应用,使得单目视觉里程计可以获得真实的尺度信息,并提升其定位精度。实验结果表明:所提方法在走廊场景3m范围内深度估计的相对误差小于8.4%,在Intel Core i5-7300HQCPU处理器中能以20FPS的速度实时运行。

融合轮速因子的视觉惯导定位算法

提出了一种通过视觉、惯性测量单元(IMU)、轮速计信息的紧密融合的定位算法,以应对在地面移动平台上应用视觉惯性定位系统面临尺度估计退化和定位性能下降的挑战。结果表明,融合轮速因子的视觉惯导定位算法有效解决了尺度不确定性问题,显著提升了地面移动平台定位的准确性和鲁棒性。

基于NDT配准与轮式里程计的激光雷达运动畸变补偿算法

激光雷达是广泛应用于同时定位与地图构建(SLAM)的测距传感器,普遍基于旋转机制收集周围环境的几何信息。当扫描期间激光雷达发生移动时,生成的点云会产生运动畸变,降低SLAM系统的准确性。在激光雷达SLAM算法设计中,为使雷达运动的估计结果更为精确,文中提出一种基于正态分布变换(NDT)和轮式里程计的激光雷达运动畸变补偿算法。首先,使用轮式里程计以高频测量方式对雷达运动进行估计,可补偿部分运动畸变。其次,设计一种基于NDT配准算法的误差处理方法,通过对点云的精准匹配降低里程计漂移的影响,实现雷达运动精确估计,进而精准补偿运动畸变。文中采用数据集以及真实场景实验对提出算法进行测试。实验结果表明,与传统里程计辅助方法相比,提出的算法能够优化运动畸变补偿效果,降低轨迹累积误差并生成全局一致地图。

一种结合光流追踪的双目视觉里程计算法

针对特征点法视觉里程计频繁计算和匹配描述子导致系统实时性能变差的问题,提出一种结合光流追踪的双目视觉里程计算法;首先进行初始化,生成初始的关键帧和地图点,随后在追踪线程中使用光流追踪特征点获取匹配关系,计算并优化相机位姿;满足生成关键帧的条件后,将当前帧设置为关键帧,提取图像的ORB特征点,并使用描述子匹配获取与上一关键帧特征点的匹配关系,三角化生成新的地图点;最后在优化线程中将新的关键帧和地图点使用滑动窗口算法进行优化,剔除冗余关键帧和地图点;在KITTI数据集上的实验结果表明,所提出的算法轨迹误差与双目模式下的ORB-SLAM3算法处于同一水平,同时实时性能有大幅度提高,追踪每一帧图像的平均时间从52 ms降至16 ms,在保证高精度的情况下运行速度大大提高,具有较高的实用价值。

基于点线特征融合的视觉惯性里程计方法研究

相机和惯性测量单元组成的基于图像点特征的视觉惯性里程计(Visual Inertial Odometry,VIO),广泛应用于移动机器人定位领域,但会面临点特征退化的问题,使其定位精度受到很大影响。因此,本文提出一种基于点线特征融合的VIO方法,并在EuRoC数据集上进行实验。结果表明:该方法不仅定位精度最优,而且线特征提取的时间较低。

基于激光雷达的自动驾驶同步定位与建图方法综述

同步定位与建图(Simultaneous Localization and Mapping,SLAM)技术可使自动驾驶车辆在未知环境中根据车载传感器采集到的数据估计自身位姿,建立环境地图,为车辆的规划、决策提供定位信息,是近年来自动驾驶技术研究的热点之一。基于车载激光雷达的点云数据,聚焦SLAM技术在自动驾驶领域的应用,围绕前端里程计、后端优化和回环检测技术,对国内外相关研究进行综述。考虑到单一传感器的局限性,结合目前多传感器融合研究的热点与难点,展望了自动驾驶多传感器融合SLAM技术在自动驾驶领域的机遇与挑战。

基于点转移矫正的视觉惯性里程计

针对卷帘相机的卷帘效应会引起图像扭曲,进而影响系统定位精度的问题,提出了一种融合IMU信息的点转移矫正的视觉惯性里程计。首先,针对卷帘图像扭曲问题,利用三焦点张量的点转移方法修正卷帘图像,相当于输入系统的是全局图像。其次,为了保证算法在嵌入式硬件上实时运行,采用扩展卡尔曼滤波进行信息融合来提高系统的定位精度和降低计算资源的要求。然后,引入静态检测和异常检测来保证系统的鲁棒性。最后,所提算法在手机上以25 Hz左右的帧率实时运行,并在真实环境下进行实验。公开数据集上的实验结果表明:与RS-VINS-Mono算法相比,所提算法的定位精度提升了27%,验证了该算法可有效融合视觉和惯性信息来减小卷帘效应带来的定位误差,提高了系统的鲁棒性。

平面环境约束辅助的单目视觉惯性里程计

为提高视觉惯性导航系统在宽动态、长航时、大范围作业环境中的精确性与鲁棒性,提出了一种平面环境约束辅助的单目视觉惯性里程计。通过在视频图像中提取并跟踪均匀分布的FAST特征点,并采用对称光流剔除误跟踪点,实现了视觉特征点高效检测与精确跟踪;无需计算稠密深度地图,仅从稀疏特征点集中检测共面特征点,拟合空间平面,构建了对视觉特征点三维坐标的空间几何约束;融合视觉特征点重投影误差、共面特征点坐标约束以及惯性测量单元(Inertial measurement unit,IMU)预积分误差构造代价函数,采用非线性优化方法估计了系统状态。最后,分别在公开数据集和实际户外场景中评估了算法的准确性和有效性。实验结果表明,相较于VINS-Mono和ORB-SLAM3算法,本文方法的定位结果有显著提升,实现了复杂应用环境中精确、稳定导航,在机器人、无人驾驶等领域具有较大的实用价值。