移动机器人视觉里程计技术研究综述

随着移动机器人技术不断发展,里程计技术已经成为移动机器人实现环境感知的关键技术,其发展水平对提高机器人的自主化和智能化具有重要意义。首先,系统阐述了同步定位与地图构建(Simultaneous localization and mapping,SLAM)中激光SLAM和视觉SLAM的发展近况,阐述了经典SLAM框架及其数学描述,简要介绍了3类常见相机的相机模型及其视觉里程计的数学描述。其次,分别对传统视觉里程计和深度学习里程计的研究进展进行系统阐述。对比分析了近10年来各类里程计算法的优势与不足。另外,对比分析了7种常用数据集的性能。最后,从精度、鲁棒性、数据集、多模态等方面总结了里程计技术面临的问题,从提高算法实时性、鲁棒性等方面展望了视觉里程计的发展趋势为:更加智能化、小型化新型传感器的发展;与无监督学习融合;语义表达技术的提高;集群机器人协同技术的发展。

因子图框架下里程计辅助GNSS/INS组合导航算法

在复杂观测环境下,GNSS/INS组合导航系统的GNSS信号易受干扰从而导致INS独立导航精度迅速下降。针对上述问题,本文基于因子图的里程计辅助GNSS/INS组合导航算法,利用里程计观测信息结合非完整性约束构建航向速度约束方程,同时采用能多次线性化计算和多次迭代的因子图优化方法进行参数估计。实际车载试验解算结果表明,在GNSS信号良好时,基于因子图方法比滤波方法具有更快的收敛时间,收敛速度提高了近10倍;在GNSS信号发生中断时,添加里程计辅助后组合导航系统在东向和北向分别提升了83%和89%。与传统的滤波融合手段相比,本文采用因子图优化后在东向和北向的定位精度分别有63%、70%的改善。

车载GNSS/SINS/里程计分布式弹性融合导航方法

为提升复杂环境下低成本车载导航系统的容错性能,本文研究了基于次优增益融合(SGF)算法的GNSS/SINS/里程计分布式弹性融合方法。该方法首先根据阿克曼转向几何建立了四轮里程计测速补偿模型,提升了惯性测量单元(IMU)安装中心处的前向和侧向测速精度;然后设计了基于卡方检验统计量的故障检测与分类准则,充分利用了可获取的观测信息;最后构建了随机模型和信息分配因子(ISF)弹性优化模型,分别从传感器层和决策层减少了异常观测的影响,实现了车载多源信息的弹性融合。通过实际跑车数据对GNSS/SINS/里程计分布式弹性融合方法进行测试验证。试验结果表明,本文方法能有效减少子系统故障对全局状态估计的影响,提升复杂环境下系统的容错性能。此外,与经典的联邦卡尔曼滤波(FKF)算法相比,SGF算法全局融合精度损失有限,计算效率却显著提升,有利于多源信息弹性融合的实际工程应用。

基于扩张状态观测器的里程计定位补偿无人车轨迹跟踪控制

无人车的轨迹跟踪精度与车载传感器密切相关,应用图像、基站定位等方法容易受到实际中存在的各种干扰的影响导致传感器数据出现误差甚至丢失,进而影响无人车的轨迹跟踪精度。鉴于此本文以差速驱动型无人车为研究对象,提出了一种仅依赖轮式里程计的无人车轨迹跟踪控制方法,同时通过扩张状态观测器来估计总扰动的方式解决里程计在复杂工况下受干扰产生读数偏移以及长时间运行产生的累计误差等问题。本文首先对里程计的定位过程进行了分析,通过对里程计建立扩张状态观测器准确测量影响定位的干扰,并且针对里程计的偏差,采取扰动补偿措施以提升定位精度。随后对车辆的轨迹跟踪动态误差进行了深入研究,并设计了相应的误差方程,以制定轨迹跟踪控制策略。在实际弯曲道路测试中,车辆可以稳定在0.21 m的跟踪误差范围内,验证了本文所提方法的可行性和有效性。

模糊互补滤波的AGV视觉惯性里程计

为提高自动导引车(automated guided vehicle,AGV)在复杂视觉环境下的定位性能、降低硬件成本,提出了一种基于AprilTag和模糊互补滤波的视觉惯性里程计(visual-Inertial Odometry,VIO)。采用扩展卡尔曼滤波器(extended Kalman filter,EKF)融合陀螺仪、磁力计和编码器测量数据,计算航向角用于航位推算。通过对相机AprilTag识别距离和运动速度进行模糊推算获取标识权重,加权计算AprilTag进行视觉定位,减小多标识视觉定位误差。通过标识权重均值计算互补融合系数,将视觉定位和航位推算结果互补融合,提高VIO定位精度。实验结果表明,所提出的VIO在小型AGV的定位精度达到了41.84 mm,比惯性里程计和传统卡尔曼滤波的AprilTag-VIO分别提高了52.20%和20.75%。

走廊场景下辅助视觉里程计初始化的单目深度恢复方法

单目相机由于缺少尺度信息在视觉里程计等应用场景中性能受限。现有研究大多通过基于深度学习的方法解决这一问题,但其推理速度慢,难以实时运行。针对这一问题,提出了一种走廊场景下基于非线性优化进行快速单目深度恢复的显式方法。采用虚拟相机假设,简化对相机姿态角的求解;通过最小化几何残差,将深度估计问题转换为优化问题;设计一种深度平面构建方法,对空间点深度进行分类,实现走廊等封闭结构场景下的快速深度估计;最后,将所提方法在单目视觉里程计初始化中进行应用,使得单目视觉里程计可以获得真实的尺度信息,并提升其定位精度。实验结果表明:所提方法在走廊场景3m范围内深度估计的相对误差小于8.4%,在Intel Core i5-7300HQCPU处理器中能以20FPS的速度实时运行。

基于NDT配准与轮式里程计的激光雷达运动畸变补偿算法

激光雷达是广泛应用于同时定位与地图构建(SLAM)的测距传感器,普遍基于旋转机制收集周围环境的几何信息。当扫描期间激光雷达发生移动时,生成的点云会产生运动畸变,降低SLAM系统的准确性。在激光雷达SLAM算法设计中,为使雷达运动的估计结果更为精确,文中提出一种基于正态分布变换(NDT)和轮式里程计的激光雷达运动畸变补偿算法。首先,使用轮式里程计以高频测量方式对雷达运动进行估计,可补偿部分运动畸变。其次,设计一种基于NDT配准算法的误差处理方法,通过对点云的精准匹配降低里程计漂移的影响,实现雷达运动精确估计,进而精准补偿运动畸变。文中采用数据集以及真实场景实验对提出算法进行测试。实验结果表明,与传统里程计辅助方法相比,提出的算法能够优化运动畸变补偿效果,降低轨迹累积误差并生成全局一致地图。

一种结合光流追踪的双目视觉里程计算法

针对特征点法视觉里程计频繁计算和匹配描述子导致系统实时性能变差的问题,提出一种结合光流追踪的双目视觉里程计算法;首先进行初始化,生成初始的关键帧和地图点,随后在追踪线程中使用光流追踪特征点获取匹配关系,计算并优化相机位姿;满足生成关键帧的条件后,将当前帧设置为关键帧,提取图像的ORB特征点,并使用描述子匹配获取与上一关键帧特征点的匹配关系,三角化生成新的地图点;最后在优化线程中将新的关键帧和地图点使用滑动窗口算法进行优化,剔除冗余关键帧和地图点;在KITTI数据集上的实验结果表明,所提出的算法轨迹误差与双目模式下的ORB-SLAM3算法处于同一水平,同时实时性能有大幅度提高,追踪每一帧图像的平均时间从52 ms降至16 ms,在保证高精度的情况下运行速度大大提高,具有较高的实用价值。

基于点线特征融合的视觉惯性里程计方法研究

相机和惯性测量单元组成的基于图像点特征的视觉惯性里程计(Visual Inertial Odometry,VIO),广泛应用于移动机器人定位领域,但会面临点特征退化的问题,使其定位精度受到很大影响。因此,本文提出一种基于点线特征融合的VIO方法,并在EuRoC数据集上进行实验。结果表明:该方法不仅定位精度最优,而且线特征提取的时间较低。

基于融合BEBLID和改进ORB算法的单目视觉里程计研究

为防止FAST算法在纹理丰富的环境下提取的特征点过于密集,通过预设条件使特征点稀疏化,便于后续对极约束恢复相机的位姿;为保证相机摄入的图像帧中纹理较少,特征提取时不会丢失图像信息,提出根据特征点数量调整检测方式,使其自适应提取图像特征,增强对复杂环境的适应性;为提高图像特征的匹配精度,通过融入BEBLID使特征点描述符充分表达。经实验验证,面对复杂的场景,改进算法有较强的环境鲁棒性。改进算法的匹配精度要高于ORB算法,在算法耗时方面相较SIFT算法有量级提升。经轨迹测算后,相比于ORB算法,改进算法在相机运动上更贴合真实轨迹,在位姿精度上有较明显的提升。

基于点转移矫正的视觉惯性里程计

针对卷帘相机的卷帘效应会引起图像扭曲,进而影响系统定位精度的问题,提出了一种融合IMU信息的点转移矫正的视觉惯性里程计。首先,针对卷帘图像扭曲问题,利用三焦点张量的点转移方法修正卷帘图像,相当于输入系统的是全局图像。其次,为了保证算法在嵌入式硬件上实时运行,采用扩展卡尔曼滤波进行信息融合来提高系统的定位精度和降低计算资源的要求。然后,引入静态检测和异常检测来保证系统的鲁棒性。最后,所提算法在手机上以25 Hz左右的帧率实时运行,并在真实环境下进行实验。公开数据集上的实验结果表明:与RS-VINS-Mono算法相比,所提算法的定位精度提升了27%,验证了该算法可有效融合视觉和惯性信息来减小卷帘效应带来的定位误差,提高了系统的鲁棒性。

基于运动约束的无监督单目视觉里程计

针对视觉里程计易受到动态物体及遮挡因素影响导致的位姿估计准确度低、鲁棒性差等问题,提出一种基于运动约束的无监督视觉里程计算法。首先通过最小重投影误差方法处理了大范围场景中的前景遮挡,考虑到现实场景中的运动物体影响,结合光流估计设计了一种运动掩膜处理方法,有效剔除了场景中动态物体像素信息;其次,对于场景中的重复结构和均匀纹理区域,通过数据驱动从轨迹数据中学习车辆的行为模式,建立运动学约束,将车辆运动模型建模为多源时间序列回归模型,避免陷入局部解;最后,结合运动掩膜与运动学模型约束所设计的无监督深度学习框架,对单目相机运动位姿及场景深度进行同步估计,提高了位姿估计精度及模型适应性。在KITTI道路公开数据集和校园低速无人车平台上的实验结果表明,所设计算法的位姿估计精度及深度估计精度优于目前主流无监督单目视觉里程计方法。

融合事件的点线特征法视觉惯性里程计

视觉惯性里程计是机器人实现自主定位的关键技术,事件相机作为一种异步视觉传感器,与传统相机具有互补的特点。针对低光照、光照大幅度变化和高速运动场景,对事件相机的输出和传统图像进行融合,并结合惯性测量单元进行实时点线特征法视觉惯性里程计研究。提出一种从事件流生成事件图像的算法,设计融合事件的点线特征检测方法;基于视觉-惯性紧耦合的思想,设计后端滑动窗口优化算法;进行数据集试验验证和无人机飞行试验验证。在数据集上的试验结果表明:与仅使用传统图像的点线特征法视觉惯性里程计相比,在高速运动的场景下,定位误差平均减少了22%以上;在低光照、光照大幅度变化的场景下,定位误差平均减少了59%以上。

基于图像声呐的里程计研究

为了探究基于图像声呐的里程计实现方法,文章借鉴了基于光学图像的里程计方法,将光学的线性投影模型改进成为更精确的非线性“投影”模型,使其更适合应用于声呐图像的情况。文章提出了从声呐图像到特征检测、特征匹配、运动估计并最终得到声呐里程计的实现思路。针对尺度不变特征匹配问题,结合声呐图像分辨力低且信噪比低的特点,提出了更稳健的匹配方法,有效地降低了特征点异常匹配出现的频率,通过半物理仿真实验验证了使用文中方法可以有效地得到声呐运动轨迹,为基于图像声呐的里程计研究提供了参考。

基于注意力卷积神经网络的视觉里程计

传统的视觉里程计(visual odometry,VO)要求图像含有大量的纹理信息,且求解过程较为复杂。针对以上问题提出基于注意力卷积神经网络的视觉里程计,对相机进行端到端的位姿估计,利用注意力机制提高模型估计轨迹的精度。首先,使用注意力-卷积神经网络(convolutional neural networks,CNN)模块提取图像特征;然后,将特征输入到门控循环单元(gated recurrent unit,GRU)学习图像的时序连接性;最后,通过全连接层降维输出相机位姿。在KITTI数据集上完成实验,并与其他方法进行对比,结果表明卷积网络中加入注意力机制可以有效提高轨迹估计的精度,且误差低于其他视觉里程计算法。

基于SINS速度信息的里程计参数快速标定方法

针对里程计标度因数误差和安装误差对捷联惯导/里程计组合导航精度的显著影响,提出一种基于短时捷联惯导系统(strapdown inertial navigation system,SINS)速度信息的里程计参数标定方法.通过建立航位推算误差模型,构建惯性测量单元(inertial measurement unit,IMU)坐标系内惯导系统输出速度与里程计输出之间的关系式,得到里程计参数的计算公式;利用最小二乘法对里程计标度因数和安装误差进行标定.该方法只利用了捷联惯导信息,在1 min内就可实现里程计参数的初次标定,不需要相关参数误差值为小量的假设,并可以忽略杆臂效应对标定效果的影响.试验结果表明:当车辆行驶30 min后,利用该方法标定后的水平航位推算精度比传统标定方法定位精度高92.3%.

一种在线更新的单目视觉里程计

现有的基于深度学习的视觉里程计(visual odometry,VO)训练样本与应用场景存在差异时,普遍存在难以适应新环境的问题,因此提出了一种在线更新单目视觉里程计算法OUMVO。其特点在于应用阶段利用实时采集到的图像序列在线优化位姿估计网络模型,提高网络的泛化能力和对新环境的适用能力。该方法使用了自监督学习方法,无须额外标注地面真值,并采用了Transformer对图像流进行序列建模,以充分利用局部窗口内的视觉信息,提高位姿估计精度,以避免传统方法只能利用相邻两帧图像来估计位姿的局限,还可以弥补采用RNN进行序列建模无法并行计算的缺点。此外,采用图像空间几何一致性约束,解决了传统单目视觉里程计算法存在的尺度漂移问题。在KITTI数据集上的定量和定性实验结果表明,OUMVO的位姿估计精度和对新环境的适应能力均优于现有的先进单目视觉里程计方法。

基于改进卡尔曼滤波的轻量级激光惯性里程计

针对移动机器人长期的实时定位和运行的稳定性较差的问题,在激光里程计FAST-LIO2的基础上,提出LCG-LIO,其较FAST-LIO2具有更少的计算量和更高的定位精度.相较于FAST-LIO2,LCG-LIO前端加入了提出的双向降维曲率滤波的高质量平面与地面点云提取和分割的方法,通过点云伪占用的方法,平衡了平面和地面点的数量.在后端优化中,改进了卡尔曼滤波的观测误差方程和观测误差雅可比矩阵的构建方法,在观测误差方程中加入了GPS约束,通过伪轨迹加权的方法,纠正了里程计的累计漂移.通过KITTI数据集和自己采集的数据集,对提出的方法进行实验.结果表明,提出方法的精度和效率较FAST-LIO2提高了55.13%和53.01%,提出的GPS信息融合方法较LIO-SAM中的因子图优化方法具有更高的可行性.

基于多类别特征点匹配的紧耦合激光惯性里程计

针对现有的激光SLAM在室外动态场景建图时,LiDAR数据存在运动畸变、地面采样数据稀疏造成激光里程计精度低的问题,提出了一种基于多类别特征点匹配的IMU紧耦合里程计方法。首先,从原始点云数据入手,通过IMU数据对每一帧LiDAR数据进行线性插值校正畸变点云,以提高LiDAR数据的质量;其次,对畸变校正后的点云进行2D网格投影,根据每个网格与其相邻网格的最小高度平均值大小,利用双阈值将网格中点云划分为地面点和非地面点,再根据局部特征的线性度、平面度、曲率等,将非地面点进一步划分得到多类别特征点;再次,对多类别特征点匹配的IMU紧耦合进行建模,考虑到原本的LiDAR观测误差无法提供高精度的重力矢量估计,引入IMU状态估计,构建里程计误差函数,使得重力矢量估计得到进一步约束,抑制了重力矢量方向上的漂移,有效提升了激光里程计的精度;最后,基于LeGO-LOAM框架设计了基于多类别特征点匹配的IMU紧耦合激光里程计,并完成了验证系统的搭建。实验结果表明,该方法能有效抑制重力矢量方向上的漂移,提高激光里程计的精度。

ELPVO:基于I/O流水优化的超低功耗视觉里程计

视觉里程计赋予了机器人自主定位与构建环境地图的能力,被广泛应用在各类无人设备上。视觉里程计涉及大量的图像处理计算,但其部署平台多数仅具备极为有限的计算资源,限制了其使用范围。针对现有低功耗视觉里程计存在的I/O瓶颈,提出一种面向STM32F7嵌入式平台的基于RGB-D相机的高速低功耗视觉里程计ELPVO。ELPVO充分考虑STM32F7平台的硬件资源,通过DMA传输提高处理器使用效率,进而在算法精度没有变化的情况下提升处理速度。在搭载216 MHz ARM Cortex■-M7处理器的STM32F767嵌入式平台上,以TUM RGB-D数据集作为测试基准,ELPVO对320×240分辨率的图像处理速度可以达到26 fps,整体运行速度提升了84%,运行功耗维持在0.7 W。