基于图优化的GNSS/双目视觉/惯性SLAM系统开发及应用

为提高机器人室外长航时定位精度,提出一种基于图优化的全球导航卫星系统(GNSS)/双目视觉/惯性同时定位与建图(SLAM)系统开发及应用。将空间中的线特征作为几何约束的补充,集成至前端的特征提取及后端的位姿优化线程,提升位姿解算精度。同时,以因子图构建联合优化的图结构,并推导出全局观测误差模型。近200 m的BullDog-CX机器人巡检结果表明,所提算法相比于VINSFusion和PL-VINS分别取得约12.6%及3.4%的定位精度提升,为室外机器人长航时导航提供了一种可行方案。

基于点线的视觉惯性导航系统初始化方法

视觉惯性导航系统在初始化阶段解算出系统初始位姿、惯性测量单元(IMU)零偏以及单目尺度因子,能极大程度上保证系统收敛。为解决视觉惯性导航系统在点特征缺失环境下初始化效果差甚至失败的问题,提出了一种基于点线的视觉惯性导航系统初始化方法。首先,通过几何方法在滑动窗口内构造了一个基于点线的结构,该结构相比于点结构具有更丰富的先验信息;其次,使用从运动中恢复结构(Sf M)的方法,恢复点线结构的运动状态;最后,以松组合的形式对齐结构的运动状态以及IMU预积分结果,求解出IMU零偏、重力加速度、速度和尺度因子等初始量。实验结果表明:在点特征缺失的公共数据集上,相较于基于点特征的初始化方法,所提方法的均方根定位误差减少6%,初始误差显著降低,同时具有更好的建图结果。

一种全局低偏的视觉/惯性/弱定位辅助融合导航系统

以视觉惯性为核心的导航技术在长期运行工况下误差会不断累积,进而产生严重的轨迹偏移。针对该问题,提出一种全局低偏的视觉/惯性/弱定位辅助融合导航系统。该系统以视觉惯性里程计高频率、高局部精度特性为基础,在室内外不同场景中,提供可选的全局信息辅助方案,融合卫星导航原始信息、超声基站测距信息以及视觉靶标定位辅助信息,实现室内外一体化全局低偏导航。搭建数据平台采集现实数据,基于激光点云匹配方法生成轨迹真值,将本文方法与VINS-Mono方法和ORBSLAM3方法进行导航精度评估对比,证明所提出的系统在全天候室内外不同光照环境中鲁棒性最好,在局部和全局都具备最优的导航精度。

动态场景下基于3D多目标追踪的实时视觉SLAM方法研究

近年来一些解决动态场景下的SLAM技术被提出,其中SLAM与MOT结合的技术路线不仅可解决动态场景问题,还可以提高系统对周围场景的理解,获得了更大关注。本文介绍了一种高效的实时在线视觉SLAMMOT融合系统,以双目视觉或RGBD作为输入,只须借助2D目标检测网络,便能高效、准确、鲁棒地跟踪相机以及动态目标的位姿,并生成稀疏点云地图。为提高多动态目标追踪的精度与准确度,引入了级联匹配与IOU匹配结合的策略;利用阿克曼转向模型来简化追踪目标的运动,减少求解动态目标位姿所需匹配点的数量;利用因子图将相机与动态目标的追踪结果进行联合优化,同时提高相机、追踪目标的位姿和地图点的精度。最后在KITTI跟踪数据集上与其他方法进行比较。结果表明,在满足实时性要求的前提下,该方法仍能准确地追踪相机以及动态目标位姿。

多无人系统协同视觉SLAM算法

针对传统同时定位与地图构建(SLAM)方法受计算能力、存储能力的限制无法在大范围场景下作业,无法建立大范围场景的全局一致性地图等问题,基于ORB-SLAM2系统框架建立了一种中心式的多无人系统协同视觉SLAM算法。设计了地图大小限制策略,以保证无人系统不受机载设备算力和存储能力的影响,基于字典机制和Sim3转换构建了地图融合优化算法,以完成全局地图构建与优化。最后进行了数据集测试,结果表明:所提出算法能够完成多无人系统协同SLAM,相对传统SLAM算法具有明显优势。

直接法和共视图优化的视觉惯性SLAM系统研究

视觉SLAM系统在相机快速旋转或光照频繁变化时,极易跟踪丢失。为此,提出一种基于直接法和共视图优化的紧耦合视觉惯性SLAM系统,融合IMU信息提高系统的鲁棒性,采用直接法前端提高系统的实时性,共视图优化后端提高系统的定位精度。该系统由前端和后端以及回环检测三个模块组成。跟踪线程利用IMU信息和基于稀疏图像对齐的直接法进行初始位姿估计;后端采用共视图的方法,以当前帧的二级相邻共视关键帧范围为局部优化窗口,利用光束平差法(Bundle Adjustment,BA)对系统状态变量进行优化;另外,仅对关键帧提取ORB特征点,并计算描述子信息供回环检测使用。在TUM VI数据集上的实验证明,与ORB-SLAM3和VINS-mono相比,该算法提高了系统的定位精度,且位姿估计速度提高了50%以上,在一帧完整跟踪任务中,比VINS-mono实时性提高了26%。

一种基于目标检测的动态环境下视觉定位系统

传统的基于同时定位与建图模型的视觉定位方法需要满足目标点静止假设,但大多数小型机器人的实际应用场景为动态,这限制了现有视觉定位算法在小型机器人上的使用。为此,文中使用YOLOv5卷积神经网络对环境中的动态目标进行检测,然后剔除分布在图中的移动特征点,进而改进位姿估计准确性的动态消除方法,并将此方法集成于ORBSLAM2视觉定位系统。改进方案在TUM公共动态数据集上的测试结果表明,基于YOLOv5的检测方法能够快速、准确地识别场景中的动态目标,并显著降低动态环境下位姿估计的绝对误差和相对漂移,是一种有效的动态场景视觉定位方案。

一种基于线特征约束的无人机双目视觉SLAM算法

为了解决点特征SLAM算法在低纹理环境中精度下降的问题,提出了一种基于线特征约束的无人机双目视觉SLAM算法。首先,将双目相机观测线特征分为单目相机在两帧下观测、双目相机在两帧下观测、双目相机在一帧下观测3种情况;然后,计算了3种情况下的残差块和雅可比矩阵;最后,利用所提线特征约束改进了VINS-Fusion算法。在EuRoC数据集上进行实验验证,结果表明提出的算法在数据集半数以上的场景中都有良好的表现,相较于改进前的VINS-Fusion算法定位精度平均提升13.2%。

针对视觉/惯导系统的异常数据检测算法研究

视觉/惯导航系统(VINS)中传感器异常数据的故障检测(FD)方法对提高系统的定位性能和可靠性至关重要。然而,基于视觉/惯导航系统的异常数据检测与排除方法的研究相对较少。提出一种基于传感器测量残差的异常数据检测算法(VINS-ORFD),通过对相机和IMU异常数据进行主动检测并过滤,提升系统可靠性。基于TUM数据集的测试结果表明,该算法不仅可以实现视觉和IMU传感器异常数据快速检测,还能提升至少22.66%的定位精度(RMSE)。

视觉惯性导航系统初始化方法综述

视觉惯性导航系统通过初始化,对尺度信息、重力向量、速度、惯性传感器偏差等一系列状态估计所需参数进行快速求解,以提升系统后续导航定位与环境感知的准确性。根据传感信息耦合方式,视觉惯性导航系统初始化方法可以分为三类:联合初始化、非联合初始化和半联合初始化。基于现有研究工作,从基础理论、发展与分类、现有方法、性能评估四个方面展开,对目前主流的初始化方法进行综述,并总结视觉惯性导航系统初始化领域未来的发展趋势,有利于对视觉惯性导航系统初始化方法形成总体性了解并把握其发展方向。

基于视觉惯性融合的煤矿巷道掘进机定位系统研究

随着我国现代化建设的不断深入,国家对于能源安全的需求愈发迫切,煤矿作为我国能源的重要组成部分,发展煤矿产业开始受到了国家的高度重视,巷道掘进工作是煤矿开采工作的重要组成部分,其智能化研究相对缓慢,无法跟上煤矿综采工作面的智能化建设需求,在一定程度上延缓了我国煤矿开采综合发展速度。在这一时代背景下,本文以煤矿巷道掘进工作中使用的巷道掘进机为研究对象,结合视觉定位技术、惯性定位技术,对复杂情况下的煤矿巷道掘进机定位进行了综合分析,在此基础上,本文构建了多状态约束下的掘进机视觉/惯性融合自主定位系统,误差基本能够满足定位精度要求。

一种视觉辅助的惯性导航系统动基座初始对准方法

针对惯性导航系统动基座初始对准问题,提出了一种视觉辅助的惯导系统动基座初始对准方法。建立了视觉与惯导系统测量模型,考虑了特征点位置已知和未知两种情形,分别推导了视觉和惯导系统姿态位置间的关系,设计了EKF滤波器。建立了两种情形下的滤波观测方程,设计了晃动基座初始对准仿真实验,结果表明在视觉特征点位置已知和未知两种条件下,滤波器状态均能收敛,特征点位置已知时收敛时间小于30 s,特征点位置未知时收敛时间约为300 s;在陀螺零偏为0.01(°)/h、加速度计零偏为50μg的仿真条件下,对准精度为水平姿态角优于0.004°,方位角优于0.06°。提出的视觉辅助惯导系统动基座初始对准是一条较新且可行的思路。

一种适用于高动态强干扰环境的视觉辅助微机械捷联惯性导航系统/全球定位系统超紧组合导航系统

为解决高动态、恶劣全球定位系统(GPS)环境下微机械捷联惯性导航系统(MEMSSINS)/GPS超紧组合导航系统抗干扰能力差的问题,提出一种适用于高动态强干扰环境的视觉辅助MEMS-SINS/GPS超紧组合导航系统。将双目视觉提供的姿态信息引入MEMS-SINS/GPS超紧组合系统中,提高了平台失准角的可观测性;推导了系统的状态方程和量测方程,使用模糊控制方法对两个子滤波器的导航结果进行信息融合。通过数字仿真验证了该系统方案设计的可行性:当GPS信号受到强噪声或多径干扰造成跟踪精度下降时,双目视觉辅助MEMS-SINS/GPS超紧组合系统可以有效降低导航误差,系统位置误差和速度误差分别保持在5. 0 m和0. 5 m/s以内,有效地解决了低空飞行器在GPS信号被遮挡或干扰情况下的导航问题。

一种新的惯性/视觉组合系统初始对准的时域约束方法

视觉导航作为一种新兴的导航方式,近年来受到越来越多的关注。在惯性/视觉组合导航系统中,惯性子系统和视觉子系统之间的相对位姿参数估计是一个必须解决的重要问题。为此,基于增广时域约束建模,提出了一种组合系统内参标定的方法。该方法首先在惯性/视觉组合系统的传统标定模型的基础上,对系统状态和观测量的时域相关性进行了分析,建立了其时域约束模型;然后,采用可观测性分析方法,对该时域相关的多维非线性模型进行了可观测性分析,证明了时域约束条件的引入,能够改善系统的可观测性。最后对惯性/视觉组合导航系统分别进行了静态和动态实验,结果对比验证了时域约束模型的有效性。

视觉与惯性传感器融合的SLAM技术综述

同时定位与建图(SLAM)是指当机器人在未知的环境中运行时能够自动绘制环境地图,同时确定自身在地图中的位置。融合视觉和惯性传感器获取的数据来实现实时的高精度和鲁棒的SLAM,是当前智能机器人领域的研究热点。为了全面深入地认识VI-SLAM系统,首先,分析了4种典型的VI-SLAM系统;其次,综述了视觉惯性里程计、定位和建图技术方面的最新成果;再次,比较分析了VI-SLAM研究平台;最后,总结展望了未来的发展趋势。

GNSS/SINS/视觉导航鲁棒算法

全球导航卫星系统(Global Navigation Satellite System, GNSS)、捷联惯性导航系统(Strapdown Inertial Navigation System, SINS)和视觉传感器优势互补,3者信息融合可获得高精度、无漂移的导航定位信息.针对GNSS/SINS/视觉融合导航易受运动速度、光照变化、遮挡等影响导致定位精度和鲁棒性降低问题,本文在图优化框架的代价函数中加入SoftLOne鲁棒核函数,设置量测值粗差检验程序,降低离群点带来的负面影响.进一步,对量测值计算残差进行卡方检验,对超限残差降权处理,提高系统精度和鲁棒性.实验结果表明,本文算法较不施加鲁棒核函数、不采用异常值剔除策略和卡方检验的传统算法,以及加入其他鲁棒核函数的算法精度更高、鲁棒性更好,能够较大程度提升GNSS/SINS/视觉导航定位精度和鲁棒性,在大尺度环境下,未出现较大漂移误差,绝对位姿均方根误差0.735 m,绝对位姿误差标准差0.336 m.

一种基于光流-线特征的单目视觉-惯性SLAM算法

以实现机器人导航系统的高精度实时定位为目标,针对弱纹理环境下视觉SLAM运行不稳定、累积误差大,以及快速运行时算法失锁等问题,提出一种基于光流-线特征的单目视觉-惯性SLAM算法(PL-VINS)。参考开源的VINS-Mono系统架构,通过视觉-惯性联合初始化估计PL-VINS初始时刻的状态,为后端线程提供良好的初始值。在此基础上,整合回环检测误差、惯性误差及点线视觉重投影误差,构建目标优化函数,并利用滑动窗口双向边缘化策略,实现回环检测与重定位。采用通用开源数据集EuRoc评估PL-VINS性能并与VINS-Mono做对比,实验表明,在某些特定的场景下,PL-VINS的导航定位精度上要高于VINS-Mono,且增强了VINS在弱纹理环境下的适应性,为短时快速、非理想光照场景下的视觉SLAM设计提供了重要的模型参考。

动基座视觉双惯性姿态测量数据融合方法研究

由于视觉传感器与惯性传感器的高度互补性,视觉和惯性融合是一种常见的姿态测量手段。随着机载、车载等仪器设备的迅速发展,传统静止基座下的姿态测量已无法满足一些实际应用场景的需求。由于受到基座运动信息的干扰,很难对动基座上的目标物进行准确、快速的姿态测量。为了发挥视觉和惯性融合的优势,并实现动态基座下的目标物相对姿态测量,提出了一种基于单目视觉与双陀螺仪的姿态测量系统。分析了测量系统中坐标系的建立以及坐标系之间相对关系,提出了坐标系归一化方案,并利用容积卡尔曼滤波对视觉和惯性结果进行融合,实现了高精度、大范围、快速、稳定的姿态测量。在搭建的视觉和惯性融合姿态测量系统平台上进行了实验验证,结果证明该系统坐标系归一方案与融合算法的有效性。实验结果表明,所搭建系统具有较高的准确度,融合后的俯仰角和方位角的均方根误差(RMSE)均不超过0.1°。

视觉惯性SLAM综述

对视觉SLAM、惯性导航和视觉惯性SLAM进行了介绍,详细介绍了视觉SLAM的框架结构和细分部分,罗列了近年来出色的视觉SLAM模型。最后在视觉惯性里程计的(visual inertial odometry,VIO)基础上对现有的不同派别的开源视觉惯性SLAM进行深入分析与比较,探讨视觉惯性SLAM的发展趋势与动向。

基于图优化的紧耦合双目视觉/惯性/激光雷达SLAM方法

基于单一传感器的同时定位与地图构建技术已经逐渐不能满足移动机器人、无人机及自动驾驶车辆等智能移动载体日益复杂的应用场景。为了进一步提升移动载体在复杂环境下的定位与建图性能,基于多传感器融合的SLAM技术成为目前研究的热点内容。本文提出了一种基于图优化的紧耦合双目视觉/惯性/激光雷达SLAM方法(S-VIL SLAM),该方法在视觉惯性系统中引入激光雷达原始观测,基于滑动窗口实现了IMU量测、视觉特征及激光点云特征的多源数据联合非线性优化。利用视觉与激光雷达的互补特性设计了视觉增强的激光雷达闭环优化算法,进一步提升了多源融合SLAM系统的全局定位与建图精度。为了验证本文算法的性能,利用自主搭建的集成多传感器的硬件采集平台在室外场景下进行了车载试验。试验结果表明,本文提出的紧耦合双目视觉/惯性/激光雷达里程计相比于紧耦合双目视觉惯性里程计和激光雷达里程计定位定姿性能显著提升,视觉增强的激光雷达闭环优化算法能够在大尺度场景下有效探测出轨迹中的闭环信息,并实现高精度的全局位姿图优化,经过闭环优化的点云地图具有良好的分辨率和全局一致性。