未知环境下基于视觉与激光融合的SLAM系统研究与实现

在未知环境中实现机器人的自主导航与环境建图是一个极具挑战的研究课题,SLAM是应对这一挑战的关键技术之一。基于研究现状分析、系统方案设计、技术实现与实验验证等内容,结合视觉与激光各自的优势,设计一种未知环境下基于视觉与激光融合的SLAM系统。通过针对关键帧和滑动窗口的平衡选取策略以及分类优化策略对初始位姿和特征点进行优化,提高了系统的鲁棒性,可以输出高精度地图;通过实现以智能小车为载体的演示系统验证了所提出算法的可行性和实用性。

融合激光SLAM与视觉SLAM技术在矿山地下环境勘查与治理中的应用研究

随着“数智化”矿山建设、绿色低碳发展和技术创新多元化发展,传统依靠GNSS信号的测量方法在露天矿地质环境勘查中应用较多,针对地下环境中由于信号差、作业效率低、测量精度低等问题导致矿山地下环境勘查与治理的应用方法研究相对不足。本文通过融合激光SLAM和视觉SLAM技术获取矿山地下矿道的高精度三维点云数据和高分辨率影像数据,再将点云数据与影像数据进行匹配融合构建地下矿道的精细化三维模型。基于该模型定性、定量的获取矿山地下环境精确的地质结构、三维数值等特征信息,能够在矿山地下环境勘查与治理建设的开采优化、残矿回收、空区充填设计、安全监测与管理等诸多环节中提供科学有效的技术及数据支撑。

基于视觉与激光融合的井下灾后救援无人机自主位姿估计

无人机在灾后矿井的自主导航能力是其胜任抢险救灾任务的前提,而在未知三维空间的自主位姿估计技术是无人机自主导航的关键技术之一。目前基于视觉的位姿估计算法由于单目相机无法直接获取三维空间的深度信息且易受井下昏暗光线影响,导致位姿估计尺度模糊和定位性能较差,而基于激光的位姿估计算法由于激光雷达存在视角小、扫描图案不均匀及受限于矿井场景结构特征,导致位姿估计出现错误。针对上述问题,提出了一种基于视觉与激光融合的井下灾后救援无人机自主位姿估计算法。首先,通过井下无人机搭载的单目相机和激光雷达分别获取井下的图像数据和激光点云数据,对每帧矿井图像数据均匀提取ORB特征点,使用激光点云的深度信息对ORB特征点进行深度恢复,通过特征点的帧间匹配实现基于视觉的无人机位姿估计。其次,对每帧井下激光点云数据分别提取特征角点和特征平面点,通过特征点的帧间匹配实现基于激光的无人机位姿估计。然后,将视觉匹配误差函数和激光匹配误差函数置于同一位姿优化函数下,基于视觉与激光融合来估计井下无人机位姿。最后,通过视觉滑动窗口和激光局部地图引入历史帧数据,构建历史帧数据和最新估计位姿之间的误差函数,通过对误差函数的非线性优化完成在局部约束下的无人机位姿的优化和修正,避免估计位姿的误差累计导致无人机轨迹偏移。模拟矿井灾后复杂环境进行仿真实验,结果表明:基于视觉与激光融合的位姿估计算法的平均相对平移误差和相对旋转误差分别为0.0011 m和0.0008°,1帧数据的平均处理时间低于100 ms,且算法在井下长时间运行时不会出现轨迹漂移问题;相较于仅基于视觉或激光的位姿估计算法,该融合算法的准确性、稳定性均得到了提高,且实时性满足要求。

激光雷达融合机器视觉的物流分拣多目标视频跟踪

为了实现物流分拣多目标精准跟踪,提出一种激光雷达融合机器视觉的物流分拣多目标视频跟踪方法。通过激光雷达采集检测环境内的点云数据,并对其滤波处理。将机器视觉采集的物流分拣视频去噪,采用Sobel边缘检测算子检测去噪后的图像边缘,引入分裂合并算法对去噪图像展开多区域分割处理,获取比较明显的多目标视频区域。利用透视变换原理对图像数据融合处理,实时确定目标位置,实现物流分拣多目标视频跟踪。经过实验测试证明,所提方法的物流分拣多目标视频跟踪结果准确率超过95%,且延误时间控制在13 ms以内。

基于IMU与激光雷达融合的无人弹药补给车SLAM系统研究

针对单一传感器建图精度低、实时性不足的问题,将IMU融合到激光雷达SLAM算法中。首先,采用手眼标定方法对2种传感器坐标系外参进行标定,实现传感器在时间与空间上的对齐。然后,结合因子图优化模型,解决在建图过程中产生的漂移现象,并将IMU融合到激光雷达LeGO-LOAM算法中。最后,在室外场景下搭建了无人弹药补给车SLAM实验平台,分别进行了LeGO-LOAM算法融合IMU前后的建图和定位试验。结果表明,融合IMU后的SLAM算法建图和定位精度都明显提高,满足了在未知环境下无人弹药补给车建图和定位的性能要求。

基于视觉传达技术的激光图像多级融合方法研究

设计了基于视觉传达技术的激光图像多级融合方法,以获得突出的视觉传达效果。首先采用改进单尺度Retinex算法提取原始激光图的反射图像,并通过高斯-拉普拉斯算法的重构获得的多尺度彩色图像,实现原始激光图像的增强,然后采用深度堆叠卷积神经网络对获得高、低频图像,并依据最大局部方差融高频图像,根据匹配度与阈值的对比融合低频图像,最后实验结果表明:堆叠CNN数量为4时,融合后的激光图像视觉传达效果最优,该方法增强后的激光图像局部细节信息丰富、色彩饱满度好,融合图像的图像最大灰度值频率仅为0.015。

基于激光与视觉数据融合的改进SLAM算法

为了提高建图的鲁棒性,本文提出了一种基于激光同时定位与建图(SLAM)与视觉SLAM融合的新算法。传统算法通过传感器数据的距离信息变化量来估计其姿态,在大多数情况下能准确定位机器人的姿态。然而在退化环境中,例如机器人在长廊或者沿着单面的墙壁运动时,传感器周围环境结构特征基本无变化。此时,来自激光传感器的数据不随时间和运动而变化。针对这一问题,本文提出了一种基于激光与视觉数据融合的改进SLAM算法。其主要思想是根据激光测量的结果引入角度置信度,对2种传感器的数据进行加权融合。2种传感器的权值将随角度的变化而变化。实验结果表明,与传统激光SLAM算法相比,算法融合视觉数据后,在走廊等结构退化环境中能实现更好的定位效果,同时建图结果优于传统激光SLAM算法。

融合视觉信息的激光SLAM

针对Gmapping SLAM(simultaneous location and mapping)算法在地图构建过程中对里程计定位精度要求较高且存在粒子耗散、退化等问题,本文首先设计出并行视觉识别与定位网络,用视觉特征与定位信息弥补粒子退化与激光点的漂移,强化定位能力,提高语义信息与构图精度;其次优化提议分布,将观测模型从里程计观测模型变换为激光观测模型并进行高斯采样,用更少的粒子覆盖机器人的概率分布;最后通过贝叶斯规则将视觉信息与激光信息融合,利用仿真工具、机器人平台与原算法进行对比,实验结果表明该算法不仅有效地提高地图构建的精确度与鲁棒性而且丰富了地图的语义信息。

基于迭代卡尔曼滤波器的GPS-激光-IMU融合建图算法

在当前机器人导航和环境感知领域,室外大尺度场景下的三维激光SLAM一直是一个挑战性问题。由于GPS信号在某些环境下的不稳定性和激光SLAM的误差累积特性,传统算法在大尺度场景下表现不佳。针对室外大尺度场景下三维激光SLAM(同步定位和地图构建)存在的误差累积严重问题,本文提出了一种基于迭代卡尔曼滤波器的GPS-激光-IMU融合建图算法。该算法通过利用惯性测量单元(IMU)数据对机器人状态进行预测,同时以激光和全球定位系统(GPS)数据作为观测,更新机器人状态,推导出观测方程和雅可比矩阵,显著提高了建图的精度和鲁棒性。里程计中融合GPS数据的绝对位置信息以解决长时间运行中的误差累积问题。在特征稀疏的环境中,由于约束不足可能导致算法崩溃,GPS数据的引入可以提高系统的鲁棒性。此外,重力对于IMU数据预测机器人状态起到关键的作用。虽然重力是三维向量,但在不发生区域变化的情况下,其模长是不变的,因此被视为二自由度向量。通过将重力的优化转化为旋转矩阵群上的优化,成功避免了重力过参数化的问题,提高了算法的精度。在室外场景下与其他算法进行了性能测试对比并且验证了在大尺度场景下的鲁棒性和精度,结果表明:本文算法的均方根误差为0.089 m,与其他算法相比降低了54%。

基于视觉激光惯性相结合的机器人SLAM算法

针对弱纹理环境下SLAM系统只依靠单一传感器鲁棒性较差的问题,提出一种视觉、单线激光雷达与惯性相结合的机器人SLAM算法。在视觉与雷达预处理阶段,视觉提取点线特征,同时雷达帧间匹配过程采用激光点到其最近两个点连线的距离构建误差方程,实现更高精度匹配效果。采用惯性传感器与轮速里程计进行雷达运动畸变校正,同时雷达估计信息为单目点线特征三角化提供良好深度值,再利用点线视觉信息、雷达点云信息与惯性测量单元紧耦合优化机制提高机器人SLAM的精确度。最后,将该方法在仿真环境和真实弱纹理环境进行实验。结果表明:该方法定位准确率达到98.6%,在弱纹理环境中定位效果具有较强的鲁棒性和准确性,满足实际需求。

基于图优化的GNSS/双目视觉/惯性SLAM系统开发及应用

为提高机器人室外长航时定位精度,提出一种基于图优化的全球导航卫星系统(GNSS)/双目视觉/惯性同时定位与建图(SLAM)系统开发及应用。将空间中的线特征作为几何约束的补充,集成至前端的特征提取及后端的位姿优化线程,提升位姿解算精度。同时,以因子图构建联合优化的图结构,并推导出全局观测误差模型。近200 m的BullDog-CX机器人巡检结果表明,所提算法相比于VINSFusion和PL-VINS分别取得约12.6%及3.4%的定位精度提升,为室外机器人长航时导航提供了一种可行方案。

融合IMU信息的三维激光SLAM方法

针对激光雷达SLAM(Simultaneous Localization and Mapping)算法定位精确度不高且鲁棒性较差的问题,文中提出了一种融合IMU(Inertial Measurement Unit)数据到三维点云配准过程的SLAM方法。在LeGO-LOAM(Lightweight and Ground-Optimized Lidar Odometry and Mapping on Variable Terrain)算法的研究基础上,在地面点提取环节引入IMU数据,将点云映射到世界坐标系下,减小载体抖动对地面点提取的影响。利用IMU输出信息消除点云由于载体运动产生的畸变,增强算法的鲁棒性。使用三点聚类法对一帧点云进行聚类分析,减少杂点的干扰,加快点云配准过程,提高了算法定位精度;同时引入闭环检测,减小匹配过程中的累积误差,得到全局最优解。结果表明,在大型户外干扰较多的环境中,改进SLAM算法减少了求解得到的轨迹波动,提升了点云配准精度,增强了算法的鲁棒性。

煤矿井下移动机器人多传感器自适应融合SLAM方法

基于同时定位与建图(SLAM)技术的移动机器人能够快速、准确、自动化地采集空间数据,进行空间智能感知和环境地图构建,是实现煤矿智能化和无人化的关键。针对目前煤矿井下多传感器融合SLAM方法存在机器人前端位姿估计退化失效和后端融合精度不足的问题,提出了一种煤矿井下移动机器人激光雷达(LiDAR)−视觉−惯性(IMU)自适应融合SLAM方法。对LiDAR点云数据进行聚类分割,提取线面特征,利用IMU预积分状态进行畸变校正,采用基于自适应Gamma校正和对比度受限的自适应直方图均衡化(CLAHE)的图像增强算法处理低照度图像,再提取视觉点线特征。用IMU预积分状态为LiDAR特征匹配与视觉特征跟踪提供位姿初始值。根据LiDAR相邻帧的线面特征匹配得到移动机器人位姿,之后进行视觉点线特征跟踪,分别计算LiDAR、视觉、IMU位姿变化值,通过设定动态阈值来检测前端里程计的稳定性,自适应选取最优位姿。对不同传感器构建残差项,包括点云匹配残差、IMU预积分残差、视觉点线残差、边缘化残差。为了兼顾精度与实时性,基于滑动窗口实现激光点云特征、视觉特征、IMU测量的多源数据联合非线性优化,实现煤矿井下连续可用、精确可靠的SLAM。对图像增强前后效果进行试验验证,结果表明,基于自适应Gamma校正和CLAHE的图像增强算法能显著提升背光区和光照区的亮度和对比度,增加图像中的特征信息,大幅提升特征点提取数量和匹配质量,匹配成功率达90.7%。为验证所提方法的性能,在狭长走廊和煤矿巷道场景下进行试验验证,结果表明,所提方法在狭长走廊场景的定位均方根误差为0.15 m,构建的点云地图一致性较高;在煤矿巷道场景中的定位均方根误差为0.19 m,构建的点云地图可真实地反映煤矿井下环境。

基于雷达与相机融合的动态SLAM算法

针对基于激光雷达的SLAM系统在动态环境下因物体的移动、变形导致的建图与定位精度下降等问题,提出了一种雷达-相机融合的SLAM算法。使用深度学习对图像进行实例分割并将分割结果融合到雷达点云当中,从而剔除动态对象雷达点云。基于LIO-SAM算法整体框架,利用YOLOv5获取图像语义信息,将点云投影到像素坐标系下得到点云语义信息,据此剔除其中的动态对象点云,有效地提升了算法在动态场景下的定位精度。在开源数据集KITTI对算法进行实验验证,其绝对位姿误差均值比LIO-SAM下降了3.48%,中值下降了4.85%,均方根误差下降了2.86%。

多传感器融合的移动机器人室外激光SLAM算法优化与系统实现

针对移动机器人室外环境开阔场景大范围建图时,激光雷达里程计位姿计算不准确从而导致SLAM算法精度下降等问题,设计了一种基于多传感器融合的SLAM优化算法。算法上,通过前端里程计优化提升SLAM算法的可靠性,将适用于室外的GNSS等传感器信息与激光里程计融合,在技术上实现了扩展卡尔曼滤波的轻量化并将其嵌入于LOAM算法架构中,在尽可能不增加资源负担的情况下对前端里程计进行改进;在优化算法基础上,搭建了实际移动机器人平台并移植算法,实现了可供参考的多传感器融合硬件方案与扩展卡尔曼滤波在实际工程中处理多传感器数据的方法。真实场景下的实验结果表明,在增加了里程计运算量后算法仍能稳定保持10 Hz的室外建图,在复杂开阔环境与低成本条件下具有可靠性与可行性。

基于异构数据融合的SLAM研究综述

激光与视觉SLAM技术经过几十年的发展,目前都已经较为成熟,并被广泛应用于军事和民用领域.单一传感器的SLAM技术都存在局限性,如激光SLAM不适用于周围存在大量动态物体的场景,而视觉SLAM在低纹理环境中鲁棒性差,但两者融合使用具有巨大的取长补短的潜力,激光与视觉甚至是更多传感器融合的SLAM技术将会是未来的主流方向.本文回顾了SLAM技术的发展历程,分析了激光雷达与视觉的硬件信息,给出了一些经典的开源算法与数据集.根据融合传感器所使用的算法,从传统基于不确定度、基于特征以及基于深度学习的角度详细介绍了多传感器融合方案,概述了多传感器融合方案在复杂场景中的优异性能,并对未来发展作出了展望.

视觉与激光融合SLAM研究综述

在分析归纳视觉SLAM和激光SLAM优缺点的基础上,对视觉和激光融合SLAM的研究进行了梳理和总结;重点介绍了视觉和激光融合SLAM方法,主要包括视觉和激光传感器的标定及融合SLAM算法;探讨了现有研究存在的问题和不足,认为现有的融合多是松耦合算法,并未真正实现数据层面融合;梳理了视觉激光融合SLAM的最新研究进展,包括深度学习和多智能体的结合;最后提出两种传感器在数据层面的融合研究,机器学习技术与SLAM结合将成为未来的主要研究方向。

基于激光与视觉融合的复合机器人高精度导航系统

面向复合机器人操作、转运对于导航定位精度和稳定性的重要需求,融合激光雷达与视觉定位设计了一套高精度导航定位系统,有效克服了激光雷达灵活导航或视觉标志物高精度定位单一功能的局限性。该系统分两阶段实现高精度定位导航。首先,利用SLAM(simultaneous localization and mapping)算法实现环境地图的构建;其次,通过激光雷达、IMU(inertial measurement unit)实现第一阶段灵活定位导航,并添加三维激光雷达来增强避障功能;最后,利用视觉识别方法实施第二阶段的高精度导航定位,将精度进一步提高到10 mm以内。实验结果表明所设计的复合机器人(移动平台和抓取机械臂)导航定位系统能够稳定运行,平均定位精度为5.1 mm,相较于调整前提升了82.7%,并在室内场景验证应用。

基于二维激光雷达和多超宽带的图优化融合定位研究

特殊环境下单纯激光雷达的定位方式以及单超宽带(UWB)融合激光的定位方式容易出现定位漂移、精度较差、激光雷达建图时不断的叠图问题。基于激光雷达与UWB超宽带传感器定位模型差异,利用两者优劣互补原则,提出多UWB位姿动态误差补偿算法,利用多UWB定位标签获取移动机器人坐标以及姿态。使用滑动窗口滤波算法和多UWB位姿动态误差补偿算法处理UWB定位数据得到先验位姿,通过图优化算法与激光雷达进行融合得到更加精准的地图、更加精确收敛和航向角更稳定的移动机器人位姿。

激光雷达与视觉融合的跟随运输机器人设计

针对柑橘园采收运输劳动力缺乏以及自主导航方式实现难度较大的问题,设计跟随导航的方式实现柑橘的自动化运输。基于激光雷达和视觉信息融合,采用HSV阈值分割图像,获取采摘引导机器人的方向,并在方向范围内聚类识别引导机器人标志物点云,获得运输跟随机器人与采摘引导机器人之间的相对位姿,并通过控制算法使运输机器人进行跟随完成自主导航。在模拟环境中对该系统进行测试,结果系统在最大0.5 m/s的速度下,直线跟随时平均纵向偏差1.5 cm,平均横向偏差1.0 cm,平均航向角偏差1.107°,弧线轨迹下持续跟随目标,跟随机器人在行间的停车试验也基本满足工作要求。系统为柑橘自主运输机械提供了技术支撑,为实际果园工作奠定基础。