基于单目视觉的轮式机器人同步定位与地图构建

如何降低计算复杂度是视觉机器人同步定位与地图(SLAM)构建的热点问题。提出一种基于单目视觉的低计算复杂度的轮式机器人同步定位与地图构建算法。该算法在观测步通过图像处理与分析,识别特征点并进行定位,将轮式机器人的视觉投影与空间物体的几何关系转换为计算机器人相对特征点的距离和角度。整体算法步骤按照预测、观测、数据关联、更新、地图构建的递推算法进行同步定位与地图构建。提出的算法可识别环境目标,并进行平滑运动。在滤波观测步只处理单帧图像数据,和Active Vision和立体视觉方法相比,降低了算法的计算复杂度。

基于点线特征的视觉同时定位与地图构建综述

同时定位与地图构建(simultaneous localization and mapping,SLAM)作为计算机视觉中的热门方向,在无人驾驶、移动机器人等领域中发挥着重要的作用。由于线特征在低纹理环境下的优势,越来越多的研究人员利用点线特征融合的方法提高SLAM系统的精度和鲁棒性。文中首先简要阐述了传统的点特征SLAM系统在低纹理环境下的局限性,并对现有的视觉SLAM综述文献进行了总结;随后,对经典的点线SLAM方案进行了介绍,并总结了点线特征融合在前端、后端、闭环检测中的研究进展;最后,对点线SLAM未来的发展方向进行了展望。

面向动态环境的视觉惯性定位方法

针对传统的视觉惯性里程计在动态环境下定位精度低和系统鲁棒性差等问题,提出了面向动态环境的视觉惯性定位方法。首先,利用语义分割提取环境中的语义信息,借助环境先验信息识别出动态物体。同时,采用深度生成网络对动态物体区域进行背景修复,生成只包含静态场景的图像,并将生成的图像用于后续的特征提取和跟踪,以减弱动态物体的影响。后端构建了紧耦合的图优化模型,将视觉数据与IMU数据相互融合,在滑动窗口中以非线性优化的方式估计位姿。实验结果表明,方法可以有效降低动态物体对定位的影响,提高系统的定位精度和鲁棒性。

一种基于多波束测深仪的水下同步定位与地图构建方法

数据库辅助导航系统(DBRNS)可以校正惯性导航系统(INS)的累积误差,是自主水下潜航器的重要辅助导航手段,但DBRNS的有效运行依赖于高分辨率的基准图。为解决这一问题,提出一种基于多波束测深仪的图优化同步定位与地图构建(SLAM)方法。该方法在通用图优化SLAM方法的前端部分增加误匹配检测模块,减少了错误闭环对结果造成的不良影响。此外,新方法将局部灰度值编码算法用于闭环检测模块以提高闭环检测的精度。基于真实海底地形图的仿真实验结果表明,相对于通用图优化SLAM方法,采用新方法对INS轨迹进行校正可以取得更高的定位精度。

基于环境语义信息的同步定位与地图构建方法综述

同步定位与地图构建技术(SLAM)是当前机器人领域的重要研究热点,传统的SLAM技术虽然在实时性方面已经达到较高的水平,但在定位精度和鲁棒性等方面还存在较大缺陷,所构建的环境地图虽然一定程度上满足了机器人的定位需要,但不足以支撑机器人自主完成导航、避障等任务,交互性能不足.随着深度学习技术的发展,利用深度学习方法提取环境语义信息,并与SLAM技术结合,越来越受到学者的关注.本文综述了环境语义信息应用到同步定位与地图构建领域的最新研究进展,重点介绍和总结了语义信息与传统视觉SLAM在系统定位和地图构建方面结合的突出研究成果,并对传统视觉SLAM算法与语义SLAM算法做了深入的对比研究.最后,展望了语义SLAM研究的发展方向.

基于单目视觉惯性的同步定位与地图构建方法综述

单目视觉惯性同步定位与地图构建(visual-inertial simultaneous localization and mapping,VI-SLAM)技术因具有硬件成本低、无需对外部环境进行布置等优点,得到了广泛关注,在过去的十多年里取得了长足的进步,涌现出诸多优秀的方法和系统。由于实际场景的复杂性,不同方法难免有各自的局限性。虽然已经有一些工作对VISLAM方法进行了综述和评测,但大多只针对经典的VI-SLAM方法,已不能充分反映最新的VI-SLAM技术发展现状。本文首先对基于单目VI-SLAM方法的基本原理进行阐述,然后对单目VI-SLAM方法进行分类分析。为了综合全面地对比不同方法之间的优劣势,本文特别选取3个公开数据集对代表性的单目VI-SLAM方法从多个维度上进行定量评测,全面系统地分析了各类方法在实际场景尤其是增强现实应用场景中的性能。实验结果表明,基于优化或滤波和优化相结合的方法一般在跟踪精度和鲁棒性上比基于滤波的方法有优势,直接法/半直接法在全局快门拍摄的情况下精度较高,但容易受卷帘快门和光照变化的影响,尤其是大场景下误差累积较快;结合深度学习可以提高极端情况下的鲁棒性。最后,针对深度学习与V-SLAM/VI-SLAM结合、多传感器融合以及端云协同这3个研究热点,对SLAM的发展趋势进行讨论和展望。

基于点转移矫正的视觉惯性里程计

针对卷帘相机的卷帘效应会引起图像扭曲,进而影响系统定位精度的问题,提出了一种融合IMU信息的点转移矫正的视觉惯性里程计。首先,针对卷帘图像扭曲问题,利用三焦点张量的点转移方法修正卷帘图像,相当于输入系统的是全局图像。其次,为了保证算法在嵌入式硬件上实时运行,采用扩展卡尔曼滤波进行信息融合来提高系统的定位精度和降低计算资源的要求。然后,引入静态检测和异常检测来保证系统的鲁棒性。最后,所提算法在手机上以25 Hz左右的帧率实时运行,并在真实环境下进行实验。公开数据集上的实验结果表明:与RS-VINS-Mono算法相比,所提算法的定位精度提升了27%,验证了该算法可有效融合视觉和惯性信息来减小卷帘效应带来的定位误差,提高了系统的鲁棒性。

融合事件的点线特征法视觉惯性里程计

视觉惯性里程计是机器人实现自主定位的关键技术,事件相机作为一种异步视觉传感器,与传统相机具有互补的特点。针对低光照、光照大幅度变化和高速运动场景,对事件相机的输出和传统图像进行融合,并结合惯性测量单元进行实时点线特征法视觉惯性里程计研究。提出一种从事件流生成事件图像的算法,设计融合事件的点线特征检测方法;基于视觉-惯性紧耦合的思想,设计后端滑动窗口优化算法;进行数据集试验验证和无人机飞行试验验证。在数据集上的试验结果表明:与仅使用传统图像的点线特征法视觉惯性里程计相比,在高速运动的场景下,定位误差平均减少了22%以上;在低光照、光照大幅度变化的场景下,定位误差平均减少了59%以上。

基于目标检测的单目视觉半稠密语义地图构建

传统的视觉同步定位与地图构建(simultaneous localization and map construction, SLAM)系统在机器人定位和制图工作中取得了显著的成功,但存在着缺乏场景信息、地图过于稀疏、单目相机初始化困难等亟待解决的问题。提出了MNS-SLAM(monocular-semantic SLAM),将目标检测算法与单目视觉SLAM技术相结合,进而构建有助于环境理解的半稠密语义地图。首先,通过目标检测网络YOLOv4检测对象获取边界框和类别信息,通过消失点算法和二次曲面恢复算法由2D目标检测恢复出3D长方体及二次曲面,实现3D物体的位姿初始化。同时,引入了目标间相对位姿不变性的语义约束,构造了语义损失函数,将其添加到BA(bundle adjustment)优化中,最后通过增量式3D线段提取,构建带有物体语义信息的半稠密地图。文中方法在TUM公开数据集和真实场景中进行试验,不仅构建了半稠密地图,同时添加了语义信息,为后端的优化提供了新的约束,相机的绝对和相对位姿误差表现出优于单目ORB-SLAM2的性能,有助于搭载单目相机的移动机器人感知和理解环境,执行更复杂的任务。

基于语义分割的室内动态场景同步定位与语义建图

针对动态物体在室内同步定位与地图构建(SLAM)系统中影响位姿估计的问题,提出一种动态场景下基于语义分割的SLAM系统。在相机捕获图像后,首先用PSPNet(PyramidSceneParsingNetwork)对图像进行语义分割;之后提取图像特征点,剔除分布在动态物体内的特征点,并用静态的特征点进行相机位姿估计;最后完成语义点云图和语义八叉树地图的构建。在公开数据集上的五个动态序列进行多次对比测试的结果表明,相对于使用SegNet网络的SLAM系统,所提系统的绝对轨迹误差的标准偏差有6.9%~89.8%的下降,平移和旋转漂移的标准偏差在高动态场景中的最佳效果也能分别提升73.61%和72.90%。结果表明,改进的系统能够显著减小动态场景下位姿估计的误差,准确地在动态场景中进行相机位姿估计。

基于IMU-LiDAR紧耦合的煤矿防冲钻孔机器人定位导航方法

防冲钻孔机器人是冲击地压矿井卸压的关键设备,其在复杂卸压巷道的精确地图构建和的稳定导航是实现钻孔作业智能化的基础和前提。在分析激光雷达点云畸变成因和同步定位与地图构建(SLAM)算法缺陷的基础上,设计了基于惯性测量单元(IMU)连续时间轨迹的点云畸变矫正方法,建立了激光雷达和IMU的数据融合模型,提出了基于IMU-LiDAR紧耦合的防冲钻孔机器人定位建图方法。根据煤矿卸压巷道特点建立了密闭坡道模型,开展了建图效果仿真分析,结果表明,所提算法在定位精度、轨迹误差方面均优于现有常用算法。在此基础上,设计了基于改进人工势场法和快速扩展随机树的动态路径规划方法,建立了适用于防冲钻孔机器人的路径规划与导航融合方案,并设计了2种仿真运动场景,结果表明,所提路径规划方法在全局路径规划和动态路径规划的平均路径长度、平均运行时间、平均生成节点数等方面均具有较好的综合性能。为了进一步验证防冲钻孔机器人定位导航方法的实用性,在校内模拟巷道、地面实验基地和井下卸压巷道等场景下开展了多组对比实验,结果表明:将IMU数据与LiDAR数据紧耦合后,所提方法的定位建图精度明显提高,在特征退化场景中具有优越的定位建图性能,且规划路径的运算效率和路径代价方面均具有良好的表现,验证了所提定位导航方法在多种场景中的可行性和优越性。

移动机器人视觉里程计技术研究综述

随着移动机器人技术不断发展,里程计技术已经成为移动机器人实现环境感知的关键技术,其发展水平对提高机器人的自主化和智能化具有重要意义。首先,系统阐述了同步定位与地图构建(Simultaneous localization and mapping,SLAM)中激光SLAM和视觉SLAM的发展近况,阐述了经典SLAM框架及其数学描述,简要介绍了3类常见相机的相机模型及其视觉里程计的数学描述。其次,分别对传统视觉里程计和深度学习里程计的研究进展进行系统阐述。对比分析了近10年来各类里程计算法的优势与不足。另外,对比分析了7种常用数据集的性能。最后,从精度、鲁棒性、数据集、多模态等方面总结了里程计技术面临的问题,从提高算法实时性、鲁棒性等方面展望了视觉里程计的发展趋势为:更加智能化、小型化新型传感器的发展;与无监督学习融合;语义表达技术的提高;集群机器人协同技术的发展。

融合点线特征的视觉惯性SLAM算法

为使移动机器人在昏暗场景中获得更高的定位精度以实现更好的建图效果,针对特征点稀疏、相机移动过快所导致的SLAM算法初始化困难、定位精度较低等问题,提出了一种融合点线特征的视觉惯性SLAM算法。通过EDLines线特征提取匹配算法来引入丰富的线特征,进而提升特征跟踪的鲁棒性;利用惯性传感器和视觉传感器的互补优势,通过视觉惯性分步联合初始化方法在初始化阶段分三步进行优化,进而提升初始化的精度和速度。实验表明,该算法所使用的线特征提取匹配算法相比传统的LSD算法具有了更快的匹配速度和更低的误匹配率,并且该算法在视觉惯性数据集中相机位姿的估计精度更高、鲁棒性更强。

基于GPU并行计算的快速视觉惯性里程计方法

针对当前视觉即时定位与地图构建(VSLAM)前端视觉惯性里程计(VIO)存在运算量大导致计算时间长的问题,提出了一种全新的基于图形处理器(GPU)并行加速的VIO方法。首先,对VIO进行加速算法设计,包括限制对比度的自适应性直方图均衡化(CLAHE)算法加速、FAST角点筛选改进加速以及改进光流跟踪算法加速。最后,将设计的加速算法串并组合成前端,结合开源VINS-Mono后端进行定位精度与实时性测试,平均耗时减少12.03 ms,定位精度均方根(RMS)值相差0.008 963 m。实验结果表明:提出的方法在保持定位精度的同时提升了算法实时性能,且优于VINS-Mono中基于OpenCV GPU加速的方法。

基于动态边缘化的双目视觉惯性SLAM算法

针对单目视觉惯性SLAM算法鲁棒性不高且尺度恢复困难的问题,提出基于动态边缘化的双目视觉惯性SLAM算法(DM-SVI-SLAM)。前端使用光流法进行特征跟踪,利用预积分计算帧间IMU,后端在滑动窗口内融合单/双目匹配点误差、IMU残差及先验误差构建捆集调整的成本函数,利用动态边缘化策略、Dog-Leg算法提升计算效率,回环检测使用词袋方法对关键帧重定位。通过EuRoC数据集评估系统性能,实验结果表明,对比其他前沿VI-SLAM算法,该算法在精度和鲁棒性方面都具有潜力。

基于多尺度光流融合特征点视觉-惯性SLAM方法

为提高视觉-惯性导航系统在弱纹理环境下的鲁棒性和精度,结合特征点法精度高和光流法速度快的特点以及惯性信息,提出一种多尺度均匀化光流融合特征点法的视觉-惯性同时定位与地图(simultaneous localization and mapping, SLAM)构建方法。首先,改进快速特征点提取和描述(oriented fast and rotated brief, ORB)特征提取过程,采用多尺度网格化的方法提取ORB特征点并利用四叉树均匀分配特征点,提高特征分布离散性。其次,在帧间采用LK(Lucas and Kanade)光流法追踪特征点进行帧间的数据关联,在关键帧对特征点进行描述子的计算和匹配从而实现关键帧间的数据关联,保证算法速度的同时提高定位精度和鲁棒性。最后,基于光流法建立的数据关联得到的初始位姿为后端优化提供初始值,整合ORB特征点重投影误差、惯性测量单元(inertial measurement unit, IMU)预积分误差以及滑动窗口先验误差构建最小化目标函数采用滑动窗口非线性优化进行求解。实验表明,所提方法相比单目视觉惯性系统具有更高的定位精度和鲁棒性,定位精度平均提升16.7%。

基于视觉惯性里程计与语义信息的无人机SLAM方法研究

室内环境中存在丰富的语义信息,可以使机器人更好地理解环境,提高机器人位姿估计的准确性。虽然语义信息在机器人同时定位与地图构建(SLAM)领域得到了深入研究和广泛应用,但是在环境准确感知、语义特征提取和语义信息利用等方面还存在着很多困难。针对上述难点,提出了一种基于视觉惯性里程计算法与语义信息相结合的新方法,该方法通过视觉惯性里程计来估计机器人的状态,通过校正估计,构建从语义检测中提取的几何表面的稀疏语义地图;通过将检测到的语义对象的几何信息与先前映射的语义信息相关联来解决视觉惯性里程计和惯性测量单元的累积误差问题。在室内环境中对装备RGB-D深度视觉和激光雷达的无人机进行验证实验,结果表明,该方法比视觉惯性里程计算法取得了更好的结果。应用结合语义信息和视觉惯性里程计的SLAM算法表现出很好的鲁棒性和准确性,该方法能提高无人机导航精度,实现无人机智能自主导航。

一种视觉惯性系统在线初始化方法

针对在单目视觉-惯性同时定位与地图构建(VI-SLAM)初始化阶段,初始转动较小导致加速度计的零偏和重力耦合难以估计,同时初始化过程估计的尺度、重力向量等缺少细化,导致初始状态估计精度低的问题,并为了保证实时性,该文提出了一种从粗到精的单目VI-SLAM在线初始化方法。该算法利用相机和惯性测量单元(IMU)几何约束进行相机-IMU旋转外参数的标定,同时标定出陀螺仪零偏值;通过预积分约束对重力向量、尺度等初始状态进行粗略估计;引入重力矢量的切线空间对重力、尺度估计值细化,同时估计加速度计零偏和速度;最后通过基于滑动窗口的非线性优化对已估计的外参数进一步细化。实验结果表明,该在线初始化方法提高了估计精度和估计收敛稳定性,标定了加速度计零偏,提高了VI-SLAM系统的定位精度,绝对位姿误差的均方根误差平均降低11.7%。

基于动态目标检测的视觉同步定位与地图构建算法

针对传统视觉同步定位与地图构建(SLAM)算法在动态场景下定位精度低的问题,提出了一种基于动态目标检测的视觉SLAM算法。首先,在视觉SLAM系统的前端对输入图像帧进行预处理,通过目标检测网络YOLO v3(You only look once,v3)剔除图像潜在的动态区域。然后,通过重投影误差优化单应性矩阵,通过求解运动补偿帧得到四帧差分图,并对四帧差分图进行滤波、二值化和形态学处理。最后,结合YOLO v3网络对动态目标检测结果进行优化,以减小图像模糊和强视差产生的噪声。用静态区域的特征点进行视觉SLAM的跟踪、建图与回环检测,在公共TUM数据集上的实验结果表明,本算法能有效提高动态环境下视觉SLAM的精度。

基于视觉词典的单目视觉闭环检测算法

针对移动机器人单目视觉同步定位与地图构建中的闭环检测问题,文中设计一种基于视觉词典的闭环检测算法.算法对采集的每帧图像通过SURF进行特征提取,应用模糊K均值算法对检测的视觉特征向量进行分类,在线构建表征图像的视觉词典.为精确表征局部视觉特征与视觉单词间的相似关联,利用混合高斯模型建立视觉词典中的每一视觉单词的概率模型,实现图像基于视觉词典的概率向量表示,通过向量的内积来计算图像间的相似度.为保证闭环检测的成功率,应用贝叶斯滤波融合历史闭环检测与相似度信息来计算闭环假设的后验概率分布.另外,引入浅层记忆与深度记忆两种内存管理机制来保证算法执行的快速性.实验结果证明该方法的有效性.