基于双目深度筛选的ORB-SLAM3算法

针对ORB-SLAM3算法中特征点存在易丢失、精度低,进而导致双目在复杂场景下运动轨迹误差大的问题,本文设计了一种改进的ORB-SLAM3算法。首先,在ORB特征匹配算法中引入自适应角点检测技术,增加特征点的采集数量,并采用光流法跟踪图像特征,提高关键帧的创建成功率;其次,以特征点为中心,作区域搜索,提高实时性;然后,采用双向左右一致性检验筛选最优视差,应用Prosac算法去除误匹配点对;最后,结合深度信息对关键帧进行筛选,提高关键帧的质量,优化相机位姿。采用KITTI和EuRoc数据集进行了试验,验证了改进算法在绝对轨迹误差上具有良好的优化效果。

基于ORB-SLAM3的温室环境下番茄植株三维重建方法

针对当前生产环境下难以对植物进行精细三维重建的问题,提出一种基于ORB-SLAM3的番茄植株三维重建方法,利用深度相机采集RGB-D图像信息,根据前后帧图像特征点信息进行位姿估计,设计点云稠密重建模块,实现温室环境下番茄植株三维重建。结果表明,该方法在轨迹估计上整体表现较好,估计的轨迹没有重大漂移,较Elasticfusion方法、BadSlam方法估计的轨迹更贴合实际轨迹,位姿跟踪具有一定鲁棒性,且使用的关键帧数量较少,降低了冗余信息对算法的干扰;该方法重建的点云果径与实际果径平均绝对误差为1.48 mm,与实际情况十分接近,点云还原度高,重建品质较好,滤波算法没有对果实表型信息造成破坏,信息保留完整;该方法能够在温室环境下获取准确的位姿信息,并生成番茄植株三维模型,三维重建精度高,可以满足温室环境下番茄植株三维重建及番茄采摘机器人目标定位需要。

基于ORB-SLAM3的多旋翼室内定位方法研究

多旋翼无人机作为最常见的空中机器人,在电力巡检、气象探测、公路巡视、灾后救援、航拍等诸多领域发挥着重要的作用。在室内GNSS信号拒止环境中,基于视觉或激光雷达前端的同时定位与建图(SLAM)方法的实时定位方法越来越受到关注。文章利用数据集验证了紧耦合的ORB-SLAM 3双目/IMU算法在不同场景、不同光照以及不同运动状态下无人机的定位精度以及鲁棒性。实验表明,算法可实现厘米级的全局定位精度,并且在快速运动导致的图像模糊的情况下,仍能保持精确地跟踪,具有较好的鲁棒性。

基于ORB-SLAM3的PROSAC双目优化补偿SLAM

为优化无人机SLAM系统运行过程中发生的跟踪失败导致局部建图失败以及双目摄像头在远近复杂场景下轨迹误差大的现象,提出了一种双目SLAM。首先在系统中加入新的约束优化双目匹配的视差与深度,然后应用光流法基于单应运动补偿原理和PROSAC算法去除误匹配,最后根据单应补偿结果投影得到新的数据关联,在关键帧和地图点应用新的手段提高对补偿结果的利用率,保证了系统的实时性和鲁棒性。所提算法利用双目视差优化计算关键点的深度从而提高系统的定位精度和系统鲁棒性,在室内无人机EuRoC数据集上取得了较为优秀的精度提升。

面向动态场景的ORB-SLAM3算法研究

传统的视觉同步定位与地图构建(simultaneous localizationandmapping,SLAM)算法大多是基于静态场景这一假设进行研究,在动态场景中容易出现定位精度不佳、稳定性差等情况。针对这一问题,本文以ORBSLAM3算法为基础,与YOLOv3目标检测网络相结合,在提取特征点的同时进行动态目标检测,根据目标检测结果剔除动态特征点;再利用对极几何约束剔除残留的动态特征点和误匹配的特征点;最后利用剩余的特征点进行帧间匹配和位姿估计,并在TUM数据集上进行实验验证。结果表明:相比较于ORB-SLAM3,本文算法在高动态场景中的系统绝对轨迹误差减少了85%以上,大大提高了定位精度;同时,本文算法跟踪线程每帧图像平均用时为75 ms左右,能够满足实时运行的需求。

基于ORB-SLAM3的惯性RGB-D稠密地图构建方法

针对ORB-SLAM3构建的稀疏地图不能直观展现室内环境问题,同时验证ORB-SLAM3中惯性RGB-D相对于RGB-D稠密地图构建的优势以及回环检测环节对于惯性RGB-D稠密地图构建的影响,本文探讨了一种基于ORB-SLAM3的惯性RGB-D稠密地图构建方法。该方法在分析ORB-SLAM3惯性RGB-D模式工作的基础上,增加了稠密建图模块,通过稠密点云构建、体素滤波、稠密点云回环更新等步骤,最终得到能够直观反映周围环境的稠密地图。通过实验验证,本文探讨的ORB-SLAM3的惯性RGB-D稠密地图构建方法是有效可行的,惯性RGB-D模式能够有效解决相机运动中特征跟踪容易丢失问题;稠密点云回环更新能够消除IMU初始不稳定运行导致点云模型杂乱问题。在实地采集的数据集下的实验结果表明,基于ORB-SLAM3的惯性RGB-D稠密地图相比于RGB-D稠密地图,在特征线段测量方面精度提升68%,在角度测量方面精度提升91%,表现出更高的精度和地图构建能力。

基于ORB-SLAM3的多机器人地图构建算法

针对ORB-SLAM3算法构建稀疏点云地图信息量少、单机器人构图效率低的问题,该文提出一种基于ORB-SLAM3的多机器人地图构建算法,通过两层滤波算法减少冗余地图点数量,提高单机器人稠密点云地图构建效率;利用词袋模型匹配地图二维图像间接配准三维点云地图,提高地图配准速度与精度。该文算法在TUM数据集和自拍数据下进行测试,测试结果表明该文算法较传统构图算法速度提高71%、内存消耗减少89%,配准速度与精度较NDT+ICP点云配准算法分别提高68%和16%,在多机器人地图构建方面具有良好的效率、精度、鲁棒性和可拓展性。

基于YOLOv4的室内动态场景下ORB-SLAM3优化方法

近年来,视觉同步定位与建图(simultaneous localization and mapping,SLAM)技术成为机器人和计算机视觉领域的研究热点。现有的主流算法通常只针对静态环境设计,当场景中出现动态物体时其算法的定位精准度和稳定性显著降低。本文提出一种改进的ORB-SLAM3(oriented FAST and rotated BRIEF SLAM3)方法。首先,在跟踪线程中采用了轻量化的YOLOv4(you only look once version 4)目标检测网络,对图像金字塔中的每一层图像进行处理,识别并移除动态特征点,进而提升位姿估计的精确度;其次,融合惯性测量单元的积分数据,提取关键帧中的相机内外参数信息,将深度图转换为三维彩色点云,通过拼接形成完整的场景点云地图;最后,进行验证评价。结果表明:本方法在室内动态场景中能有效排除动态特征点,增强相机定位的精度与稳定性;在实际测试场景中,平均距离误差在1.5 cm以内,可成功构建无动态物体干扰的激光点云地图。

面向高动态环境的ORB-SLAM3算法优化

ORB-SLAM3(simultaneous localization and mapping)是当前最优秀的视觉SLAM算法之一,然而其基于静态环境的假设导致算法在高动态环境下精度不佳甚至定位失败。针对这一问题,提出一种结合光流和实例分割的动态特征点去除方法,以提高ORB-SLAM3在高动态环境下的定位精度。并且在TUM数据集上进行了RGB-D相机模式和单目相机模式的实验,实验结果表明了该方法的有效性。

基于改进特征描述的SLAM动态算法研究

针对原ORB描述符算法匹配精度低、匹配耗时长,动态场景中移动的物体严重影响视觉SLAM系统的定位精度和鲁棒性,以及ORB-SLAM3系统只能构建稀疏点云地图,无法构建稠密地图的问题,提出一种基于BEBLID描述符和目标检测的改进型ORB-SLAM3。在跟踪线程中融合轻量级YOLOv5s动态目标检测网络和动态特征剔除模块,提高系统的定位精度;利用增强高效局部图像描述符BEBLID代替原特征描述算法,与原ORB特征提取方法结合,增强图像的表现力和描述效率,提升特征匹配精度和效率;增加稠密建图线程,根据关键帧与相应位姿完成稠密点云地图的构建。在公开TUM RGB-D数据集上的实验表明,与原ORB-SLAM3相比,本文算法特征匹配精度提高了7%以上;在高动态环境下系统定位精度提高98%以上,在低动态环境下最大提升60%以上,有效提高了系统在动态环境下的定位精度和鲁棒性;并构建了三维稠密点云地图,为后续应用于机器人自主导航、避障和路径规划等工作奠定了基础。

室内动态环境语义VSLAM应用研究

针对VSLAM算法在室内动态场景下精度低、鲁棒性差的问题,结合深度学习和多视图几何的方法,首先利用语义分割网络对RGB-D视频流图像进行处理,建立动态对象的先验语义信息,然后针对无先验信息的移动物体进行多视图几何处理,最后使用静态特征点进行特征匹配和位姿估计。在慕尼黑工业大学开源的TUM公开数据下进行实验验证,结果显示,在室内动态环境下,该系统相较于ORB-SLAM2和ORB-SLAM3能够更接近真实轨迹,且轨迹的绝对位姿误差显著降低;在高动态环境下,相较于ORB系列算法,平均提升了79.1625%;在低动态环境下,平均提升了12.4125%。

基于动态语义特征的视觉SLAM系统

针对视觉SLAM(Simultaneous Localization and Mapping)在真实场景下出现动态物体(如行人,车辆、动物)等影响算法定位和建图精确性的问题,基于ORB-SLAM3(Oriented FAST and Rotated BRIEF-Simultaneous Localization and Mapping 3)提出了YOLOv3-ORB-SLAM3算法。该算法在ORB-SLAM3的基础上增加了语义线程,采用动态和静态场景特征提取双线程机制:语义线程使用YOLOv3对场景中动态物体进行语义识别目标检测,同时对提取的动态区域特征点进行离群点剔除;跟踪线程通过ORB特征提取场景区域特征,结合语义信息获得静态场景特征送入后端,从而消除动态场景对系统的干扰,提升视觉SLAM算法定位精度。利用TUM(Technical University of Munich)数据集验证,结果表明YOLOv3-ORB-SLAM3算法在单目模式下动态序列相比ORB-SLAM3算法ATE(Average Treatment Effect)指标下降30%左右,RGB-D(Red,Green and Blue-Depth)模式下动态序列ATE指标下降10%,静态序列未有明显下降。

动态场景下基于YOLOv5的快速单目视觉SLAM算法

针对动态场景下的动态物体容易产生移动和变形,从而直接影响单目视觉SLAM定位和建图的效率等问题,提出了一种使用深度学习对图像进行动态特征点剔除的单目视觉SLAM算法。基于ORB-SLAm3算法的整体框架,在动态物体检测线程中使用YOLOv5构建的卷积神经网络作为目标识别算法,在跟踪线程中对动态物体特征点进行剔除,有效减少了错误特征提取造成的运行时间浪费和位姿估计误差。经实验验证,所提算法在TUM动态场景单目数据集中能够保持准确定位且效率较高,其定位精度比ORB-SLAm3和ORB-SLAM2更好,效率分别提高了20.65%和19.14%。

基于激光雷达增强的视觉SLAM多机器人协作地图构建方法的研究

针对光线强度对机器人视觉同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)建图信息量、时效性和鲁棒性影响大的问题,提出一种基于激光雷达(Light Detection And Ranging,LiDAR)增强的视觉SLAM多机器人协作地图构建方法。在地图构建过程中,将LiDAR深度测量值集成到现有的特征点检测和特征描述子同步定位与地图构建(Oriented FAST and Rotated BRIEF-Simultaneous Localization and Mapping,ORB-SLAM3)算法中,利用改进的扩展卡尔曼滤波算法将激光雷达的高精度数据和视觉传感器的时序信息融合在一起,获得单个机器人的位姿状态,结合深度图进行单个机器人稠密点云地图的构建;利用关键帧跟踪模型和迭代最近点(Iterative Closest Point,ICP)算法得到存在共识关系的机器人之间的坐标转换关系,进而得到各机器人的世界坐标系,在世界坐标系中实现多机器人协作地图的融合与构建。在Gazebo仿真平台中实验验证了方法的时效性和鲁棒性。

一种单目VIO定位精度与跟踪稳定性优化方法

为了提高视觉惯性同时定位与建图(visual-inertial simultaneous localization and mapping,VISLAM)系统的系统性能,提出了一种单目视觉惯性里程计(visual-inertial odometry,VIO)定位精度与跟踪稳定性优化方法。在相机位姿优化阶段,通过多残差项对相机位姿进行优化,提高系统的定位精度。在特征跟踪丢失时,通过惯性测量单元(inertial measurement unit,IMU)积分信息与特征点深度增强方法对系统进行重定位,提高系统的跟踪稳定性。针对所提方法,基于ORB-SLAM3代码框架进行改进,并在开源数据集与真实环境中验证方法的可行性。实验结果表明,所提方法能够有效提高视觉惯性里程计的定位精度与跟踪稳定性。

基于双目视觉SLAM的无人机导航规划研究

SLAM是解决在未知环境进行定位建图的有效工具,能够实现自主定位和导航。针对同时定位与建图系统(ORB-SLAM3)在军用无人机应用路径规划时出现的轨迹丢失问题,提出一种具备重新初始化、关键帧优化、回环检测、轨迹拼接以及地图恢复能力的视觉SLAM系统。该方法通过在轨迹丢失前后进行地图点的保存和匹配作为轨迹拼接的依据,并借助图优化的方式进行丢失前后两段轨迹的拼接工作,最后在拼接后的轨迹中继续执行SLAM任务,完成无人机的路径规划任务。实验结果表明在使用ZED2相机时,利用所提出的SLAM技术可以完成在高空时的定位和建图工作,同时在和GPS的比较中也得到了平均误差为0.8%,能够保证当系统应用于无人机上时在无GPS的情况下能够定位自身的位置,从而完成轨迹规划工作。

基于深度学习的语义SLAM关键帧图像处理

同时定位和地图构建(SLAM)凭借其高能效和低功耗等特点在诸多领域应用前景广阔。然而,在传统的SLAM系统中仍存在一些问题:传统的视觉里程计中关键帧并不包含语义信息,移动机器人获取的图像信息较为单一,且在实际场景中关键帧总包含大量误匹配点和动态点。针对以上问题,本文提出一种语义SLAM思路。首先,为了能够匹配到正确且对应的特征点,摒弃动态点和误匹配点的干扰,提出了一种基于Lucas-Kanade光流法的相邻帧特征状态判别法,将这项功能作为新的线程加入ORB-SLAM3的视觉里程计部分,完成对部分传统SLAM框架的优化和改进工作。其次,针对传统SLAM系统前端视觉里程计获取的图像帧不包含任何语义信息的问题,使用基于YOLOV4的目标检测算法和融合全连接条件随机场CRF的Mask R-CNN语义分割算法对ORB-SLAM3中的关键帧图像进行处理,有效提高了机器人等智能设备对室内环境的感知能力。

深空探测巡视器视觉导航定位方法研究与地面试验场验证

地外天体表面巡视器就位探测是深空探测研究的重要手段,其自主导航定位能力是任务开展的重要前提。本文主要对视觉导航方法中的视觉同时定位与地图构建(SLAM)方案开展应用研究。介绍了当下经典的视觉SLAM框架,并以具有代表性的ORB-SLAM3算法为例开展研究;分别利用公开数据集、深空探测地面模拟场数据进行试验验证,探索视觉导航定位算法在深空探测场景下的有效性。本文研究为我国后续开展长距离连续巡视任务提供参考。

基于YOLOv5的移动机器人动态视觉SLAM算法研究

移动机器人在未知环境中,通过同步定位与地图构建(SLAM)技术,实现了精准的自身定位功能。目前大多数视觉SLAM系统均假设环境是静态的,但在实际应用中,由于大量动态目标的存在,严重影响机器人的定位与建图精度。为改善这一情况,本文基于ORB-SLAM3系统提出一种鲁棒的动态视觉SLAM系统,其融合YOLOv5深度学习方法,以减少动态目标的影响。并在公共TUM数据集和真实场景中测试本文算法的性能,结果表明:本文算法与ORB-SLAM3相比,具有更高的鲁棒性。

一种水平面估计的水域环境视觉SLAM算法

针对内河水域环境水面镜像极易受扰动产生扭曲形变,从而导致视觉SLAM位姿估计不准确的问题,提出匹配地图点和最大梯度估计的方法用于估计水平面位置,区分了水域环境和真实环境的地图点。提出了一种判断水域环境可靠性方法,用于决定追踪侧重于真实环境或全局环境;建图环节中保留水域环境的地图点,用于估计当前水面范围。基于USVInland数据集提供的内河水域场景测试表明,相比原ORB-SLAM3算法,该文算法在仿真平台运行速度比原算法多花费约10%的时间,但绝对轨迹误差平均降低了47%。