弱纹理环境下融合点线特征的双目视觉同步定位与建图

针对室内弱纹理环境下基于点特征的视觉同步定位与建图(Simultaneous Localization and Mapping,SLAM)存在的轨迹漂移等问题,提出了一种融合点线特征的双目视觉SLAM系统,并对线特征的提取与匹配问题展开研究。为了提高线特征的质量,通过长度与梯度抑制、短线合并等方法,进一步改进LSD(Line Segment Detector)线特征提取方法。同时,通过将匹配问题转换为优化问题,并利用几何约束构建代价函数,提出了一种基于几何约束的快速线段三角化方法。实验结果表明,本文所提方法在多个数据集上的表现都优于基于描述子的传统方法,尤其在室内弱纹理场景下,其平均匹配精度达到91.67%,平均匹配时间仅需7.4 ms。基于此方法,双目视觉SLAM系统在弱纹理数据集上与已有算法ORBSLAM2,PL-SLAM的定位误差分别为1.24,7.49,3.67 m,定位精度优于现有算法。

基于GPS和视觉同步定位与建图的无人驾驶车辆定位方法研究

为提高无人驾驶车辆的定位精度,提出一种基于GPS与视觉同步定位与建图(VSLAM)相融合的定位算法,在VINS-Mono基础上进行改进,提出了VINS-FAST算法进行角点提取,并将VINS-FAST与GPS技术相结合,提出了GPS与VSLAM相融合的VINS-GPS算法。试验结果表明:VINS-GPS在KITTI数据集07和09子集上的均方根误差较VINS-Mono分别降低了18.16%和33.08%,改善了VSLAM在大范围环境中表现较差的问题,同时提高了在GPS信号薄弱或无GPS信号环境中的定位精度。

基于深度学习的实时同步定位与建图算法研究

传统的视觉同步定位与建图(simultaneous localization and mapping,SLAM)算法大多数建立在假设场景是静态的基础之上,这种假设限制了视觉SLAM在现实场景的应用。针对传统SLAM算法在动态环境下定位精度低、鲁棒性差的问题,提出了一种实时动态视觉SLAM算法。首先所提出的算法以ORBSLAM3为基础,新增了一个语义线程,该线程与其他线程并行运行,可以避免语义线程运行较慢而影响跟踪线程的运行。然后使用移动概率更新和传播语义信息,将其保存在地图中,并且使用数据关联算法从跟踪中去除动态点。最后使用公共TUM数据集来评估,证明了所提出的算法在动态环境下的鲁棒性和实时性优于现有的算法。

动态场景下基于语义分割的视觉SLAM方法

针对在动态场景下视觉同步定位与建图(SLAM)鲁棒性差、定位与建图精度易受动态物体干扰的问题,设计一种基于改进DeepLabv3plus与多视图几何的语义视觉SLAM算法。以语义分割网络DeepLabv3plus为基础,采用轻量级卷积网络MobileNetV2进行特征提取,并使用深度可分离卷积代替空洞空间金字塔池化模块中的标准卷积,同时引入注意力机制,提出改进的语义分割网络DeepLabv3plus。将改进后的语义分割网络DeepLabv3plus与多视图几何结合,提出动态点检测方法,以提高视觉SLAM在动态场景下的鲁棒性。在此基础上,构建包含语义信息和几何信息的三维语义静态地图。在TUM数据集上的实验结果表明,与ORB-SLAM2相比,该算法在高动态序列下的绝对轨迹误差的均方根误差值和标准差(SD)值最高分别提升98%和97%。

动态场景下融合YOLOv5s的视觉SLAM算法研究

为了解决视觉同步定位与建图(Simultaneous Localization and Mapping, SLAM)系统在动态场景下容易受到动态物体干扰,导致算法定位精度和鲁棒性下降的问题,提出了一种融合YOLOv5s轻量级目标检测网络的视觉SLAM算法。在ORB-SLAM2的跟踪线程中添加了目标检测和剔除动态特征点模块,通过剔除图像中的动态特征点,提高SLAM系统的定位精度和鲁棒性。改进了YOLOv5s的轻量化目标检测算法,提高了网络在移动设备中的推理速度和检测精度。将轻量化目标检测算法与ORB特征点算法结合,以提取图像中的语义信息并剔除先验的动态特征。结合LK光流法和对极几何约束来剔除动态特征点,并利用剩余的特征点进行位姿匹配。在TUM数据集上的验证表明,提出的算法与原ORB-SLAM2相比,在高动态序列下的绝对轨迹误差(Absolute Trajectory Error, ATE)和相对轨迹误差(Relative Pose Error, RPE)均提高了95%以上,有效提升了系统的定位精度和鲁棒性。相对当前一些优秀的SLAM算法,在精度上也有明显的提升,并且具有更高的实时性,在移动设备中拥有更好的应用价值。

基于目标检测和语义分割的视觉SLAM算法

目前多数视觉同步定位与建图(VSLAM)算法基于静态场景设计且未考虑场景中的动态物体,然而现实场景中存在的动态物体会造成视觉里程计的特征点误匹配,影响VSLAM系统定位与建图精度,降低其在实际应用中鲁棒性。针对室内动态环境,提出一种基于ORB-SLAM3主体框架的VSLAM算法(RDTS-SLAM)。利用改进的YOLOv5目标检测与语义分割网络对环境中的物体进行精准快速分割,同时将目标检测结果与局部光流法相结合准确识别动态物体,并对动态物体区域内的特征点进行剔除,仅使用静态特征点进行特征点匹配以及后续的定位与建图。在TUM RGB数据集和真实环境数据上的实验结果表明,相较于ORB-SLAM3和RDS-SLAM算法,RDTS-SLAM算法对于walking_rpy序列的轨迹估计均方根误差分别降低了95.38%和86.20%,可以显著提高VSLAM系统在动态环境中的鲁棒性和准确性。

基于深度学习的移动机器人语义SLAM方法研究

为了给移动机器人提供细节丰富的三维语义地图,支撑机器人的精准定位,本文提出一种结合RGB-D信息与深度学习结果的机器人语义同步定位与建图方法。改进了ORB-SLAM2算法的框架,提出一种可以构建稠密点云地图的视觉同步定位与建图系统;将深度学习的目标检测算法YOLO v5与视觉同步定位与建图系统融合,反映射为三维点云语义标签,结合点云分割完成数据关联和物体模型更新,并用八叉树的地图形式存储地图信息;基于移动机器人平台,在实验室环境下开展移动机器人三维语义同步定位与建图实验,实验结果验证了本文语义同步定位与建图算法的语义信息映射、点云分割与语义信息匹配以及三维语义地图构建的有效性。

基于点线特征融合的实时视惯SLAM算法

为了在光照不足和低纹理场景中实现移动机器人的高精度实时定位和建图,提出了一种基于视觉点线特征以及IMU特征融合的实时SLAM算法。首先通过跳跃路由策略和自适应阈值策略改进了EDlines算法,提高了线特征提取的质量,从而提高了特征跟踪的有效性。然后将视觉惯性特征紧耦合建立约束,通过滑动窗口和边缘化模型进行非线性优化,实现了高精度高实时性的状态估计。实验证明,所提算法在线特征提取的有效性方面优于传统的线段提取算法,同时SLAM系统的定位精度和鲁棒性均得到有效提升。

基于动态区域剔除的RGB-D视觉SLAM算法

针对动态场景下视觉SLAM(simultaneous localization and mapping)算法易受运动特征点影响,从而导致位姿估计准确度低、鲁棒性差的问题,提出了一种基于动态区域剔除的RGB-D视觉SLAM算法。首先借助语义信息,识别出属于移动对象的特征点,并借助相机的深度信息利用多视图几何检测特征点在此时是否保持静止;然后使用从静态对象提取的特征点和从可移动对象导出的静态特征点来微调相机姿态估计,以此实现系统在动态场景中准确而鲁棒的运行;最后利用TUM数据集中的动态室内场景进行了实验验证。实验表明,在室内动态环境中,所提算法能够有效提高相机的位姿估计精度,实现动态环境中的地图更新,在提升系统鲁棒性的同时也提高了地图构建的准确性。

基于Retinex理论的稀疏直接法VSLAM三维重建

基于视觉的同时定位与建图(VSLAM)已广泛应用于室内机器人导航任务中。面向自主导航及地图复用性的需求,实时三维重建需克服环境光照不均、角点提取数量及质量不高、位姿漂移等问题。为此,提出构建一类基于稀疏直接法单尺度Retinex的SLAM(RDSOL)系统。RDSOL继承稀疏直接法里程计(DSO)主体框架,算法上打破后者前端光度标定及无回环检测模块的设计,通过单尺度Retinex图像增强及添加闭环,有利于避免ORB特征缺失及消除位姿漂移累积误差,获得全局一致的轨迹及地图。所开发的RDSOL在开源数据集及实际场景测试中,均取得轨迹拟合性较好的三维重建效果。基于数据集TUM-mono对算法的速度进行了测试,测试结果表明,RDSOL相对于DSO而言运行加速比达到了10.91%,序列平均耗时大幅减小。

基于四叉树的ORB特征阶梯分布算法

针对传统ORB(Oriented FAST and Rotated BRIEF)算法提取图像特征时存在的特征点数量不足且分布不均匀问题,提出了一种基于四叉树的ORB特征阶梯分布算法。通过四叉树算法分割出特征点疏密不同的区域,对每个区域采用逐步降低阈值的方法,实现FAST(Features from Accelerated Segment Test)角点自适应提取;同时依据分割区域设置逐次递减的分割深度和特征点提取比例,以减少运算时间和特征冗余,使特征点分布更均匀。采用覆盖均匀度对特征点的均匀性进行量化。试验结果表明,该算法比传统ORB算法单幅图片的特征点提取数量平均多10.45%,覆盖均匀度平均低20%,运行时间比Mur-Artal算法平均减少20.54%,有效地提高了提取特征点的数量和均匀性,提升了运算效率。

动态环境下基于深度学习的实时视觉SLAM

针对动态环境下视觉同步定位与建图(SLAM)系统运行效率低的问题,提出了一种基于深度学习的实时语义视觉SLAM算法。所提算法的语义线程不会阻塞跟踪线程的运行,只对最新的待分割图像进行语义分割,分割后对分割结果进行检测与修复,并更新语义信息。图像输入后,首先,更新待分割的图像;然后,利用最新的语义信息和L-K光流法剔除动态关键点,并用剩余的特征点对位姿进行估计;最后,利用语义信息和跟踪信息构建出语义点云地图。在TUM数据集上对所提算法进行实验,实验测试结果表明:高动态环境下,所提算法相较于DS-SLAM在绝对轨迹误差上减小了12.54%~91.78%,跟踪一帧的平均耗时为25.91 ms,验证了所提算法在高动态环境中有较高的定位精度以及实时性,相较于无检测修复的算法在高动态环境下拥有更好的建图效果。

基于概率运动统计特征匹配的单目视觉SLAM

在单目视觉同步定位与建图(SLAM)过程中,由于特征匹配阶段存在误匹配且耗时长,使得机器人初始化速度慢、定位精度不高。针对此问题,基于概率运动统计特征匹配,提出一种单目视觉SLAM算法。通过设置自适应的阈值提取ORB特征点并使用四叉树进行保存,根据运动的平滑性与特征匹配的一致性估计特定区域内特征匹配的概率模型,得到正确的特征匹配点进行匹配,完成系统自动初始化与机器人位姿跟踪。在TUM数据集上的实验结果表明,该算法在特征匹配阶段耗时仅为1.4 ms,机器人初始化时间和定位精度分别为1.7 s和0.54 cm,且具有良好的实时性。

基于深度学习的室内动态场景下视觉SLAM技术研究

视觉同步定位与建图(visual simultaneous localization and mapping,VSLAM)技术是近年来机器人和计算机视觉领域的重点研究方向之一,但当前的主流算法主要面向静态环境,当场景中存在运动的物体时,算法的定位精度和稳定性会受到很大影响。为了解决上述问题,提出了一种惯性测量单元(inertial measurement unit,IMU)积分与YOLOv4语义分割结合的VSLAM前端动态特征点剔除算法,通过YOLOv4网络对图像进行语义分割,识别图像中有运动可能的物体;再将IMU积分与语义分割结合,对目标检测框内有运动可能的特征点进行重投影误差的解算,识别并剔除环境中运动的特征点。在TUM Visual-Inertial Dataset上验证该算法,结果表明,在包含运动物体的室内场景下,该算法可以有效剔除环境中的运动物体,显著提升SLAM系统的定位精度和稳定性。

基于视觉的四旋翼无人机自主定位与控制系统

针对GPS(global positioning system)信号缺失环境下无人机(UAV)自主飞行控制问题,设计了一种基于视觉的自主定位与控制方法.首先通过增加特征点提取数量和优化关键帧存储来对传统视觉SLAM(simultaneous localization and mapping)算法进行改进,提高了算法的鲁棒性与通用性.其次,引入光流传感器作为视觉SLAM地图丢失情况下辅助位置信息测量单元,提高无人机飞行控制的安全性,并成功地克服视觉SLAM图像丢失问题和光流法存在的位置漂移问题.然后采用EKF(extended Kalman filter)融合无人机位置和3维加速度信息,得到了较为精确的位置信息,同时提高了信号输出频率.最后,利用上述方法获取的无人机位置信息设计PID(proportion integration differentiation)和RISE(robust integral of the signum of the error)非线性控制器,增加了算法的鲁棒性.为验证该控制策略的有效性,搭建了四旋翼无人机视觉控制系统实验平台.该平台采用嵌入式控制系统架构,使用机载计算机运行所提算法,避免了图像及控制命令在无线传输过程中引起的时间延迟和信号干扰.室外飞行实验表明,此控制方案实现了自主定位与飞行控制功能.

一种基于LK光流的动态场景SLAM新方法

针对目前视觉同步定位与建图(V-SLAM)动态场景适应性差的问题,提出了一种结合查找表和金字塔LK光流法的改进单目视觉同步定位与建图方法。该方法通过相邻帧的视差估计图像的移动方向,利用金字塔LK光流法获取光流信息,根据光流大小与阈值的比较检测移动物体,最终结合查找表减少移动物体对后续定位与建图的影响。实验证明该方法可以有效提高定位精度,减少图像的冗余信息和动态目标的影响。能满足视觉SLAM在室内场景下的实时需求,具有较高的准确性、鲁棒性和适应性。

基于混合全局池化的回环检测算法

基于深度学习的回环检测算法已被验证性能优于传统方法。然而深度学习计算量大,在移动机器人上往往难以部署大型卷积神经网络,而小型卷积神经网络在大型场景中表现欠佳。对此,本文提出一种将大型卷积神经网络部署在移动机器人上的方案。首先,利用混合全局池化层将特征图转换为特征向量,实验表明该方法与其他更复杂方法性能相当,计算更简单。然后提出一种基于块浮点数的卷积神经网络加速引擎,可显著地降低运算能耗,在不需要重新训练的情况下,几乎没有导致性能损失。

多运动视觉里程计的方法与技术

多运动视觉里程计(multi-motion visual odometry,MVO)是在动态场景中估计动态物体位姿变化的算法,对于移动机器人和自动驾驶汽车等自主化设备(autonomous things,AuT)的研发具有重要的理论意义和较大的实用价值。综述机器人领域多运动视觉里程计的发展过程及最新研究进展,根据特征点聚类方法的不同,从特征点几何聚类和语义几何聚类两个方面介绍多运动视觉里程计融合特征点及语义信息求解空间内多运动视觉里程计的重要研究成果。基于相同的评价指标及数据集对几种常用方法进行深入的对比研究,展望未来多运动视觉里程计的发展方向。

面向昏暗动态场景下的VSLAM算法

视觉同步定位与建图(VSLAM)在地下探索机器人和搜救机器人等领域中具有广泛的应用。然而,机器人在完成相关任务时,常常需要处在昏暗动态场景中,此时传统VSLAM算法精度较低,而现有的面向昏暗动态场景的VSLAM算法则往往难以满足实时性的要求。为解决这一问题,该文提出了一种面向昏暗动态场景的实时VSLAM算法。该算法基于ORB-SLAM3架构,首先利用基于Retinex理论的图像增强技术对输入图像进行预处理,从而提升算法在低光照条件下的稳定性;然后,结合YOLOv5物体检测技术,通过高斯分布分析和LK光流技术,对YOLO检测框内的动态特征点进行精准过滤,保留框内的静态特征点。在TUM、Bonn以及实测数据集上进行了验证。实验结果表明,相比ORB-SLAM3,该算法在高动态环境中的绝对轨迹误差(ATE)提升了至少86.93%,在低动态环境中也提升了27.61%。与同类型的VSLAM算法相比,该文所提算法在保持较高定位精度的同时,处理速度更快,实现了精确性和实时性的良好平衡。

基于YOLOv4的室内动态场景下ORB-SLAM3优化方法

近年来,视觉同步定位与建图(simultaneous localization and mapping,SLAM)技术成为机器人和计算机视觉领域的研究热点。现有的主流算法通常只针对静态环境设计,当场景中出现动态物体时其算法的定位精准度和稳定性显著降低。本文提出一种改进的ORB-SLAM3(oriented FAST and rotated BRIEF SLAM3)方法。首先,在跟踪线程中采用了轻量化的YOLOv4(you only look once version 4)目标检测网络,对图像金字塔中的每一层图像进行处理,识别并移除动态特征点,进而提升位姿估计的精确度;其次,融合惯性测量单元的积分数据,提取关键帧中的相机内外参数信息,将深度图转换为三维彩色点云,通过拼接形成完整的场景点云地图;最后,进行验证评价。结果表明:本方法在室内动态场景中能有效排除动态特征点,增强相机定位的精度与稳定性;在实际测试场景中,平均距离误差在1.5 cm以内,可成功构建无动态物体干扰的激光点云地图。