深度补全的无动态对象单目视觉SLAM研究

现有的单目视觉SLAM方案为了提高精度,大多都是通过增加各种传感器来实现的,这并没有将单目相机的表现发挥到极致。文章提出了一个基于ORB-SLAM3的视觉SLAM系统,旨在最大化地利用单目资源,在单目相机的基础上通过增加深度预测网络来模拟深度相机,利用CNN和ORB融合的方法进行特征点提取,并结合深度图进行特征过滤,旨在提高驾驶场景单目相机位姿预测精度,同时为避免动态对象对SLAM系统造成的干扰,文章引入了图像的实例分割网络。

动态场景下基于YOLOv5的快速单目视觉SLAM算法

针对动态场景下的动态物体容易产生移动和变形,从而直接影响单目视觉SLAM定位和建图的效率等问题,提出了一种使用深度学习对图像进行动态特征点剔除的单目视觉SLAM算法。基于ORB-SLAm3算法的整体框架,在动态物体检测线程中使用YOLOv5构建的卷积神经网络作为目标识别算法,在跟踪线程中对动态物体特征点进行剔除,有效减少了错误特征提取造成的运行时间浪费和位姿估计误差。经实验验证,所提算法在TUM动态场景单目数据集中能够保持准确定位且效率较高,其定位精度比ORB-SLAm3和ORB-SLAM2更好,效率分别提高了20.65%和19.14%。

基于点线特征的快速视觉SLAM系统研究

SLAM是机器人实现自主运动、完成高级功能的基础和前提。视觉SLAM技术构建的地图颜色、纹理更丰富,近年来一直是SLAM技术研究的热点。然而视觉SLAM技术受环境光照影响较大,且当环境中纹理较弱时,容易造成定位精度低。设计了一种能够实现快速SLAM的控制系统,采用单目相机、惯性测量单元IMU、高性能计算机和显示器构成硬件系统。利用单目相机获取环境图像,通过算法提取相机图像的ORB点特征和LSD线特征,提高弱纹理场景下获取的视觉信息量。同时利用视觉图像回环检测和误差估计,结合视觉图像误差与惯性测量误差进行非线性优化,从而实现更为精准和定位和位姿估计。设计的SLAM系统采用单目相机实现图像获取,提高了前端算法的运行效率;通过点线特征结合,提高了SLAM系统的鲁棒性;通过相机与惯性测量单元的结合,提高了定位和位姿估计的准确性。

结合视觉里程计的微小型空中机器人SLAM研究

经典的基于"平滑摄像机模型"的单目视觉同步定位与地图构建方法无法适用于具有复杂飞行模式的微小型空中机器人。针对这个问题,提出一种结合视觉里程计的单目视觉同步定位与地图构建方法。该方法通过视觉里程计直接估计机器人机载摄像机相对位姿变化,并将这些位姿信息嵌入基于EKF的单目视觉同步定位与地图构建算法中。同时,在采用视觉里程计进行位姿估计时,针对可能出现的退化问题,采用特征分类的策略,提高了估计的鲁棒性。将方法应用于一套真实的微小型智能无人直升机系统上,实验数据验证了方法具有良好的适用性和实用性。

基于SURF特征的单目视觉SLAM方法研究

由于视觉信息很容易受到外界环境因素的影响,因此基于视觉的移动机器人同步定位与地图构建问题所选取的特征点要求具有较高的精确度和良好的鲁棒性.针对单目SLAM问题,提出一种基于扩展卡尔曼滤波器的单目视觉SLAM算法.该算法采用SURF特征点,结合反向深度估计法,应用扩展卡尔曼滤波器融合SURF特征信息与机器人位姿信息完成SLAM过程.仿真实验结果表明,在未知室内结构化环境下,该算法运行可靠,定位精度高.

基于深度滤波器优化的SLAM单目稠密重建

稠密重建问题是视觉同时定位与地图构建(SLAM)的重要环节,每一个像素点深度距离的准确测量对稠密重建都起到重要作用。在工业应用中,往往使用RGB-D相机进行稠密重建,但是RGB-D相机有一些量程、应用范围和光照的限制。因此,采用滤波器方式深度估计的单目相机,不仅可以保证SLAM实时性要求,同时还适用于室外、大场景等场合。针对高斯滤波算法存在稠密重建准确率不高的问题,提出了一种基于簇的均匀—高斯深度滤波算法,采用改进的滤波算法处理错误匹配的像素点,在正确处理外点数据的基础上,解决深度值错误估计、相邻像素深度值相差过大的问题。实验结果表明:改进型深度估计算法重建的稠密地图更加细致,且重建准确率提高了约30%。

有效点较少的动态场景下单目视觉SLAM算法

为了解决有效点较少的动态复杂场景下视觉SLAM准确定位问题,提出了一种基于自适应RANSAC动态特征点剔除的单目视觉SLAM算法.通过ARANSAC算法估计图像间的透视变换矩阵,并扭曲上一帧获得一个估计图像,使上一帧中的点转换到当前帧的坐标系下.通过计算特征点在估计图像和当前帧的光流值,区分并剔除ORB-SLAM2中的动态特征点,从而消除动态物体对SLAM定位性能的影响.利用TUM数据集的动态序列对本文算法进行仿真,并与ORB-SLAM2算法进行对比.结果表明,视觉SLAM算法绝对轨迹误差的标准偏差降低84.00%~96.11%,平移和旋转漂移的标准偏差最佳效果分别降低94.00%和96.44%,明显减少了视觉SLAM算法位姿估计的误差.本文算法能够在有效点较少的动态场景下,消除动态物体对视觉SLAM定位性能的影响,提高定位精度.

基于图像语义分割的动态场景下的单目SLAM算法

在恢复场景信息和相机运动时,传统的SLAM算法是基于静态环境假设的。场景中的动态物体会降低算法的稳健性和最终的定位精度。本文提出将基于深度学习的图像语义分割技术与传统的视觉SLAM算法结合,以减少动态物体对定位结果的干扰。首先,构建有监督的卷积神经网络对输入图像中的动态物体进行分割,获得语义图像;然后,从原始图像中提取特征点,并根据语义图像剔除动态物体特征点,保留静态物体特征点;最后,利用静态物体特征点采用基于特征点的单目视觉SLAM算法对相机运动进行跟踪。在Apollo Scape自动驾驶数据集上的试验表明,与传统方法相比,本文算法在动态场景中定位精度提升约17%。

一种混合单目视觉SLAM系统研究

将直接法、特征点法与目标跟踪识别算法相结合的VSLAM算法用于定位相机位姿与构建半稠密三维地图,在保证算法实时性的基础上建立针对特定目标的真实环境地图,将敏感区域图像用于直接法构建地图,使用ORB-SLAM检测回环与大范围数据修正,使用目标检测技术减少动态环境所带来的干扰。首先介绍视觉SLAM基本算法流程框架,对现有国内外主要成果展示分析,然后介绍该算法做出的改进与设计思路,最后对比实验结果分析该算法的优缺点。该系统具有速度快、鲁棒性高、易于维护、可移植性好等特点,能够应用于多种场景。

单目视觉惯性SLAM与UWB数据融合的精确定位

针对室内或封闭场景下的无人驾驶,提出了一种融合视觉同步定位与建图(SLAM)与超宽带(UWB)的定位方法。通过惯性测量单元(IMU)预积分提高单目SLAM的可靠性;再将视觉SLAM与UWB获取的定位信息通过扩展卡尔曼滤波器(EKF)得到融合后的数据。实验结果表明:在正常光照下环境下的最大误差为0.101 316 m,根均方误差(RMSE)为0.035 965,在弱光照环境下的最大误差为0.136 103 m, RMSE为0.039 132,未出现明显的跳变及漂移。提高了系统定位精度及鲁棒性。

一种视觉SLAM单目半稠密建图方法的实现

SLAM即同时定位与地图构建,一直是机器人和计算机视觉的研究热点。尤其是视觉SLAM技术,21世纪以来在理论和实践上均取得了明显的突破,已逐步迈向市场应用。建图作为SLAM的两大目标之一,可以满足更多的应用需求。本文在给定相机轨迹的情况下,提出一种视觉SLAM单目半稠密建图方法,利用极线搜索和块匹配技术,加入图像变换和逆深度高斯深度滤波器处理,以期避免单目稠密建图严重依赖纹理、计算量大的缺点,提高单目半稠密建图的准确性和鲁棒性。经测试显示,改进的单目半稠密建图方法在检测梯度变化明显像素点上更加准确,深度估计的平均误差和平方误差分别减少了9%和47%,是一种可行有效的视觉SLAM单目半稠密建图解决方案。

基于模型选择的视觉惯导SLAM初始化算法

单目视觉惯导的同时定位与建图(simultaneous localization and mapping,SLAM)初始化阶段是整个系统重要且脆弱的一部分,需要一个鲁棒的初始化过程以确保系统的可用性.针对初始化过程中容易出现位姿估计不准确而导致整个系统定位漂移的问题,本文在VINS-Mono的系统框架下,提出了一种基于模型选择的自动初始化方法,使SLAM系统可以根据不同场景自动选择合适的模型来完成联合初始化,得到系统初始值.在Euroc公开数据集的实验验证了该方法的有效性,实验结果表明改进后的VINS-Mono系统的精度和鲁棒性均得到了提高.

单目视觉SLAM综述

单目视觉SLAM因单目相机体积小、功耗低、信息获取丰富受到了广泛使用。为了深入分析单目视觉SLAM的优势,首先,简述单目视觉SLAM的基本原理,从特征点检测、相机姿态估计、选取关键帧、创建地图、地图及相机姿态优化、闭环检测等方面总结SLAM的关键环节技术。然后,基于特征方法、直接法和混合半直接法对当前主流单目视觉SLAM系统的设计框架进行详细介绍,分析20余种较为流行的系统性能特点和适用场景。最后,介绍深度学习在相机姿态估计、创建地图、闭环检测等环节中的应用,并与传统方法进行比较,以讨论单目视觉SLAM的发展趋势。

基于单目视觉的同时定位与建图算法研究综述

与传统基于激光传感器的同时定位与建图(SLAM)方法相比,基于图像视觉传感器SLAM方法能廉价地获得更多环境信息,帮助移动机器人提高智能性。不同于用带深度信息的3D传感器研究SLAM问题,单目视觉SLAM算法用二维图像序列在线构建三维环境地图并实现实时定位。针对多种单目视觉SLAM算法进行对比研究,分析了近10年来流行的单目视觉定位算法的主要思路及其分类,指出基于优化方法正取代滤波器方法成为主流方法。从初始化、位姿估计、地图创建、闭环检测等功能组件的角度分别总结了目前流行的各种单目视觉SLAM或Odometry系统的工作原理和关键技术,阐述它们的工作过程和性能特点;总结了近年最新单目视觉定位算法的设计思路,最后概括指出本领域的研究热点与发展趋势。

基于改进Census变换的单目视觉里程计

针对直接法视觉里程计在光照变化场景下的失效问题,提出基于改进Census变换的单目视觉里程计,向量Census变换半直接单目视觉里程计(VC-SVO).Census变换是立体视觉领域中非参数变换的一种,可以有效减少光照变化对图像的影响.将Census变换引入SLAM中的后端优化,改变传统Census变换的形式,转换到欧氏空间中表示,并采用新的误差计算方法.在SVO算法中增添非平面假设模型,扩展SVO算法并融合改进后的Census变换,通过最小化地图点的Census变换误差来得到更准确的相机位姿,同时构建环境地图.在EuRoC、New Tsukuba Stereo与TUM公开数据集上的图像实验表明,VC-SVO实现了光照变化情况下的位姿估计,验证了算法的有效性.VC-SVO算法的精度和鲁棒性要优于已开源的SVO和基于直接法的大范围定位和地图构建(LSDSLAM)算法.

单目视觉里程计研究综述

单目视觉里程计不仅能为移动机器人提供导航避障等功能,在无人驾驶等领域中也有更广阔的应用价值。剖析了视觉里程计的基础原理,研究了单目视觉里程计技术的国内外现状;同时,对ORB-SLAM2、DSO等典型单目视觉里程计进行深入分析和比较。针对当前视觉里程计研究中普遍关注的鲁棒性和实时性等问题,探讨了下一步研究工作的发展方向和趋势。

纯方位角目标跟踪及移动平台可观性控制方法

为了解决未知环境下的单目视觉移动机器人目标跟踪问题,提出了一种将目标状态估计与机器人可观性控制相结合的机器人同时定位、地图构建与目标跟踪方法。在状态估计方面,以机器人单目视觉同时定位与地图构建为基础,设计了扩展式卡尔曼滤波框架下的目标跟踪算法;在机器人可观性控制方面,设计了基于目标协方差阵更新最大化的优化控制方法。该方法能够实现机器人在单目视觉条件下对自身状态、环境状态、目标状态的同步估计以及目标跟随。仿真和原型样机实验验证了目标状态估计和机器人控制之间的耦合关系,证明了方法的准确性和有效性,结果表明:机器人将产生螺旋状机动运动轨迹,同时,目标跟踪和机器人定位精度与机器人机动能力成正比例关系。

三维视觉前沿进展

在自动驾驶、机器人、数字城市以及虚拟/混合现实等应用的驱动下,三维视觉得到了广泛的关注。三维视觉研究主要围绕深度图像获取、视觉定位与制图、三维建模及三维理解等任务而展开。本文围绕上述三维视觉任务,对国内外研究进展进行了综合评述和对比分析。首先,针对深度图像获取任务,从非端到端立体匹配、端到端立体匹配及无监督立体匹配3个方面对立体匹配研究进展进行了回顾,从深度回归网络和深度补全网络两个方面对单目深度估计研究进展进行了回顾。其次,针对视觉定位与制图任务,从端到端视觉定位和非端到端视觉定位两个方面对大场景下的视觉定位研究进展进行了回顾,并从视觉同步定位与地图构建和融合其他传感器的同步定位与地图构建两个方面对同步定位与地图构建的研究进展进行了回顾。再次,针对三维建模任务,从深度三维表征学习、深度三维生成模型、结构化表征学习与生成模型以及基于深度学习的三维重建等4个方面对三维几何建模研究进展进行了回顾,并从多视RGB重建、单深度相机和多深度相机方法以及单视图RGB方法等3个方面对人体动态建模研究进展进行了回顾。最后,针对三维理解任务,从点云语义分割和点云实例分割两个方面对点云语义理解研究进展进行了回顾。在此基础上,给出了三维视觉研究的未来发展趋势,旨在为相关研究者提供参考。