动态场景下基于视觉同时定位与地图构建技术的多层次语义地图构建方法

为提高视觉同时定位与地图构建(SLAM)技术的环境适应性和语义信息理解能力,该文提出一种可以在动态场景下实现多层次语义地图构建的视觉SLAM方案。首先利用被迫移动物体与动态目标间的空间位置关系,并结合目标检测网络和光流约束判断真正的动态目标,从而剔除动态特征点;其次提出一种基于超体素的快速点云分割方案,将基于静态区域构建的3维地图进行优化,构建了物体级的点云语义地图;同时构建的语义地图可以提供更高精度的训练数据样本,进一步用来提升目标检测网络性能。在TUM和ICL-NUIM数据集上的实验结果表明,该方法在定位精度上远优于目前主流的动态场景下的视觉SLAM方案,证明了该方法在高动态场景中具有较好的稳定性和鲁棒性;在建图精度和质量上,经过将重建的不同种类地图与各个现有方法进行比较,验证了提出的多层次语义地图构建的方法在静态和高动态场景中的有效性与适用性。

基于直接法的视觉同时定位与地图构建技术综述

视觉同时定位与地图构建(V-SLAM)在机器人、无人机导航、自动驾驶等领域有着广泛的研究。直接法V-SLAM基于环境亮度不变性假设,跟踪相机的位姿并构建环境地图。针对直接法V-SLAM,首先简述其基本原理;然后分析、比较几种具有代表性的直接法V-SLAM系统;最后讨论直接法的优缺点和发展趋势,并进行了总结和展望。

基于视觉同时定位与地图构建的水下图像增强式视觉三维重建方法

针对仿生机器鱼水下作业时面临的水下图像质量偏低、水下自主定位难的问题,提出一种颜色均衡与G-B通道先验融合的水下图像增强式算法。将该算法和视觉同时定位与地图构建(SLAM)方法结合,实现了水下图像增强式的视觉三维重建。在不同水域环境下进行了水下图像处理实验、水下环境视觉三维重建实验和运动轨迹跟踪实验,结果表明该方法有效提高了水下图像综合质量,特征匹配效率提高了16.03%,真实轨迹与估计轨迹的误差平均约为7.99 mm。

基于点线特征的视觉同时定位与地图构建综述

同时定位与地图构建(simultaneous localization and mapping,SLAM)作为计算机视觉中的热门方向,在无人驾驶、移动机器人等领域中发挥着重要的作用。由于线特征在低纹理环境下的优势,越来越多的研究人员利用点线特征融合的方法提高SLAM系统的精度和鲁棒性。文中首先简要阐述了传统的点特征SLAM系统在低纹理环境下的局限性,并对现有的视觉SLAM综述文献进行了总结;随后,对经典的点线SLAM方案进行了介绍,并总结了点线特征融合在前端、后端、闭环检测中的研究进展;最后,对点线SLAM未来的发展方向进行了展望。

掘进机器人视觉定位及巷道地图重构技术研究

在实现煤矿掘进工作面智能化和无人化方面,巷道环境的构建以及掘进机器人的准确定位至关重要。考虑到井下空间狭小、设备众多以及光线不足等限制因素,实现对巷道环境和设备的可视化变得复杂。解决这一难题的关键在于精准地勘测井下环境,实现设备的精确定位。以煤矿掘进机器人为研究对象,对巷道的三维重建和掘进机器人的定位问题进行了深入分析。通过比较不同的掘进机器人定位和建图方案,确定了适用于煤矿巷道的整体方案。该方案综合运用了单目视觉、激光雷达等多种传感器,为解决掘进机器人定位和巷道环境构建等难题提供了应对策略。

基于先验地图的视觉重定位方法综述

在自动驾驶、增强现实和智能移动机器人领域,视觉重定位是非常重要的基础问题.视觉重定位是指根据视觉传感器实时拍摄的数据,在已有先验地图中确定位置和姿态的问题.过去数十年间,该问题受到广泛关注,涌现出种类繁多的先验地图构建方法和视觉重定位方法.这些工作差异大,涉及范围广,技术概括和总结尚缺乏.因此,对视觉重定位领域进行综述具有重要的理论和应用价值.尝试为视觉重定位相关方法建立一个统一的蓝图,从图像数据在大规模地图数据库中查询的角度对相关工作进行分析和总结.综述不同类型地图数据库构建方法、不同特征匹配、重定位和位姿计算方法,总结目前视觉重定位的主流数据集,最后分析视觉重定位存在的挑战和潜在发展方向.

农业场景下移动机器人的双目视觉定位与地图构建方法

视觉定位与地图构建是实现移动机器人自主导航的关键技术。针对农业场景下特征跟踪困难、场景规模大、运动不稳定引起系统精度和鲁棒性下降的问题,提出了一种适用于农业场景的双目视觉定位与地图构建方法。该方法首先利用静态立体匹配点来增加跟踪阶段地图点的数量和覆盖范围,从而增加了深度计算的准确率,同时提出一种点选择算法对密集地图点进行采样并移除离群点,进一步提高了系统的准确率和运行效率;然后通过显式尺度估计来减小大规模场景下定位与地图构建的尺度误差,并结合场景特点改进关键帧判别策略,避免了远处大目标导致关键帧稀疏的问题;最后提出新的运动假设构建位姿估计失败时的恢复策略,提高了系统在颠簸运动时的鲁棒性。在农业场景数据集上的评估结果表明,相比于当前先进的视觉定位与地图构建系统,提出的方法在困难序列上的轨迹误差降低幅度超过50%,其中3个序列上的尺度误差下降了一个数量级,取得了更高的精度和鲁棒性,能有效地应对农业场景下视觉定位与地图构建的挑战。

基于LIO-SAM建图和激光视觉融合定位的温室自主行走系统

为解决传统导航方案在温室内无法应对光照变化大、作物行间距窄、接收GPS信号差等问题,该研究提出了基于即时定位与地图构建技术的激光视觉融合式自主导航算法。该系统利用三维激光雷达VLP-16(Velodyne LiDAR,VLP-16)和惯性测量单元获取温室环境信息,采用基于紧耦合的雷达惯导定位建图(tightly-coupled lidar inertial odometry via smoothing and mapping,LIO-SAM)算法构建导航地图,基于轮式里程计和视觉里程计采用扩展卡尔曼滤波器算法实现局部定位,融合激光点云配准算法和自适应蒙特卡洛定位算法实现全局定位。同时,在自主行走系统应用A*算法规划全局路径和动态窗口算法规划局部路径,从而实现自主导航。试验结果表明,LIO-SAM算法构建的温室导航地图最大相对误差、最大绝对误差和均方根误差分别为9.9%、0.081和0.063 m,在温室内改进后的定位算法横向偏差小于0.020 m,纵向偏差小于0.090 m;当自主行走系统以0.15、0.30和0.50 m/s的速度运行时,横向偏差、纵向偏差和航向偏角的平均值分别小于0.120 m、0.10 m和8.5°,标准差分别小于0.070 m、0.140 m和6.6°。该导航方案满足自主行走系统在温室内高精度建图、定位和导航的需求,可为自主移动平台提供理论与技术支撑。

面向动态环境的视觉惯性定位方法

针对传统的视觉惯性里程计在动态环境下定位精度低和系统鲁棒性差等问题,提出了面向动态环境的视觉惯性定位方法。首先,利用语义分割提取环境中的语义信息,借助环境先验信息识别出动态物体。同时,采用深度生成网络对动态物体区域进行背景修复,生成只包含静态场景的图像,并将生成的图像用于后续的特征提取和跟踪,以减弱动态物体的影响。后端构建了紧耦合的图优化模型,将视觉数据与IMU数据相互融合,在滑动窗口中以非线性优化的方式估计位姿。实验结果表明,方法可以有效降低动态物体对定位的影响,提高系统的定位精度和鲁棒性。

移动机器人视觉里程计技术研究综述

随着移动机器人技术不断发展,里程计技术已经成为移动机器人实现环境感知的关键技术,其发展水平对提高机器人的自主化和智能化具有重要意义。首先,系统阐述了同步定位与地图构建(Simultaneous localization and mapping,SLAM)中激光SLAM和视觉SLAM的发展近况,阐述了经典SLAM框架及其数学描述,简要介绍了3类常见相机的相机模型及其视觉里程计的数学描述。其次,分别对传统视觉里程计和深度学习里程计的研究进展进行系统阐述。对比分析了近10年来各类里程计算法的优势与不足。另外,对比分析了7种常用数据集的性能。最后,从精度、鲁棒性、数据集、多模态等方面总结了里程计技术面临的问题,从提高算法实时性、鲁棒性等方面展望了视觉里程计的发展趋势为:更加智能化、小型化新型传感器的发展;与无监督学习融合;语义表达技术的提高;集群机器人协同技术的发展。

基于视觉的同时定位与地图构建方法综述

基于视觉的自主导航与路径规划是移动机器人研究的关键技术,对基于视觉的计算机导航与同时定位及地图构建(SLAM)方法近三十年的发展进行了总结和展望。将视觉导航分为室内导航和室外导航,并详细阐述了每一种子类型的特点和方法。对于室内视觉导航,列举了经典导航模型和技术方法,探讨了解决SLAM问题的最新进展:HTM-SLAM算法和基于特征的算法;对室外视觉导航,阐述了国际国内目前的研究动态。

基于单目视觉的轮式机器人同步定位与地图构建

如何降低计算复杂度是视觉机器人同步定位与地图(SLAM)构建的热点问题。提出一种基于单目视觉的低计算复杂度的轮式机器人同步定位与地图构建算法。该算法在观测步通过图像处理与分析,识别特征点并进行定位,将轮式机器人的视觉投影与空间物体的几何关系转换为计算机器人相对特征点的距离和角度。整体算法步骤按照预测、观测、数据关联、更新、地图构建的递推算法进行同步定位与地图构建。提出的算法可识别环境目标,并进行平滑运动。在滤波观测步只处理单帧图像数据,和Active Vision和立体视觉方法相比,降低了算法的计算复杂度。

基于视觉的同时定位与地图构建的研究进展

基于视觉的同时定位与地图构建(VSLAM)是目前机器人定位方面的热门研究课题,在机器人自身的定位以及场景识别、任务执行、路径规划等方面发挥着重要的作用。针对VSLAM的应用领域和发展趋势进行总结和归纳,分析了VSLAM的基本原理;在此基础上,从间接法和直接法两个方面对VSLAM关键技术和最新的研究进展进行了阐述,对比分析不同方法的优点和实现难点。最后展望了VSLAM的未来发展趋势和研究方向。

激光雷达SLAM下移动机器人双目视觉全局定位

移动机器人在未知环境中执行任务时,需精准感知地图环境和其他物体位置,确定其自身位置。为了提高移动机器人的全局定位精度,提出激光雷达SLAM下移动机器人双目视觉全局定位方法。依据双目视觉系统测距原理,选取双目摄像机中的任意一个相机建立主坐标系,构建双目摄像机模型,结合棋盘图与张正友标定法,标定双目摄像机中参数。在此基础上,计算单帧图像特征点的尺度,完成双目视觉初始化,利用权重函数计算任意一个特征点与线、与面之间的加权值和距离值,估计移动机器人的位置,引入非迭代畸变补偿方法,完成对移动机器人的全局定位。测试结果表明,所提方法的定位结果与实际运动位置之间的最小误差为0.1 m,该方法可以精准定位到移动机器人位置,指导移动机器人更好地执行作业任务。

基于目标检测的单目视觉半稠密语义地图构建

传统的视觉同步定位与地图构建(simultaneous localization and map construction, SLAM)系统在机器人定位和制图工作中取得了显著的成功,但存在着缺乏场景信息、地图过于稀疏、单目相机初始化困难等亟待解决的问题。提出了MNS-SLAM(monocular-semantic SLAM),将目标检测算法与单目视觉SLAM技术相结合,进而构建有助于环境理解的半稠密语义地图。首先,通过目标检测网络YOLOv4检测对象获取边界框和类别信息,通过消失点算法和二次曲面恢复算法由2D目标检测恢复出3D长方体及二次曲面,实现3D物体的位姿初始化。同时,引入了目标间相对位姿不变性的语义约束,构造了语义损失函数,将其添加到BA(bundle adjustment)优化中,最后通过增量式3D线段提取,构建带有物体语义信息的半稠密地图。文中方法在TUM公开数据集和真实场景中进行试验,不仅构建了半稠密地图,同时添加了语义信息,为后端的优化提供了新的约束,相机的绝对和相对位姿误差表现出优于单目ORB-SLAM2的性能,有助于搭载单目相机的移动机器人感知和理解环境,执行更复杂的任务。

单目视觉的地图构建与同时定位研究进展

同时定位和地图构建技术(SLAM)在移动机器人自主导航领域有着广泛的应用。首先列举了国内外具有代表性的单目SLAM算法,并简要介绍了这些算法的概况;其次依托这些算法阐述并分析了单目视觉SLAM过程中的关键步骤,包括初始化,特征点跟踪,直接法跟踪,回环检测,后端优化步骤的原理和现有的处理方法;最后对未来视觉SLAM中的多传感器融合,深度学习的发展趋势做了总结。

基于视频图像分析及单目视觉技术的地铁施工人员定位技术研究

针对传统地铁工程人员定位系统建设、维护、管理成本高,应用效果不佳等问题,基于施工现场视频监控设备,提出施工区域人员识别及位置计算的人员定位方法,并研发了一套工地人员定位软件。通过视频监控画面和AI智能算法自动识别人体,基于单目视觉原理建立单张数码相片中人体与视频监控摄像头的相对位置关系,借助监控摄像头的GIS坐标,解算方位参数后推算目标人体坐标。工程案例应用表明,通过对照无人机航拍正射影像地图和特征点交会测量坐标可知,定位系统精度能控制在2 m以内,满足施工现场管理要求。

一种混合视觉的车载激光雷达即时定位与地图构建方法

为提高地图的构建精度,提出一种混合视觉即时定位与地图构建方法。利用相机和激光雷达标定获得具有颜色信息的点云,并对点云数据进行预处理,选取相邻帧点云之间的特征点,制定匹配策略,对匹配点采取未解耦的位姿求解算法,获取两帧间的变换矩阵作为后续帧间匹配的初值。分别利用KITTI数据集和实车试验数据进行验证,结果表明,所提出的方法轨迹点均方根误差分别优化了6.84%和4.53%,验证了所提出方法的有效性。

基于VSLAM的自主移动机器人三维同时定位与地图构建

移动机器人在探索未知环境且没有外部参考系统的情况下,面临着同时定位和地图构建(SLAM)问题。针对基于特征的视觉SLAM(VSLAM)算法构建的稀疏地图不利于机器人应用的问题,提出一种基于八叉树结构的高效、紧凑的地图构建算法。首先,根据关键帧的位姿和深度数据,构建图像对应场景的点云地图;然后利用八叉树地图技术进行处理,构建出了适合于机器人应用的地图。将所提算法同RGB-D SLAM(RGB-Depth SLAM)算法、Elastic Fusion算法和ORB-SLAM(Oriented FAST and Rotated BRIEF SLAM)算法通过权威数据集进行了对比实验,实验结果表明,所提算法具有较高的有效性、精度和鲁棒性。最后,搭建了自主移动机器人,将改进的VSLAM系统应用到移动机器人中,能够实时地完成自主避障和三维地图构建,解决稀疏地图无法用于避障和导航的问题。

基于直线特征提取匹配搜救机器人的同步定位与地图构建

针对搜救机器人在灾后特征环境下同步定位与地图构建问题,提出了改进动态阈值分裂合并算法,与固定阈值算法相比提高了直线拟合的准确性。推导出匹配条件参数,通过比较始末点距离解决了误匹配,提高了匹配精度。在此基础上,进行全局定位计算。利用最小二乘法进行滤波处理,提高了定位精度。通过仿真与模拟现场实验表明,本文方法能使提取的直线更准确地反映实际地形环境,完成二维栅格地图的实时创建任务。