基于视觉同时定位与地图构建的水下图像增强式视觉三维重建方法

针对仿生机器鱼水下作业时面临的水下图像质量偏低、水下自主定位难的问题,提出一种颜色均衡与G-B通道先验融合的水下图像增强式算法。将该算法和视觉同时定位与地图构建(SLAM)方法结合,实现了水下图像增强式的视觉三维重建。在不同水域环境下进行了水下图像处理实验、水下环境视觉三维重建实验和运动轨迹跟踪实验,结果表明该方法有效提高了水下图像综合质量,特征匹配效率提高了16.03%,真实轨迹与估计轨迹的误差平均约为7.99 mm。

视觉同步定位与地图重建——基于先验信息的SIFT匹配算法

鉴于尺度不变特征转换(SIFT)匹配算法存在计算效率不高且容易出现误匹配的问题,针对视觉同步定位与地图重建,提出了一种基于先验信息的SIFT匹配算法.该算法首先根据机器人和特征点的相对距离变化来预测尺度空间的变化;然后根据机器人和特征点的当前状态来预测特征点的图像位置;最后在预测的图像位置进行SIFT匹配.实验结果表明该算法能显著提高SIFT匹配的计算效率和准确性.

基于全景视觉的移动机器人同步定位与地图创建研究

提出了一种基于全景视觉的移动机器人同步定位与地图创建(Omni-vSLAM)方法.该方法提取颜色区域作为视觉路标;在分析全景视觉成像原理和定位不确定性的基础上建立起系统的观测模型,定位出路标位置,进而通过扩展卡尔曼滤波算法(EKF)同步更新机器人位置和地图信息.实验结果证明了该方法在建立环境地图的同时可以有效地修正由里程计造成的累积定位误差.

基于单目视觉的轮式机器人同步定位与地图构建

如何降低计算复杂度是视觉机器人同步定位与地图(SLAM)构建的热点问题。提出一种基于单目视觉的低计算复杂度的轮式机器人同步定位与地图构建算法。该算法在观测步通过图像处理与分析,识别特征点并进行定位,将轮式机器人的视觉投影与空间物体的几何关系转换为计算机器人相对特征点的距离和角度。整体算法步骤按照预测、观测、数据关联、更新、地图构建的递推算法进行同步定位与地图构建。提出的算法可识别环境目标,并进行平滑运动。在滤波观测步只处理单帧图像数据,和Active Vision和立体视觉方法相比,降低了算法的计算复杂度。

单目视觉同步定位与地图创建方法综述

随着计算机视觉技术的发展,基于单目视觉的同步定位与地图创建(monocular SLAM)逐渐成为计算机视觉领域的热点问题之一。介绍了单目视觉SLAM方法的分类,从视觉特征检测与匹配、数据关联的优化、特征点深度的获取、地图的尺度控制几个方面阐述了单目视觉SLAM研究的发展现状。最后,介绍了常见的单目视觉与其他传感器结合的SLAM方法,并探讨了单目视觉SLAM未来的研究方向。

基于点线特征的视觉同时定位与地图构建综述

同时定位与地图构建(simultaneous localization and mapping,SLAM)作为计算机视觉中的热门方向,在无人驾驶、移动机器人等领域中发挥着重要的作用。由于线特征在低纹理环境下的优势,越来越多的研究人员利用点线特征融合的方法提高SLAM系统的精度和鲁棒性。文中首先简要阐述了传统的点特征SLAM系统在低纹理环境下的局限性,并对现有的视觉SLAM综述文献进行了总结;随后,对经典的点线SLAM方案进行了介绍,并总结了点线特征融合在前端、后端、闭环检测中的研究进展;最后,对点线SLAM未来的发展方向进行了展望。

面向动态环境的视觉惯性定位方法

针对传统的视觉惯性里程计在动态环境下定位精度低和系统鲁棒性差等问题,提出了面向动态环境的视觉惯性定位方法。首先,利用语义分割提取环境中的语义信息,借助环境先验信息识别出动态物体。同时,采用深度生成网络对动态物体区域进行背景修复,生成只包含静态场景的图像,并将生成的图像用于后续的特征提取和跟踪,以减弱动态物体的影响。后端构建了紧耦合的图优化模型,将视觉数据与IMU数据相互融合,在滑动窗口中以非线性优化的方式估计位姿。实验结果表明,方法可以有效降低动态物体对定位的影响,提高系统的定位精度和鲁棒性。

基于环境语义信息的同步定位与地图构建方法综述

同步定位与地图构建技术(SLAM)是当前机器人领域的重要研究热点,传统的SLAM技术虽然在实时性方面已经达到较高的水平,但在定位精度和鲁棒性等方面还存在较大缺陷,所构建的环境地图虽然一定程度上满足了机器人的定位需要,但不足以支撑机器人自主完成导航、避障等任务,交互性能不足.随着深度学习技术的发展,利用深度学习方法提取环境语义信息,并与SLAM技术结合,越来越受到学者的关注.本文综述了环境语义信息应用到同步定位与地图构建领域的最新研究进展,重点介绍和总结了语义信息与传统视觉SLAM在系统定位和地图构建方面结合的突出研究成果,并对传统视觉SLAM算法与语义SLAM算法做了深入的对比研究.最后,展望了语义SLAM研究的发展方向.

特征法视觉SLAM逆深度滤波的三维重建

针对现有特征法视觉SLAM只能重建稀疏点云、非关键帧对地图点深度估计无贡献等问题,本文提出一种特征法视觉SLAM逆深度滤波的三维重建方法,可利用视频序列影像实时、增量式地构建相对稠密的场景结构.具体来说,设计了一种基于运动模型的关键帧追踪流程,能够提供精确的相对位姿关系;采用一种基于概率分布的逆深度滤波器,地图点通过多帧信息累积、更新得到,而不再由两帧三角化直接获取;提出一种基于特征法与直接法的后端混合优化框架,以及基于平差约束的地图点筛选策略,可以准确、高效解算相机位姿与场景结构.试验结果表明,与现有方法相比,本文方法具有更高的计算效率和位姿估计精度,而且能够重建出全局一致的较稠密点云地图.

实时三维重建算法的实现——基于Kinect与单目视觉SLAM的三维重建

作为计算机视觉技术的一个重要分支,基于单目视觉的三维重建技术以其要求简单、成本低廉、易于实现等优点,得到了越来越多的关注。在室内环境下就智能机器人的同步定位以及环境地图创建(SLAM)算法展开了研究,引入RGB-D相机Kinect直接获取3D场景的深度信息,实现了一种基于单目视觉SLAM与Kinect的实时三维重建方法。

基于语义分割的室内动态场景同步定位与语义建图

针对动态物体在室内同步定位与地图构建(SLAM)系统中影响位姿估计的问题,提出一种动态场景下基于语义分割的SLAM系统。在相机捕获图像后,首先用PSPNet(PyramidSceneParsingNetwork)对图像进行语义分割;之后提取图像特征点,剔除分布在动态物体内的特征点,并用静态的特征点进行相机位姿估计;最后完成语义点云图和语义八叉树地图的构建。在公开数据集上的五个动态序列进行多次对比测试的结果表明,相对于使用SegNet网络的SLAM系统,所提系统的绝对轨迹误差的标准偏差有6.9%~89.8%的下降,平移和旋转漂移的标准偏差在高动态场景中的最佳效果也能分别提升73.61%和72.90%。结果表明,改进的系统能够显著减小动态场景下位姿估计的误差,准确地在动态场景中进行相机位姿估计。

移动机器人视觉里程计技术研究综述

随着移动机器人技术不断发展,里程计技术已经成为移动机器人实现环境感知的关键技术,其发展水平对提高机器人的自主化和智能化具有重要意义。首先,系统阐述了同步定位与地图构建(Simultaneous localization and mapping,SLAM)中激光SLAM和视觉SLAM的发展近况,阐述了经典SLAM框架及其数学描述,简要介绍了3类常见相机的相机模型及其视觉里程计的数学描述。其次,分别对传统视觉里程计和深度学习里程计的研究进展进行系统阐述。对比分析了近10年来各类里程计算法的优势与不足。另外,对比分析了7种常用数据集的性能。最后,从精度、鲁棒性、数据集、多模态等方面总结了里程计技术面临的问题,从提高算法实时性、鲁棒性等方面展望了视觉里程计的发展趋势为:更加智能化、小型化新型传感器的发展;与无监督学习融合;语义表达技术的提高;集群机器人协同技术的发展。

基于单目视觉惯性的同步定位与地图构建方法综述

单目视觉惯性同步定位与地图构建(visual-inertial simultaneous localization and mapping,VI-SLAM)技术因具有硬件成本低、无需对外部环境进行布置等优点,得到了广泛关注,在过去的十多年里取得了长足的进步,涌现出诸多优秀的方法和系统。由于实际场景的复杂性,不同方法难免有各自的局限性。虽然已经有一些工作对VISLAM方法进行了综述和评测,但大多只针对经典的VI-SLAM方法,已不能充分反映最新的VI-SLAM技术发展现状。本文首先对基于单目VI-SLAM方法的基本原理进行阐述,然后对单目VI-SLAM方法进行分类分析。为了综合全面地对比不同方法之间的优劣势,本文特别选取3个公开数据集对代表性的单目VI-SLAM方法从多个维度上进行定量评测,全面系统地分析了各类方法在实际场景尤其是增强现实应用场景中的性能。实验结果表明,基于优化或滤波和优化相结合的方法一般在跟踪精度和鲁棒性上比基于滤波的方法有优势,直接法/半直接法在全局快门拍摄的情况下精度较高,但容易受卷帘快门和光照变化的影响,尤其是大场景下误差累积较快;结合深度学习可以提高极端情况下的鲁棒性。最后,针对深度学习与V-SLAM/VI-SLAM结合、多传感器融合以及端云协同这3个研究热点,对SLAM的发展趋势进行讨论和展望。

基于单目视觉SLAM的实时三维场景重建

在室外等大规模环境下,由于存在着光照、遮挡、大量相似物和相机的旋转、抖动等问题,传统的基于特征提取的方法会在实时性、数据关联、闭环检测等方面存在限制。文中在视觉测程法的基础上使用图像直接对齐,并结合基于滤波的方法进行半稠密深度图估计,进而把选取出来的关键帧图像融合到全局地图中,最后在后端采用改进的g2o[1]框架不断地对位姿图进行优化。实验结果表明,该方法取得了比较好的实时性和鲁棒性。

动态场景下基于语义分割的视觉SLAM方法

针对在动态场景下视觉同步定位与建图(SLAM)鲁棒性差、定位与建图精度易受动态物体干扰的问题,设计一种基于改进DeepLabv3plus与多视图几何的语义视觉SLAM算法。以语义分割网络DeepLabv3plus为基础,采用轻量级卷积网络MobileNetV2进行特征提取,并使用深度可分离卷积代替空洞空间金字塔池化模块中的标准卷积,同时引入注意力机制,提出改进的语义分割网络DeepLabv3plus。将改进后的语义分割网络DeepLabv3plus与多视图几何结合,提出动态点检测方法,以提高视觉SLAM在动态场景下的鲁棒性。在此基础上,构建包含语义信息和几何信息的三维语义静态地图。在TUM数据集上的实验结果表明,与ORB-SLAM2相比,该算法在高动态序列下的绝对轨迹误差的均方根误差值和标准差(SD)值最高分别提升98%和97%。

基于点转移矫正的视觉惯性里程计

针对卷帘相机的卷帘效应会引起图像扭曲,进而影响系统定位精度的问题,提出了一种融合IMU信息的点转移矫正的视觉惯性里程计。首先,针对卷帘图像扭曲问题,利用三焦点张量的点转移方法修正卷帘图像,相当于输入系统的是全局图像。其次,为了保证算法在嵌入式硬件上实时运行,采用扩展卡尔曼滤波进行信息融合来提高系统的定位精度和降低计算资源的要求。然后,引入静态检测和异常检测来保证系统的鲁棒性。最后,所提算法在手机上以25 Hz左右的帧率实时运行,并在真实环境下进行实验。公开数据集上的实验结果表明:与RS-VINS-Mono算法相比,所提算法的定位精度提升了27%,验证了该算法可有效融合视觉和惯性信息来减小卷帘效应带来的定位误差,提高了系统的鲁棒性。

基于目标检测的单目视觉半稠密语义地图构建

传统的视觉同步定位与地图构建(simultaneous localization and map construction, SLAM)系统在机器人定位和制图工作中取得了显著的成功,但存在着缺乏场景信息、地图过于稀疏、单目相机初始化困难等亟待解决的问题。提出了MNS-SLAM(monocular-semantic SLAM),将目标检测算法与单目视觉SLAM技术相结合,进而构建有助于环境理解的半稠密语义地图。首先,通过目标检测网络YOLOv4检测对象获取边界框和类别信息,通过消失点算法和二次曲面恢复算法由2D目标检测恢复出3D长方体及二次曲面,实现3D物体的位姿初始化。同时,引入了目标间相对位姿不变性的语义约束,构造了语义损失函数,将其添加到BA(bundle adjustment)优化中,最后通过增量式3D线段提取,构建带有物体语义信息的半稠密地图。文中方法在TUM公开数据集和真实场景中进行试验,不仅构建了半稠密地图,同时添加了语义信息,为后端的优化提供了新的约束,相机的绝对和相对位姿误差表现出优于单目ORB-SLAM2的性能,有助于搭载单目相机的移动机器人感知和理解环境,执行更复杂的任务。

基于轻量化YOLOv8n的动态视觉SLAM算法

为了改善在动态场景下同步定位与地图绘制(Simultaneous Localization And Mapping,SLAM)算法定位精度低的问题,提出一种基于轻量化YOLOv(You Only Look Once version)8n的动态视觉SLAM算法。利用加权双向特征金字塔网络(Bidirectional Feature Pyramid Network,BiFPN)对YOLOv8n模型进行轻量化改进,减少其参数量。在SLAM算法中引入轻量化YOLOv8n模型,并结合稀疏光流法组成目标检测线程,以去除动态特征点,利用经过筛选的特征点进行特征匹配和位姿估计。实验结果表明:轻量化YOLOv8n模型参数量下降了36.7%,权重减少了33.3%,能够实现YOLOv8n模型的轻量化;与ORB-SLAM3算法相比,所提算法在动态场景下的定位精度提高83.38%,有效提高了动态场景下SLAM算法的精度。

视觉SLAM综述

视觉SLAM指的是相机作为唯一的外部传感器,在进行自身定位的同时创建环境地图。SLAM创建的地图的好坏对之后自主的定位、路径规划以及壁障的性能起到一个决定性的作用。本文对基于特征的视觉SLAM方法和直接的SLAM方法,视觉SLAM的主要标志性成果,SLAM的主要研究实验室进行了介绍,并介绍了SIFT,SURF,ORB特征的检测与匹配,关键帧选择方法,并对消除累积误差的闭环检测及地图优化的方法进行了总结。最后,对视觉SLAM的主要发展趋势及研究热点进行了讨论,并对单目视觉SLAM,双目视觉SLAM,RGB_D SLAM进行了优缺点分析。

基于视觉词典的单目视觉闭环检测算法

针对移动机器人单目视觉同步定位与地图构建中的闭环检测问题,文中设计一种基于视觉词典的闭环检测算法.算法对采集的每帧图像通过SURF进行特征提取,应用模糊K均值算法对检测的视觉特征向量进行分类,在线构建表征图像的视觉词典.为精确表征局部视觉特征与视觉单词间的相似关联,利用混合高斯模型建立视觉词典中的每一视觉单词的概率模型,实现图像基于视觉词典的概率向量表示,通过向量的内积来计算图像间的相似度.为保证闭环检测的成功率,应用贝叶斯滤波融合历史闭环检测与相似度信息来计算闭环假设的后验概率分布.另外,引入浅层记忆与深度记忆两种内存管理机制来保证算法执行的快速性.实验结果证明该方法的有效性.