面向动态环境的视觉惯性定位方法

针对传统的视觉惯性里程计在动态环境下定位精度低和系统鲁棒性差等问题,提出了面向动态环境的视觉惯性定位方法。首先,利用语义分割提取环境中的语义信息,借助环境先验信息识别出动态物体。同时,采用深度生成网络对动态物体区域进行背景修复,生成只包含静态场景的图像,并将生成的图像用于后续的特征提取和跟踪,以减弱动态物体的影响。后端构建了紧耦合的图优化模型,将视觉数据与IMU数据相互融合,在滑动窗口中以非线性优化的方式估计位姿。实验结果表明,方法可以有效降低动态物体对定位的影响,提高系统的定位精度和鲁棒性。

基于全景视觉的移动机器人同步定位与地图创建研究

提出了一种基于全景视觉的移动机器人同步定位与地图创建(Omni-vSLAM)方法.该方法提取颜色区域作为视觉路标;在分析全景视觉成像原理和定位不确定性的基础上建立起系统的观测模型,定位出路标位置,进而通过扩展卡尔曼滤波算法(EKF)同步更新机器人位置和地图信息.实验结果证明了该方法在建立环境地图的同时可以有效地修正由里程计造成的累积定位误差.

基于单目视觉的轮式机器人同步定位与地图构建

如何降低计算复杂度是视觉机器人同步定位与地图(SLAM)构建的热点问题。提出一种基于单目视觉的低计算复杂度的轮式机器人同步定位与地图构建算法。该算法在观测步通过图像处理与分析,识别特征点并进行定位,将轮式机器人的视觉投影与空间物体的几何关系转换为计算机器人相对特征点的距离和角度。整体算法步骤按照预测、观测、数据关联、更新、地图构建的递推算法进行同步定位与地图构建。提出的算法可识别环境目标,并进行平滑运动。在滤波观测步只处理单帧图像数据,和Active Vision和立体视觉方法相比,降低了算法的计算复杂度。

单目视觉同步定位与地图创建方法综述

随着计算机视觉技术的发展,基于单目视觉的同步定位与地图创建(monocular SLAM)逐渐成为计算机视觉领域的热点问题之一。介绍了单目视觉SLAM方法的分类,从视觉特征检测与匹配、数据关联的优化、特征点深度的获取、地图的尺度控制几个方面阐述了单目视觉SLAM研究的发展现状。最后,介绍了常见的单目视觉与其他传感器结合的SLAM方法,并探讨了单目视觉SLAM未来的研究方向。

移动机器人视觉里程计技术研究综述

随着移动机器人技术不断发展,里程计技术已经成为移动机器人实现环境感知的关键技术,其发展水平对提高机器人的自主化和智能化具有重要意义。首先,系统阐述了同步定位与地图构建(Simultaneous localization and mapping,SLAM)中激光SLAM和视觉SLAM的发展近况,阐述了经典SLAM框架及其数学描述,简要介绍了3类常见相机的相机模型及其视觉里程计的数学描述。其次,分别对传统视觉里程计和深度学习里程计的研究进展进行系统阐述。对比分析了近10年来各类里程计算法的优势与不足。另外,对比分析了7种常用数据集的性能。最后,从精度、鲁棒性、数据集、多模态等方面总结了里程计技术面临的问题,从提高算法实时性、鲁棒性等方面展望了视觉里程计的发展趋势为:更加智能化、小型化新型传感器的发展;与无监督学习融合;语义表达技术的提高;集群机器人协同技术的发展。

基于轻量化YOLOv8n的动态视觉SLAM算法

为了改善在动态场景下同步定位与地图绘制(Simultaneous Localization And Mapping,SLAM)算法定位精度低的问题,提出一种基于轻量化YOLOv(You Only Look Once version)8n的动态视觉SLAM算法。利用加权双向特征金字塔网络(Bidirectional Feature Pyramid Network,BiFPN)对YOLOv8n模型进行轻量化改进,减少其参数量。在SLAM算法中引入轻量化YOLOv8n模型,并结合稀疏光流法组成目标检测线程,以去除动态特征点,利用经过筛选的特征点进行特征匹配和位姿估计。实验结果表明:轻量化YOLOv8n模型参数量下降了36.7%,权重减少了33.3%,能够实现YOLOv8n模型的轻量化;与ORB-SLAM3算法相比,所提算法在动态场景下的定位精度提高83.38%,有效提高了动态场景下SLAM算法的精度。

动态场景下基于语义分割的视觉SLAM方法

针对在动态场景下视觉同步定位与建图(SLAM)鲁棒性差、定位与建图精度易受动态物体干扰的问题,设计一种基于改进DeepLabv3plus与多视图几何的语义视觉SLAM算法。以语义分割网络DeepLabv3plus为基础,采用轻量级卷积网络MobileNetV2进行特征提取,并使用深度可分离卷积代替空洞空间金字塔池化模块中的标准卷积,同时引入注意力机制,提出改进的语义分割网络DeepLabv3plus。将改进后的语义分割网络DeepLabv3plus与多视图几何结合,提出动态点检测方法,以提高视觉SLAM在动态场景下的鲁棒性。在此基础上,构建包含语义信息和几何信息的三维语义静态地图。在TUM数据集上的实验结果表明,与ORB-SLAM2相比,该算法在高动态序列下的绝对轨迹误差的均方根误差值和标准差(SD)值最高分别提升98%和97%。

基于目标检测的单目视觉半稠密语义地图构建

传统的视觉同步定位与地图构建(simultaneous localization and map construction, SLAM)系统在机器人定位和制图工作中取得了显著的成功,但存在着缺乏场景信息、地图过于稀疏、单目相机初始化困难等亟待解决的问题。提出了MNS-SLAM(monocular-semantic SLAM),将目标检测算法与单目视觉SLAM技术相结合,进而构建有助于环境理解的半稠密语义地图。首先,通过目标检测网络YOLOv4检测对象获取边界框和类别信息,通过消失点算法和二次曲面恢复算法由2D目标检测恢复出3D长方体及二次曲面,实现3D物体的位姿初始化。同时,引入了目标间相对位姿不变性的语义约束,构造了语义损失函数,将其添加到BA(bundle adjustment)优化中,最后通过增量式3D线段提取,构建带有物体语义信息的半稠密地图。文中方法在TUM公开数据集和真实场景中进行试验,不仅构建了半稠密地图,同时添加了语义信息,为后端的优化提供了新的约束,相机的绝对和相对位姿误差表现出优于单目ORB-SLAM2的性能,有助于搭载单目相机的移动机器人感知和理解环境,执行更复杂的任务。

基于点转移矫正的视觉惯性里程计

针对卷帘相机的卷帘效应会引起图像扭曲,进而影响系统定位精度的问题,提出了一种融合IMU信息的点转移矫正的视觉惯性里程计。首先,针对卷帘图像扭曲问题,利用三焦点张量的点转移方法修正卷帘图像,相当于输入系统的是全局图像。其次,为了保证算法在嵌入式硬件上实时运行,采用扩展卡尔曼滤波进行信息融合来提高系统的定位精度和降低计算资源的要求。然后,引入静态检测和异常检测来保证系统的鲁棒性。最后,所提算法在手机上以25 Hz左右的帧率实时运行,并在真实环境下进行实验。公开数据集上的实验结果表明:与RS-VINS-Mono算法相比,所提算法的定位精度提升了27%,验证了该算法可有效融合视觉和惯性信息来减小卷帘效应带来的定位误差,提高了系统的鲁棒性。

基于环境语义信息的同步定位与地图构建方法综述

同步定位与地图构建技术(SLAM)是当前机器人领域的重要研究热点,传统的SLAM技术虽然在实时性方面已经达到较高的水平,但在定位精度和鲁棒性等方面还存在较大缺陷,所构建的环境地图虽然一定程度上满足了机器人的定位需要,但不足以支撑机器人自主完成导航、避障等任务,交互性能不足.随着深度学习技术的发展,利用深度学习方法提取环境语义信息,并与SLAM技术结合,越来越受到学者的关注.本文综述了环境语义信息应用到同步定位与地图构建领域的最新研究进展,重点介绍和总结了语义信息与传统视觉SLAM在系统定位和地图构建方面结合的突出研究成果,并对传统视觉SLAM算法与语义SLAM算法做了深入的对比研究.最后,展望了语义SLAM研究的发展方向.

基于语义分割的室内动态场景同步定位与语义建图

针对动态物体在室内同步定位与地图构建(SLAM)系统中影响位姿估计的问题,提出一种动态场景下基于语义分割的SLAM系统。在相机捕获图像后,首先用PSPNet(PyramidSceneParsingNetwork)对图像进行语义分割;之后提取图像特征点,剔除分布在动态物体内的特征点,并用静态的特征点进行相机位姿估计;最后完成语义点云图和语义八叉树地图的构建。在公开数据集上的五个动态序列进行多次对比测试的结果表明,相对于使用SegNet网络的SLAM系统,所提系统的绝对轨迹误差的标准偏差有6.9%~89.8%的下降,平移和旋转漂移的标准偏差在高动态场景中的最佳效果也能分别提升73.61%和72.90%。结果表明,改进的系统能够显著减小动态场景下位姿估计的误差,准确地在动态场景中进行相机位姿估计。

室内场景下基于曼哈顿约束的多重特征视觉SLAM方法

针对基于点特征的视觉同步定位与地图构建(SLAM)在室内低纹理环境出现定位精度差甚至失效的问题,提出一种基于曼哈顿约束的点线面多重特征视觉SLAM方法。为克服传统面特征提取算法检测精度差的问题,使用改进的PlaneRecNet网络进行更准确的面特征提取。针对单纯利用曼哈顿假设进行位姿估计的应用场景受限问题,利用平面间的正交关系判断曼哈顿假设条件。在非曼哈顿场景直接跟踪点、线特征估计六自由度位姿;对于曼哈顿场景,采用方向引导的方法筛选主平面,比较和跟踪平面结构的正交性进行三自由度旋转估计,降低旋转累积误差带来的漂移。在公开ICL-NUIM与TUM数据集上的实验结果表明:改进的面分割网络较PlaneRecNet和PlaneRCNN的精度分别提升5.47%和11.89%;平均绝对轨迹误差比ORB-SLAM3减少了39%,表现出了更优越的准确性和鲁棒性。

基于边缘计算的移动机器人视觉SLAM方法

针对计算资源不足的移动机器人,设计并实现了一种基于边缘计算的视觉同步定位与地图构建(VSLAM)系统。在机器人端引入局部地图,实现机器人位姿估计和轨迹实时跟踪的基本功能,并将具有位姿信息的关键帧发送到边缘计算端;边缘计算端完成全局地图构建、回环检测、地图优化和更新机器人端局部地图等功能。对VSLAM算法的线程进行解耦,提高算法的并行性;采用带有位姿信息的关键帧改进重定位功能。实验采用TUM数据集进行验证,实验结果表明,本文所设计的方法具有更好的实时性、地图构建精度和鲁棒性;当网络通信失败时,机器人可以实现独立定位和轨迹跟踪的基本功能;当网络通信恢复后,VSLAM系统可以快速恢复地图构建和轨迹跟踪功能。

基于深度学习的移动机器人语义SLAM方法研究

为了给移动机器人提供细节丰富的三维语义地图,支撑机器人的精准定位,本文提出一种结合RGB-D信息与深度学习结果的机器人语义同步定位与建图方法。改进了ORB-SLAM2算法的框架,提出一种可以构建稠密点云地图的视觉同步定位与建图系统;将深度学习的目标检测算法YOLO v5与视觉同步定位与建图系统融合,反映射为三维点云语义标签,结合点云分割完成数据关联和物体模型更新,并用八叉树的地图形式存储地图信息;基于移动机器人平台,在实验室环境下开展移动机器人三维语义同步定位与建图实验,实验结果验证了本文语义同步定位与建图算法的语义信息映射、点云分割与语义信息匹配以及三维语义地图构建的有效性。

基于视觉SLAM的水果采摘机器人研究进展

水果采摘机器人是一种具有较大潜力的农业自动化技术,不仅需在复杂且不断变化的环境中连续作业,还面临地形、树木分布、天气变化、环境光照、遮挡等多种挑战。视觉同步定位与地图构建(SLAM)作为一种成本低廉且能够提供丰富语义信息的技术,有望提高水果采摘机器人的效率和自动化程度。近年来,视觉SLAM在水果采摘机器人领域取得了一系列重要进展,主要包括深度学习优化方法、基于点线特征的优化方法、基于RGB-D的视觉SLAM优化方法、动态环境中视觉SLAM优化方法、回环检测和后端优化方法等。未来,水果采摘机器人领域的研究将朝着更高的自动化程度和采摘效率方向发展;可能的发展方向包括更复杂的感知系统、更智能的决策算法、更强大的硬件支持等。此外,水果采摘机器人在多样化水果园中的适应性和鲁棒性研究也将引领这一领域的发展。通过不断推动视觉SLAM技术的创新,水果采摘机器人有望成为现代农业的重要工具,提高水果产量并减轻农业劳动力短缺的问题。

视觉SLAM综述

视觉SLAM指的是相机作为唯一的外部传感器,在进行自身定位的同时创建环境地图。SLAM创建的地图的好坏对之后自主的定位、路径规划以及壁障的性能起到一个决定性的作用。本文对基于特征的视觉SLAM方法和直接的SLAM方法,视觉SLAM的主要标志性成果,SLAM的主要研究实验室进行了介绍,并介绍了SIFT,SURF,ORB特征的检测与匹配,关键帧选择方法,并对消除累积误差的闭环检测及地图优化的方法进行了总结。最后,对视觉SLAM的主要发展趋势及研究热点进行了讨论,并对单目视觉SLAM,双目视觉SLAM,RGB_D SLAM进行了优缺点分析。

基于视觉词典的单目视觉闭环检测算法

针对移动机器人单目视觉同步定位与地图构建中的闭环检测问题,文中设计一种基于视觉词典的闭环检测算法.算法对采集的每帧图像通过SURF进行特征提取,应用模糊K均值算法对检测的视觉特征向量进行分类,在线构建表征图像的视觉词典.为精确表征局部视觉特征与视觉单词间的相似关联,利用混合高斯模型建立视觉词典中的每一视觉单词的概率模型,实现图像基于视觉词典的概率向量表示,通过向量的内积来计算图像间的相似度.为保证闭环检测的成功率,应用贝叶斯滤波融合历史闭环检测与相似度信息来计算闭环假设的后验概率分布.另外,引入浅层记忆与深度记忆两种内存管理机制来保证算法执行的快速性.实验结果证明该方法的有效性.

基于单目SLAM稀疏特征的避障方法

为在使用单目相机的低成本移动机器人上实现避障,提出一种基于现有单目SLAM系统生成的稀疏特征的可通行区域检测方法。通过使用单目SLAM生成的稀疏地标点标识障碍物,根据环境信息恢复构建三维体素地图,生成二维栅格代价地图。为解决单目SLAM中尺度不明确的问题,提出一种基于视觉-轮式编码器的尺度求解器。通过直接使用机器人已有的SLAM框架生成的地标点,在降低系统整合成本同时降低计算量。实验结果表明,在KITTI和DRE数据集上构图的耗时在10 ms~20 ms,可以很好满足在性能受限的设备上的实时避障需求。

实时三维重建算法的实现——基于Kinect与单目视觉SLAM的三维重建

作为计算机视觉技术的一个重要分支,基于单目视觉的三维重建技术以其要求简单、成本低廉、易于实现等优点,得到了越来越多的关注。在室内环境下就智能机器人的同步定位以及环境地图创建(SLAM)算法展开了研究,引入RGB-D相机Kinect直接获取3D场景的深度信息,实现了一种基于单目视觉SLAM与Kinect的实时三维重建方法。

基于逆深度滤波的单目稠密建图

稠密地图估计是同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)的重要目标。针对经典的深度滤波算法重建精度不高的问题,提出一种基于逆深度滤波的改进单目稠密点云重建方法,在极线搜索阶段通过设置阈值提高效率,通过逆深度高斯滤波器更新后验逆深度概率分布,通过帧内检测剔除外点。实验结果验证改进后的稠密重建算法具有更稠密、更精确的重建效果,且无须GPU加速。