农业场景下移动机器人的双目视觉定位与地图构建方法

视觉定位与地图构建是实现移动机器人自主导航的关键技术。针对农业场景下特征跟踪困难、场景规模大、运动不稳定引起系统精度和鲁棒性下降的问题,提出了一种适用于农业场景的双目视觉定位与地图构建方法。该方法首先利用静态立体匹配点来增加跟踪阶段地图点的数量和覆盖范围,从而增加了深度计算的准确率,同时提出一种点选择算法对密集地图点进行采样并移除离群点,进一步提高了系统的准确率和运行效率;然后通过显式尺度估计来减小大规模场景下定位与地图构建的尺度误差,并结合场景特点改进关键帧判别策略,避免了远处大目标导致关键帧稀疏的问题;最后提出新的运动假设构建位姿估计失败时的恢复策略,提高了系统在颠簸运动时的鲁棒性。在农业场景数据集上的评估结果表明,相比于当前先进的视觉定位与地图构建系统,提出的方法在困难序列上的轨迹误差降低幅度超过50%,其中3个序列上的尺度误差下降了一个数量级,取得了更高的精度和鲁棒性,能有效地应对农业场景下视觉定位与地图构建的挑战。

基于视觉同时定位与地图构建的水下图像增强式视觉三维重建方法

针对仿生机器鱼水下作业时面临的水下图像质量偏低、水下自主定位难的问题,提出一种颜色均衡与G-B通道先验融合的水下图像增强式算法。将该算法和视觉同时定位与地图构建(SLAM)方法结合,实现了水下图像增强式的视觉三维重建。在不同水域环境下进行了水下图像处理实验、水下环境视觉三维重建实验和运动轨迹跟踪实验,结果表明该方法有效提高了水下图像综合质量,特征匹配效率提高了16.03%,真实轨迹与估计轨迹的误差平均约为7.99 mm。

动态场景下基于视觉同时定位与地图构建技术的多层次语义地图构建方法

为提高视觉同时定位与地图构建(SLAM)技术的环境适应性和语义信息理解能力,该文提出一种可以在动态场景下实现多层次语义地图构建的视觉SLAM方案。首先利用被迫移动物体与动态目标间的空间位置关系,并结合目标检测网络和光流约束判断真正的动态目标,从而剔除动态特征点;其次提出一种基于超体素的快速点云分割方案,将基于静态区域构建的3维地图进行优化,构建了物体级的点云语义地图;同时构建的语义地图可以提供更高精度的训练数据样本,进一步用来提升目标检测网络性能。在TUM和ICL-NUIM数据集上的实验结果表明,该方法在定位精度上远优于目前主流的动态场景下的视觉SLAM方案,证明了该方法在高动态场景中具有较好的稳定性和鲁棒性;在建图精度和质量上,经过将重建的不同种类地图与各个现有方法进行比较,验证了提出的多层次语义地图构建的方法在静态和高动态场景中的有效性与适用性。

动态环境下基于深度学习的视觉SLAM研究综述

目前的同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)研究大多是基于静态场景的假设,而实际生活中动态物体是不可避免的。在视觉SLAM系统中加入深度学习,可以协同剔除场景中的动态物体,有效提升视觉SLAM在动态环境下的鲁棒性。文章首先介绍了动态环境下基于深度学习的视觉SLAM分类,然后详细介绍了基于目标检测、基于语义分割和基于实例分割的视觉SLAM,并对它们进行了分析比较。最后,结合近年来视觉SLAM的发展趋势,通过对动态环境下基于深度学习的视觉SLAM存在的主要问题进行分析,总结了未来可能的发展方向。

基于环境语义信息的同步定位与地图构建方法综述

同步定位与地图构建技术(SLAM)是当前机器人领域的重要研究热点,传统的SLAM技术虽然在实时性方面已经达到较高的水平,但在定位精度和鲁棒性等方面还存在较大缺陷,所构建的环境地图虽然一定程度上满足了机器人的定位需要,但不足以支撑机器人自主完成导航、避障等任务,交互性能不足.随着深度学习技术的发展,利用深度学习方法提取环境语义信息,并与SLAM技术结合,越来越受到学者的关注.本文综述了环境语义信息应用到同步定位与地图构建领域的最新研究进展,重点介绍和总结了语义信息与传统视觉SLAM在系统定位和地图构建方面结合的突出研究成果,并对传统视觉SLAM算法与语义SLAM算法做了深入的对比研究.最后,展望了语义SLAM研究的发展方向.

基于视觉的机器人自主定位与障碍物检测方法

针对稀疏型同时定位与地图构建(SLAM)算法环境信息丢失导致无法检测障碍物问题,提出一种基于视觉的机器人自主定位与障碍物检测方法。首先,利用双目相机得到观测场景的视差图。然后,在机器人操作系统(ROS)架构下,同时运行定位与建图和障碍物检测两个节点。定位与建图节点基于ORB-SLAM2完成位姿估计与环境建图。障碍物检测节点引入深度阈值,将视差图二值化;运用轮廓提取算法得到障碍物轮廓信息并计算障碍物凸包面积;再引入面积阈值,剔除误检测区域,从而实时准确地解算出障碍物坐标。最后,将检测到的障碍物信息插入到环境的稀疏特征地图当中。实验结果表明,该方法能够在实现机器人自主定位的同时,快速检测出环境中的障碍物,检测精度能够保证机器人顺利避障。

室内场景下基于曼哈顿约束的多重特征视觉SLAM方法

针对基于点特征的视觉同步定位与地图构建(SLAM)在室内低纹理环境出现定位精度差甚至失效的问题,提出一种基于曼哈顿约束的点线面多重特征视觉SLAM方法。为克服传统面特征提取算法检测精度差的问题,使用改进的PlaneRecNet网络进行更准确的面特征提取。针对单纯利用曼哈顿假设进行位姿估计的应用场景受限问题,利用平面间的正交关系判断曼哈顿假设条件。在非曼哈顿场景直接跟踪点、线特征估计六自由度位姿;对于曼哈顿场景,采用方向引导的方法筛选主平面,比较和跟踪平面结构的正交性进行三自由度旋转估计,降低旋转累积误差带来的漂移。在公开ICL-NUIM与TUM数据集上的实验结果表明:改进的面分割网络较PlaneRecNet和PlaneRCNN的精度分别提升5.47%和11.89%;平均绝对轨迹误差比ORB-SLAM3减少了39%,表现出了更优越的准确性和鲁棒性。

基于边缘计算的移动机器人视觉SLAM方法

针对计算资源不足的移动机器人,设计并实现了一种基于边缘计算的视觉同步定位与地图构建(VSLAM)系统。在机器人端引入局部地图,实现机器人位姿估计和轨迹实时跟踪的基本功能,并将具有位姿信息的关键帧发送到边缘计算端;边缘计算端完成全局地图构建、回环检测、地图优化和更新机器人端局部地图等功能。对VSLAM算法的线程进行解耦,提高算法的并行性;采用带有位姿信息的关键帧改进重定位功能。实验采用TUM数据集进行验证,实验结果表明,本文所设计的方法具有更好的实时性、地图构建精度和鲁棒性;当网络通信失败时,机器人可以实现独立定位和轨迹跟踪的基本功能;当网络通信恢复后,VSLAM系统可以快速恢复地图构建和轨迹跟踪功能。

基于视觉词典的单目视觉闭环检测算法

针对移动机器人单目视觉同步定位与地图构建中的闭环检测问题,文中设计一种基于视觉词典的闭环检测算法.算法对采集的每帧图像通过SURF进行特征提取,应用模糊K均值算法对检测的视觉特征向量进行分类,在线构建表征图像的视觉词典.为精确表征局部视觉特征与视觉单词间的相似关联,利用混合高斯模型建立视觉词典中的每一视觉单词的概率模型,实现图像基于视觉词典的概率向量表示,通过向量的内积来计算图像间的相似度.为保证闭环检测的成功率,应用贝叶斯滤波融合历史闭环检测与相似度信息来计算闭环假设的后验概率分布.另外,引入浅层记忆与深度记忆两种内存管理机制来保证算法执行的快速性.实验结果证明该方法的有效性.

特征法视觉SLAM逆深度滤波的三维重建

针对现有特征法视觉SLAM只能重建稀疏点云、非关键帧对地图点深度估计无贡献等问题,本文提出一种特征法视觉SLAM逆深度滤波的三维重建方法,可利用视频序列影像实时、增量式地构建相对稠密的场景结构.具体来说,设计了一种基于运动模型的关键帧追踪流程,能够提供精确的相对位姿关系;采用一种基于概率分布的逆深度滤波器,地图点通过多帧信息累积、更新得到,而不再由两帧三角化直接获取;提出一种基于特征法与直接法的后端混合优化框架,以及基于平差约束的地图点筛选策略,可以准确、高效解算相机位姿与场景结构.试验结果表明,与现有方法相比,本文方法具有更高的计算效率和位姿估计精度,而且能够重建出全局一致的较稠密点云地图.

移动机器人RGB-D视觉SLAM算法

针对移动机器人视觉同步定位以及地图构建(Simultaneous localization and mapping,SLAM)研究中存在精确度较低、实时性较差等问题,提出了一种用于移动机器人的RGB-D视觉SLAM算法。首先利用定向二进制简单描述符(Oriented fast and rotated brief,ORB)算法提取RGB图像的特征点,通过基于快速近似最邻近(Fast library for approximate nearest neighbors,FLANN)的双向邻近(K-nearest neighbor,KNN)特征匹配方法得到匹配点对集合,利用改进后的随机抽样一致性(Re-estimate random sample consensus,RE-RANSAC)算法剔除误匹配点,估计得到相邻图像间的6D运动变换模型,然后利用广义迭代最近点(Generalized iterative closest point,GICP)算法得到优化后的运动变换模型,进而求解得到相机位姿。为提高定位精度,引入随机闭环检测环节,减少了机器人定位过程中的累积误差,并采用全局图优化(General graph optimization,G2O)方法对相机位姿图进行优化,得到全局最优相机位姿和相机运动轨迹;最终通过点云拼接生成全局彩色稠密点云地图。针对所测试的FR1数据集,本文算法的最小定位误差为0.011 m,平均定位误差为0.024 5 m,每帧数据平均处理时间为0.032 s,满足移动机器人快速定位建图的需求。

基于动态特征点匹配方法的室内环境SLAM研究

主要针对在动态环境下如何有效剔除动态物体以便构建更为准确的室内环境语义地图这一问题,提出一种在借鉴ORB-SLAM3的基础上,通过增加视频图像关键帧选择机制并计算图像帧中特征点切换概率的方法来实现动态场景下的语义语义地图构建。首先,简化原有ORB-SLAM3的架构,仅以单目视觉作为图像数据源;其次,为减少计算量,在一组连续图像帧中通过一种评价选择机制来选取关键帧进行处理;接着为剔除动态物体,采用一种切换概率方法来计算特征点的动态变化,并通过MASK R-CNN进行分割,最终实现实时语义地图构建。实验结果表明,所提方法具有准确性与实时性。上述方法在动态场景下的绝对轨迹误差与相对姿态误差均有极大的改善,可实现准确剔除动态物体以解决跟踪丢失问题,且在室内动态场景下的绝对轨迹误差与相对姿态误差均有较大改善,且能满足系统运行的实时性要求。

基于语义分割的室内动态场景同步定位与语义建图

针对动态物体在室内同步定位与地图构建(SLAM)系统中影响位姿估计的问题,提出一种动态场景下基于语义分割的SLAM系统。在相机捕获图像后,首先用PSPNet(PyramidSceneParsingNetwork)对图像进行语义分割;之后提取图像特征点,剔除分布在动态物体内的特征点,并用静态的特征点进行相机位姿估计;最后完成语义点云图和语义八叉树地图的构建。在公开数据集上的五个动态序列进行多次对比测试的结果表明,相对于使用SegNet网络的SLAM系统,所提系统的绝对轨迹误差的标准偏差有6.9%~89.8%的下降,平移和旋转漂移的标准偏差在高动态场景中的最佳效果也能分别提升73.61%和72.90%。结果表明,改进的系统能够显著减小动态场景下位姿估计的误差,准确地在动态场景中进行相机位姿估计。

采用反向构成迭代的视觉SLAM直接法位姿估计

为了提高视觉SLAM相机位姿估计的计算效率,提出一种直接位姿估计方法。该方法无需逐帧进行特征提取和影像匹配,直接根据像点辐射信息构建非线性优化问题求解相机位姿。推导了基于灰度变换系数的直接法位姿估计平差模型及相应的反向构成迭代解法,利用常速运动模型构建合理初值假设,设计相应的关键帧判断与创建准则,并基于ORB-SLAM系统框架进行实现,使其在保留间接法优点的同时,运算速度得以显著提升。实验结果表明:该方法估计每帧位姿仅需5.7ms,可以在保证同等精度的情况下,达到ORB-SLAM系统2倍以上的整体计算效率,基本满足视频影像实时稳健三维重建的要求。

SLAM系统中的自适应双阈值Canny算法

传统Canny算法在使用高斯滤波进行采样时,获得的滤波结果通常呈现为模糊图像,并且需要手动设定双阈值参数,因此缺乏对不同环境下的自适应性。为解决这个问题,本文提出一种SLAM系统中的自适应双阈值Canny算法,即采用双边滤波增强Canny算法的去噪和边缘特征保留能力,并通过自适应阈值选择算法实现在不同环境下确定最优的边缘特征提取阈值。仿真对比实验的结果表明,该算法在去噪和保留图像特征两个方面均具有更强的能力。

视觉回环检测的多约束深度距离学习方法

在强场景变换下的视觉回环检测问题中,已有深度学习方法提取的特征描述子区分度不佳.针对此问题,文中深入分析多约束距离关系,提出视觉回环检测的多约束深度距离学习方法.首先,利用任意的卷积神经网络将原始图像映射为低维空间的特征描述子.然后,提出多约束损失函数,约束特征描述子之间的距离关系,并在线自动构造多约束训练样本集,提取更有区分度的低维特征.在New College、TUM数据集上的实验表明,文中方法提升强场景变化下回环检测的性能.

基于图模型的视觉SLAM系统误差动态补偿

本文提出一种基于图模型的视觉SLAM系统误差动态补偿方法,可以得到更加精确的位姿估计与三维重建结果。该方法首先利用改进生成树遍历得到包含完整场景的最小关键帧子集;然后通过四叉树均衡化算法进行三维地图点选取,并采用基于双窗口约束的平差策略限制计算量;最后按照自检校光束法平差原理构建误差方程进行求解。实验结果表明,该方法能够在保持计算效率的前提下,准确、稳健地补偿系统误差,提升位姿估计精度与重建模型的内符合一致性。

基于SLAM/UWB的室内融合定位算法研究

精确且稳定的自主定位是移动机器人在室内环境下实现自主导航的前提,针对室内定位中视觉即时定位与地图构建(SLAM)存在的累计误差以及环境因素导致超宽带(UWB)定位精度下降的问题,提出一种基于SLAM/UWB的室内融合定位算法.首先该算法以扩展卡尔曼滤波(EKF)为基础,将UWB的全局定位坐标和视觉SLAM位移增量进行融合,但考虑到测量噪声易受复杂环境影响,引入阈值检测和自适应测量噪声估计器,以抑制异常值和时变测量噪声对滤波器性能的影响,最后使用智能移动小车在不同的室内场地下进行实验.实验表明:该算法优于单一的UWB或者视觉SLAM定位方式,并且在复杂室内环境下比传统EKF算法拥有更稳定的定位效果.

基于GPU并行计算的快速视觉惯性里程计方法

针对当前视觉即时定位与地图构建(VSLAM)前端视觉惯性里程计(VIO)存在运算量大导致计算时间长的问题,提出了一种全新的基于图形处理器(GPU)并行加速的VIO方法。首先,对VIO进行加速算法设计,包括限制对比度的自适应性直方图均衡化(CLAHE)算法加速、FAST角点筛选改进加速以及改进光流跟踪算法加速。最后,将设计的加速算法串并组合成前端,结合开源VINS-Mono后端进行定位精度与实时性测试,平均耗时减少12.03 ms,定位精度均方根(RMS)值相差0.008 963 m。实验结果表明:提出的方法在保持定位精度的同时提升了算法实时性能,且优于VINS-Mono中基于OpenCV GPU加速的方法。

融合点线特征的视觉惯性SLAM算法

为使移动机器人在昏暗场景中获得更高的定位精度以实现更好的建图效果,针对特征点稀疏、相机移动过快所导致的SLAM算法初始化困难、定位精度较低等问题,提出了一种融合点线特征的视觉惯性SLAM算法。通过EDLines线特征提取匹配算法来引入丰富的线特征,进而提升特征跟踪的鲁棒性;利用惯性传感器和视觉传感器的互补优势,通过视觉惯性分步联合初始化方法在初始化阶段分三步进行优化,进而提升初始化的精度和速度。实验表明,该算法所使用的线特征提取匹配算法相比传统的LSD算法具有了更快的匹配速度和更低的误匹配率,并且该算法在视觉惯性数据集中相机位姿的估计精度更高、鲁棒性更强。