基于YOLOv7-mask和ORB-SLAM2的语义八叉树地图构建

针对传统视觉SLAM构建的地图不具有语义信息的问题,提出一种基于深度学习算法的八叉树地图构建方法。该方法采用YOLOv7-mask对图像进行实例分割,得到像素所属类别信息,生成语义灰度图,并结合ORB-SLAM2,将新关键帧投影生成语义点云地图,最终将语义点云地图转换成语义八叉树地图进行存储。通过搭建实验平台,构建了不同状况下实验室场景的语义八叉树地图,验证了所提方法的可行性。

基于ORB-slam2改进的八叉树地图构建

ORB-slam2在建图部分构建的是稀疏特征点地图,无法提供导航功能。考虑到八叉树地图可以实现三维导航,该文在原ORB-slam2算法的基础上增加了八叉树的地图构建。实现方式是将点云地图转化为八叉树地图,并在建图之后对地图进行滤波处理。通过对TUM数据集和真实环境的同步定位与地图构建实验证明,滤波之后的八叉树地图在不破坏环境结构的情况下,相比于点云地图节省了大量的内存空间,并且去除了因为噪声产生的孤立的点,使地图变得干净准确,为后续的三维导航提供有效的技术支持。

面向室内动态场景的视觉同时定位与地图构建语义八叉树地图构建方法

针对传统视觉同时定位与地图构建(vSLAM)系统在动态场景中无法有效去除运动物体及缺少可用于更高层应用的语义地图等问题,提出了一种可有效去除动态物体并构建表征室内静态环境的语义八叉树地图的vSLAM系统方法。首先,使用FastSCNN作为语义分割网络提取图像的语义信息,同时,利用金字塔光流法对特征点进行跟踪匹配。然后,使用步进随机抽样一致算法(Multistage RANSAC)通过多次执行不同尺度的RANSAC流程对特征点进行步进采样,再利用对极几何约束并结合FastSCNN提取的语义信息进行视觉里程计动态特征点剔除。最后,通过体素滤波降低点云冗余后构建纯静态环境的语义八叉树地图。实验结果表明:所提方法在公用数据集TUM RGBD的8个RGBD高动态序列中测试的相机相对位移误差、相对旋转误差和全局轨迹误差相较于ORBSLAM2系统有94%以上的提升,全局轨迹误差仅为0.1 m;相较于同类DSSLAM系统,动点剔除总耗时有21%的缩减。建图性能方面,经体素滤波后构建的语义点云地图与语义八叉树地图分别占据9.6 MB、685 kB的存储空间,相较于17 MB的原始点云,语义八叉树地图仅占用其4%的存储空间并因含有语义可用于更高层次的智能交互任务。

基于改进ORB-SLAM2算法的RGB-D稠密地图构建

针对传统ORB-SLAM2系统无法稠密建图以及缺少可应用于移动机器人在特定场景下导航与路径规划的八叉树地图等问题,提出了一种改进RGB-D ORB-SLAM2算法.该算法利用深度信息,通过针孔成像模型计算出关键帧点云的三维空间位置,采用离群点滤波去除多余杂点,体素滤波保留具有特征信息的点云进行拼接,降低地图冗余度,并经过稠密回环处理进一步优化更新关键帧的点云位姿,构建出精确的稠密点云地图并转换为八叉树地图.试验数据表明,相比于RGB-D SLAMV2系统,RGB-D ORB-SLAM2系统的全局轨迹误差和相对位姿误差提升有50%以上,均方根误差为0.89%,均值误差为0.76%;在建图性能方面,相比于同类型算法,点云数量平均降低约30%.此外,八叉树地图相比于点云地图,仅占其内存的0.6%,更加满足了高精度、快速性的导航需求.

基于视觉SLAM的飞机模拟座舱三维地图构建

针对飞机座舱副驾驶的研究需要,为使得机械臂能够在飞机座舱完成导航任务,旨在构建一个可用于机械臂导航的飞机模拟座舱三维地图。针对特征点分布情况对即时定位与地图构建(simultaneous localization and mapping,简称SLAM)的建图精度的影响,通过实验对比,验证了ORB-SLAM改进的ORB(oriented FAST and rotated BRIEF)特征检测算法相对于OpenCV库中SIFT,SURF和ORB算法检测提取的特征点分布更加均匀,更适用于SLAM。采用Kinect V2.0作为深度信息图像和彩色图像的数据采集设备,在飞机模拟座舱真实的环境下,结合ROS系统和ORBSLAM2系统框架,构建了飞机座舱内的三维稠密点云地图。针对点云地图存在数据大和难以实现导航等问题,采用了OctoMap数据模型,该数据模型能够压缩点云,调节分辨率和判断空间是否被占据,将点云地图转化为八叉树地图,最终获得数据小和适用于导航的三维八叉树地图。

基于VSLAM的自主移动机器人三维同时定位与地图构建

移动机器人在探索未知环境且没有外部参考系统的情况下,面临着同时定位和地图构建(SLAM)问题。针对基于特征的视觉SLAM(VSLAM)算法构建的稀疏地图不利于机器人应用的问题,提出一种基于八叉树结构的高效、紧凑的地图构建算法。首先,根据关键帧的位姿和深度数据,构建图像对应场景的点云地图;然后利用八叉树地图技术进行处理,构建出了适合于机器人应用的地图。将所提算法同RGB-D SLAM(RGB-Depth SLAM)算法、Elastic Fusion算法和ORB-SLAM(Oriented FAST and Rotated BRIEF SLAM)算法通过权威数据集进行了对比实验,实验结果表明,所提算法具有较高的有效性、精度和鲁棒性。最后,搭建了自主移动机器人,将改进的VSLAM系统应用到移动机器人中,能够实时地完成自主避障和三维地图构建,解决稀疏地图无法用于避障和导航的问题。

改进ORB-SLAM2算法的关键帧选取及地图构建研究

针对传统ORB-SLAM2算法精度较低、图片帧跟踪容易丢失的问题,以及没有构建稠密点云地图与OctoMap的问题,原本构建的稀疏点云地图不能直接应用于机器人的三维路径规划。在传统ORB-SLAM2算法基础上,对关键帧的选取进行了改进。首先,在传统的ORB-SLAM2算法的基础上,在相邻图像帧间添加相对运动量的综合变换因数,并添加帧间特征点跟踪来提高关键帧选取的准确性;然后,使用已选取关键帧进行稠密点云地图与OctoMap的构建;最后,在TUM数据集上进行验证,并基于真实环境进行物理测试。实验结果表明,改进的关键帧选取方法在保证关键帧选取的准确性和快速性的前提下,可以增加ORB-SLAM2算法定位精度,有效的缓解了图片帧跟踪易丢失问题,并且构建的八叉树地图可直接用于机器人的三维路径规划。

基于ORB-SLAM2系统的快速误匹配剔除算法与地图构建

针对ORB-SLAM2系统中随机抽样一致(RANSAC)算法在误匹配剔除时因其算法本身的随机性而导致效率较低的问题和在ORB-SLAM2系统里未能构建稠密点云地图的问题,采用渐进一致采样(PROSAC)算法来改进ORB-SLAM2系统中的误匹配剔除,并在系统中添加稠密点云地图和八叉树地图构建线程。首先,与RANSAC算法相比,PROSAC算法依据评价函数对特征点进行预排序,并选取评价质量较高的特征点求解单应性矩阵,根据单应性矩阵的解与匹配误差阈值进行误匹配剔除;然后,根据ORB-SLAM2系统进行相机的位姿估计与重定位;最后,根据所选关键帧进行稠密点云地图与八叉树地图的构建。根据TUM数据集上的实验结果,PROSAC算法在进行相同图像的误匹配剔除时所用时间是RANSAC算法的50%左右,并且所提系统的绝对轨迹误差与相对位姿误差与ORB-SLAM2系统基本一致,表现出良好的鲁棒性;另外,与稀疏点云地图相比,提出的新构建地图可以直接用于机器人的导航与路径规划。

基于目标检测的室内动态场景同步定位与建图

为了提高室内动态场景下定位与建图的准确性与实时性,提出了一种基于目标检测的室内动态场景同步定位与建图(simultaneous localization and mapping,SLAM)系统。利用目标检测的实时性,在传统ORB_SLAM2算法上结合YOLOv5目标检测网络识别相机图像中的动态物体,生成动态识别框,根据动态特征点判别方法只将识别框内动态物体上的ORB特征点去除,利用剩余特征点进行相机位姿的估计,最后建立只含静态物体的稠密点云地图与八叉树地图。同时在机器人操作系统(robot operating system,ROS)下进行仿真,采用套接字(Socket)通信方式代替ROS中话题通信方式,将ORB_SLAM2算法与YOLOv5目标检测网络相结合,以提高定位与建图的实时性。在TUM数据集上进行多次实验结果表明,与ORB_SLAM2系统相比,本文系统相机位姿精确度大幅度提高,并且提高了每帧跟踪的处理速度。

基于RGB-D图像的室内机器人同时定位与地图构建

同时定位与地图构建(SLAM)是机器人在未知环境实现自主导航的关键技术,针对目前常用的RGB-D SLAM系统实时性差和精确度低的问题,提出一种新的RGB-D SLAM系统,以进一步提升实时性和精确度。首先,采用ORB算法检测图像特征点,并对提取的特征点采用基于四叉树的均匀化策略进行处理,并结合词袋模型(BoW)进行特征匹配。然后,在系统相机姿态初始值估计阶段,结合Pn P和非线性优化方法为后端优化提供一个更接近最优值的初始值;在后端优化中,使用光束法平差(BA)对相机姿态初始值进行迭代优化,从而得到相机姿态的最优值。最后,根据相机姿态和每帧点云地图的对应关系,将所有的点云数据注册到同一个坐标系中,得到场景的稠密点云地图,并对点云地图利用八叉树进行递归式的压缩以得到一种用于机器人导航的三维地图。在TUM RGB-D数据集上,将构建的RGB-D SLAM同RGB-D SLAMv2、ORB-SLAM2系统进行了对比,实验结果表明所构建的RGB-D SLAM系统在实时性和精确度上的综合表现更优。

基于视觉SLAM和目标检测的语义地图构建

语义信息对于移动机器人理解环境内容、执行复杂任务至关重要,针对ORB-SLAM2构建的点云过于稀疏、缺乏语义信息、点云所占存储空间大等问题,提出将目标检测算法与视觉SLAM(同时定位与地图构建)技术紧密结合,构建环境的稠密点云语义地图。首先,通过目标检测网络YOLO v3及对象正则化准确获取物体的2D标签,并经过ORB-SLAM2算法构建环境的稀疏点云地图,通过含有2D标签的彩色图像和对应的深度图像以及关键帧来生成含有语义信息的稠密点云标签,使用基于图的分割算法对稠密点云进行分割,再将点云标签与分割后的点云进行融合,进而构建环境的稠密点云语义地图。文中方法在TUM公开数据集上进行试验,实验表明可以构建出效果较好的语义地图。与传统的ORB-SLAM2相比,此系统在构建地图的过程中,相机的绝对位姿误差和绝对轨迹误差分别减少了16.02%和15.86%,提高了建图精度。为了减小点云地图的存储空间,方便移动机器人进行避障和导航,最终将所构建的语义地图转换为八叉树地图。

拓展A*算法的机器人室内三维地图路径规划

为解决室内三维地图场景中移动机器人的路径规划与避障问题,将机器人实际体积纳入考虑范畴。定义机器人为正方体包围盒,讨论了机器人体积与周围障碍物的关系,提出了安全区域的概念,并对A*路径规划算法进行拓展。为解决三维点云节点数量大难以进行处理的问题,将数据格式转换成了八叉树结构,并在八叉树上创建了最优路径搜索方案,以提升数据处理效果。通过室内三维地图场景中移动机器人的最优路径搜索,实验结果表明上述方法能够在三维场景里有效解决机器人的路径规划与避障问题。

即时八叉图下的室内未知环境探索航迹规划

针对无人机机载系统计算能力有限这一关键问题,提出一种基于即时八叉树地图的室内自主探索航迹规划方法。首先利用RGB-D相机得到的深度图为输入,实时构建八叉树地图,同时实时扫描无人机当前视野内的八叉树地图进行场景识别,以自主识别的场景为基础,针对性地设计了在不同场景下规划下一目标点时所用的方法,有效降低了机载系统的计算量,实现了室内未知环境的自主探索。仿真实验结果表明,该方法可行性高且在计算复杂度方面具有一定优势。

基于目标检测的室内动态场景SLAM

室内动态场景下的同步定位与地图构建(simultaneous localization and mapping,SLAM)系统容易受到运动障碍物的影响,从而导致其位姿估计精度和视觉里程计的稳定性降低。本文提出一种基于YOLOv4目标检测网络的视觉SLAM算法,获取语义信息,并利用LK光流法判断动态特征,在传统的ORB-SLAM2系统上将动态特征点剔除,只使用静态特征点来估计相机的位姿;建立稠密点云地图,并转化成节约内存空间的八叉树地图。在TUM公开数据集上对该方法进行测试和评估,实验结果表明:在动态环境下,该系统与ORB-SLAM2相比,相机位姿估计精度提高83%,且减少了生成的环境地图的存储空间,为后续实现机器人导航具有重要意义。

基于Deeplab V3+的机器人语义SLAM算法研究

针对机器人在同步定位与地图构建(SLAM)系统中受几何场景信息计算力和带宽负载的限制,对ORB-SLAM2框架进行改进,提出语义跟踪和语义建图线程,语义跟踪线程通过Deeplab V3+对图像语义分割,同时提取该图像特征点,进行移动一致性检查来剔除动态噪声点,结合一致性检查后的特征点和分割后的图像信息来二次检查动态点,随后位姿估计,而语义建图线程主要完成语义八叉树地图的构建。在TUM RGB-D数据集上进行了广泛实验,在walking系列数据中的旋转漂移误差达到1.19m、平移漂移误差达到0.046m,满足实时性要求,所提方法有效提高了SLAM的精度和鲁棒性。

基于多重信息增益的移动机器人探索策略

针对移动机器人在未知环境中自主探索及建图存在盲目性的问题,提出了一种基于贝叶斯优化评估多重信息增益的探索策略。在候选点提取方法上采用融合前沿点聚类与可通行区域的方式综合衡量提取,相较于传统的前沿点检测方法有效解决了候选点集合过大及环境信息缺失等问题;在候选点评估方法上利用贝叶斯优化计算多重信息增益,综合考虑地图熵值与距离成本,相较于仅考虑地图熵值选取最佳候选点的方法,有效改进了机器人在环境中的冗余路径。该算法在机器人操作系统(robot operating system,ROS)中采用Gazebo进行仿真实验验证,构建环境地图。结果表明,该方法可以使移动机器人快速有效地探索未知环境,高质量完成建图任务。

基于目标检测的室内动态场景定位与建图

针对室内场景中动态对象严重影响相机位姿估计准确性的问题,提出一种基于目标检测的室内动态场景同步定位与地图构建(SLAM)系统。当相机捕获图像后,首先,利用YOLOv4目标检测网络检测环境中的动态对象,并生成对应边界框的掩膜区域;然后,提取图像中的ORB特征点,并将掩膜区域内部的特征点剔除掉;同时结合GMS算法进一步剔除误匹配,并仅利用剩余静态特征点来估计相机位姿;最后,完成滤除动态对象的静态稠密点云地图和八叉树地图的构建。在TUM RGB-D公开数据集上进行的多次对比测试的结果表明,相对于ORB-SLAM2系统、GCNv2_SLAM系统和YOLOv4+ORB-SLAM2系统,所提系统在绝对轨迹误差(ATE)和相对位姿误差(RPE)上有明显的降低,说明该系统能够显著提高室内动态环境中相机位姿估计的准确性。

基于实例分割的室内动态场景SLAM

针对动态物体在室内场景中影响定位与建图准确性的问题,提出一种基于实例分割的室内动态场景同步定位与地图构建(SLAM)系统。首先,利用Mask RCNN网络对输入的图像序列进行实例分割,结合多视几何方法提高动态对象分割效果;然后提取图像中的快速提取和描述(ORB)特征点,将动态物体内的特征点剔除,利用静态的特征点进行位姿估计;最后,利用背景修复和点云拼接技术实现室内场景实例级稠密点云地图和语义八叉树地图的构建。在公开动态场景数据集上进行多次测试的实验结果表明,相对于ORB-SLAM2系统,该系统相机位姿估计误差明显降低,对环境信息的理解能力得到提升,对后续移动机器人的导航工作具有重要的意义。

一种基于改进词袋模型的视觉SLAM算法

针对室内环境中视觉同时定位与建图(simultaneous localization and mapping,SLAM)精度不高和实用性较差等问题,采用深度相机作为传感器,提出一种基于改进词袋模型的视觉SLAM算法。该算法通过增加节点距离的方式,对传统的词袋模型进行改进,采用octree方法转化点云,生成可用于导航的八叉树图,并进行改进前后词袋模型对比实验、数据集精度实验和实验室实测。结果表明,改进后的词袋模型相似度计算能力和区分度更强,SLAM算法在环境有回环和相机运动较慢的情况下,效果较好,可满足室内同时定位与建图及后续导航需求。

采茶机器人导航避障及路径规划研究

为实现采茶机器人在室外复杂茶园环境中定位与环境地图构建,使用改进的ORB-SLAM2算法进行机器人自身定位与三维点云地图的构建。在环境地图构建完成的基础上,完成地图的保存,并将三维点云地图转换为八叉树地图。在八叉树地图上实现采茶机器人的碰撞检测算法与路径规划算法,路径规划算法采用RRT(Rapidly-exploringRandomTree,快速遍历随机树)算法。于模拟茶园环境中,在实际机器人平台上进行实验,实验结果表明,所提方案实际运行结果良好,可以满足采茶机器人导航避障及路径规划要求。