联合目标检测与深度信息的动态特征点去除方法

针对在动态环境中,视觉定位系统的定位精度和鲁棒性容易受到动态特征点影响的问题,提出了一种联合目标检测与深度信息的动态特征点去除方法.引入YOLOv7目标检测网络快速获得当前图像帧的目标类别及位置信息,加入坐标注意力(coordinate attention,CA)机制优化深度学习模型,提升网络目标检测精度.此外,提出了一种利用深度信息和对极几何约束的动态特征点优化策略.有效剔除了动态特征点,同时保留了尽量多的静态点,从而降低了动态点对系统定位精度和鲁棒性的影响.在公开的数据集TUM上进行实验验证.结果表明:与ORBSLAM2(oriented fast and rotated brief-SLAM)相比,所提方案在定位精度和鲁棒性上有明显优势.同时与动态同步定位和地图构建(dyna simultaneous localization and mapping,DynaSLAM)相比,定位精度基本持平,但在运行速度上实现了显著提升.

基于语义信息与动态特征点剔除的SLAM算法

传统的同时定位与地图构建(Simultaneous localization and mapping,SLAM)算法在现实场景中易受动态物体及背景的影响,针对该问题提出了一种将语义分割与动态特征点剔除相结合的动态SLAM算法,以实现动态场景地图的构建。首先,根据多层通道注意力和空间注意力机制,构造特征融合网络MulAttenNet(Multilayer attention network),并进行语义分割,剔除场景中运动概率大的物体,粗略估计相机位姿;其次,根据相机位姿和深度信息剔除动态区域;最后,利用剔除后的特征点进行地图的构建。对MulAttenNet网络和动态SLAM算法进行实验,以验证算法的有效性,实验结果表明:该算法构造的MulAttenNet网络能有效提高语义分割的准确性,平均像素准确度提高4.05%,均交并比提高2.60%;将该算法构建的动态SLAM算法与现有SLAM算法相比,建图的绝对位姿误差和相对位姿误差都有所缩小。该算法能在动态场景下构建高精度的语义地图。

基于改进YOLOv8s的动态视觉SLAM算法

针对SLAM系统在动态场景中因物体快速移动导致特征匹配性能降低的问题,本文在ORB-SLAM2框架上提出基于改进YOLOv8s的动态视觉SLAM算法。使用轻量级网络Fasternet替换YOLOv8s主干网络,使用RT-DETR中的Transformer Decoder Head改进检测头。结合几何与语义信息实现动态特征点的高效剔除。在TUM数据集上的实验表明,本算法在动态场景下的定位与建图精度比ORB-SLAM2提高约96.06%,并且具有良好的实时性。

有效点较少的动态场景下单目视觉SLAM算法

为了解决有效点较少的动态复杂场景下视觉SLAM准确定位问题,提出了一种基于自适应RANSAC动态特征点剔除的单目视觉SLAM算法.通过ARANSAC算法估计图像间的透视变换矩阵,并扭曲上一帧获得一个估计图像,使上一帧中的点转换到当前帧的坐标系下.通过计算特征点在估计图像和当前帧的光流值,区分并剔除ORB-SLAM2中的动态特征点,从而消除动态物体对SLAM定位性能的影响.利用TUM数据集的动态序列对本文算法进行仿真,并与ORB-SLAM2算法进行对比.结果表明,视觉SLAM算法绝对轨迹误差的标准偏差降低84.00%~96.11%,平移和旋转漂移的标准偏差最佳效果分别降低94.00%和96.44%,明显减少了视觉SLAM算法位姿估计的误差.本文算法能够在有效点较少的动态场景下,消除动态物体对视觉SLAM定位性能的影响,提高定位精度.

室内动态环境下基于深度学习的视觉里程计

传统的视觉同步定位与建图(Visual Simultaneous Localization and Mapping,VSLAM)算法大多基于外部环境为静态的假设,在动态环境下受到动态物体的干扰很容易出现相机位姿估计不准确,稳定性差等情况.为解决这一问题,提出了一种面向室内动态场景的视觉里程计,该算法在ORB-SLAM 2的视觉里程计基础上结合YOLOv4目标检测网络,在提取图像特征点的同时进行目标检测获取图像中的语义信息,根据语义信息确定动态物体的范围.此外,提出一种动态特征点剔除策略,先根据目标检测结果剔除动态目标上的特征点,接着分别利用对极几何约束与光流约束对图像中可能残余的动态点彻底过滤,后续依靠剩余的静态点完成对相机位姿的精确求解.经过在TUM数据集上实验证明,相比ORB-SLAM 2,在高动态场景下改进后的系统绝对轨迹误差和相对位姿误差平均减小了90%以上,定位精度大幅度提高,并且系统跟踪线程处理每帧图像平均所用时间在85ms左右,能够实时运行.

融合空洞卷积神经网络的语义SLAM研究

为了解决传统视觉SLAM算法受动态环境因素影响较大、对设备的算力要求高的问题,该文提出一种融合ORB-SLAM2、语义标签以及全局性稠密光流法的视觉SLAM算法。该方法采用空洞卷积神经网络的语义分割模块为双目图像添加语义标签,识别物体类别。再结合相邻帧间位置信息对图像的动态点进行剔除。最后使用Octo-map优化定位与建图,实现动态环境下地图的建立与实时更新。实验结果证明,该文提出的算法在动态环境下的特征点提取速度和质量相较传统视觉SLAM算法有一定提高。

面向室内动态场景的视觉同时定位与地图构建语义八叉树地图构建方法

针对传统视觉同时定位与地图构建(vSLAM)系统在动态场景中无法有效去除运动物体及缺少可用于更高层应用的语义地图等问题,提出了一种可有效去除动态物体并构建表征室内静态环境的语义八叉树地图的vSLAM系统方法。首先,使用FastSCNN作为语义分割网络提取图像的语义信息,同时,利用金字塔光流法对特征点进行跟踪匹配。然后,使用步进随机抽样一致算法(Multistage RANSAC)通过多次执行不同尺度的RANSAC流程对特征点进行步进采样,再利用对极几何约束并结合FastSCNN提取的语义信息进行视觉里程计动态特征点剔除。最后,通过体素滤波降低点云冗余后构建纯静态环境的语义八叉树地图。实验结果表明:所提方法在公用数据集TUM RGBD的8个RGBD高动态序列中测试的相机相对位移误差、相对旋转误差和全局轨迹误差相较于ORBSLAM2系统有94%以上的提升,全局轨迹误差仅为0.1 m;相较于同类DSSLAM系统,动点剔除总耗时有21%的缩减。建图性能方面,经体素滤波后构建的语义点云地图与语义八叉树地图分别占据9.6 MB、685 kB的存储空间,相较于17 MB的原始点云,语义八叉树地图仅占用其4%的存储空间并因含有语义可用于更高层次的智能交互任务。