动态特征剔除的无人系统视觉/惯性导航方法

为降低动态环境对视觉/惯性导航系统定位精度与稳定性的影响,提出了一种动态特征剔除的视觉/惯性导航方法。该方法在视觉/惯性导航系统VINS框架基础上,以结构相似度作为成本量生成端到端网络,检测环境中的动态区域;通过特征光流矢量对已检测到的动态区域进行对称光流筛选,剔除该区域内的动态特征;融合视觉和惯性测量构造代价函数,通过非线性优化方法有效估计无人系统状态。实验结果表明,动态特征剔除后的视觉/惯性导航方法具有良好的定位精度和稳定性,其位置均方根误差在EuRoC公开数据集和实际场景采集数据上分别为0.081和1.982 m,仅为VINS的35.5%和24.9%。该方法可在复杂应用环境中提供精确的位置信息,且在低成本无人系统导航定位方面具有良好的实用价值。

联合目标检测与深度信息的动态特征点去除方法

针对在动态环境中,视觉定位系统的定位精度和鲁棒性容易受到动态特征点影响的问题,提出了一种联合目标检测与深度信息的动态特征点去除方法.引入YOLOv7目标检测网络快速获得当前图像帧的目标类别及位置信息,加入坐标注意力(coordinate attention,CA)机制优化深度学习模型,提升网络目标检测精度.此外,提出了一种利用深度信息和对极几何约束的动态特征点优化策略.有效剔除了动态特征点,同时保留了尽量多的静态点,从而降低了动态点对系统定位精度和鲁棒性的影响.在公开的数据集TUM上进行实验验证.结果表明:与ORBSLAM2(oriented fast and rotated brief-SLAM)相比,所提方案在定位精度和鲁棒性上有明显优势.同时与动态同步定位和地图构建(dyna simultaneous localization and mapping,DynaSLAM)相比,定位精度基本持平,但在运行速度上实现了显著提升.

基于改进YOLOv8s的动态视觉SLAM算法

针对SLAM系统在动态场景中因物体快速移动导致特征匹配性能降低的问题,本文在ORB-SLAM2框架上提出基于改进YOLOv8s的动态视觉SLAM算法。使用轻量级网络Fasternet替换YOLOv8s主干网络,使用RT-DETR中的Transformer Decoder Head改进检测头。结合几何与语义信息实现动态特征点的高效剔除。在TUM数据集上的实验表明,本算法在动态场景下的定位与建图精度比ORB-SLAM2提高约96.06%,并且具有良好的实时性。

基于轻量化YOLOv8n的动态视觉SLAM算法

为了改善在动态场景下同步定位与地图绘制(Simultaneous Localization And Mapping,SLAM)算法定位精度低的问题,提出一种基于轻量化YOLOv(You Only Look Once version)8n的动态视觉SLAM算法。利用加权双向特征金字塔网络(Bidirectional Feature Pyramid Network,BiFPN)对YOLOv8n模型进行轻量化改进,减少其参数量。在SLAM算法中引入轻量化YOLOv8n模型,并结合稀疏光流法组成目标检测线程,以去除动态特征点,利用经过筛选的特征点进行特征匹配和位姿估计。实验结果表明:轻量化YOLOv8n模型参数量下降了36.7%,权重减少了33.3%,能够实现YOLOv8n模型的轻量化;与ORB-SLAM3算法相比,所提算法在动态场景下的定位精度提高83.38%,有效提高了动态场景下SLAM算法的精度。

基于语义信息与动态特征点剔除的SLAM算法

传统的同时定位与地图构建(Simultaneous localization and mapping,SLAM)算法在现实场景中易受动态物体及背景的影响,针对该问题提出了一种将语义分割与动态特征点剔除相结合的动态SLAM算法,以实现动态场景地图的构建。首先,根据多层通道注意力和空间注意力机制,构造特征融合网络MulAttenNet(Multilayer attention network),并进行语义分割,剔除场景中运动概率大的物体,粗略估计相机位姿;其次,根据相机位姿和深度信息剔除动态区域;最后,利用剔除后的特征点进行地图的构建。对MulAttenNet网络和动态SLAM算法进行实验,以验证算法的有效性,实验结果表明:该算法构造的MulAttenNet网络能有效提高语义分割的准确性,平均像素准确度提高4.05%,均交并比提高2.60%;将该算法构建的动态SLAM算法与现有SLAM算法相比,建图的绝对位姿误差和相对位姿误差都有所缩小。该算法能在动态场景下构建高精度的语义地图。

室内动态环境下基于深度学习的视觉里程计

传统的视觉同步定位与建图(Visual Simultaneous Localization and Mapping,VSLAM)算法大多基于外部环境为静态的假设,在动态环境下受到动态物体的干扰很容易出现相机位姿估计不准确,稳定性差等情况.为解决这一问题,提出了一种面向室内动态场景的视觉里程计,该算法在ORB-SLAM 2的视觉里程计基础上结合YOLOv4目标检测网络,在提取图像特征点的同时进行目标检测获取图像中的语义信息,根据语义信息确定动态物体的范围.此外,提出一种动态特征点剔除策略,先根据目标检测结果剔除动态目标上的特征点,接着分别利用对极几何约束与光流约束对图像中可能残余的动态点彻底过滤,后续依靠剩余的静态点完成对相机位姿的精确求解.经过在TUM数据集上实验证明,相比ORB-SLAM 2,在高动态场景下改进后的系统绝对轨迹误差和相对位姿误差平均减小了90%以上,定位精度大幅度提高,并且系统跟踪线程处理每帧图像平均所用时间在85ms左右,能够实时运行.

无人机双目视觉鲁棒定位方法

无人机(unmanned aerial vehicle,UAV)在全球定位系统(global positioning system,GPS)信号拒止环境中的应用受到限制,传统视觉同步定位与建图(simultaneous localization and mapping,SLAM)技术一定程度上解决了该问题,但在动态场景和弱纹理场景中定位精度较差。针对该问题提出一种基于双目视觉的多场景鲁棒SLAM方法,重点考虑了真实环境中的动态和弱纹理2类具有挑战性的场景,利用双目相机为UAV在动态和弱纹理场景中提供位姿信息。针对动态场景利用掩膜基于区域的卷积神经网络(mask region-based convolutional neural network,Mask R-CNN)分割潜在动态内容并剔除动态特征,通过计算稠密光流同步相邻帧的掩膜,减小了掩膜的计算成本。对于弱纹理场景,在传统SLAM算法使用的点特征基础上融合了线特征,充分利用了环境中的结构特征。数值模拟和仿真实验证明了本文算法具有更高的鲁棒性和精确性。

基于LK光流与实例分割的联合动态一致性vSLAM算法

随着机器人的工作环境趋向于非结构环境变化,对视觉SLAM技术提出了更高的要求,既需要视觉SLAM能够在静态环境中对机器人精确地估计相机位姿,又需要视觉SLAM能够适应动态环境。针对上述问题,提出一种光流与实例分割相结合的视觉SLAM算法。首先对当前帧图像进行特征提取与实例分割,在特征提取完成后对其进行稀疏光流;然后根据实例分割结果与先验语义信息对物体赋予运动初值,并计算非动态物体的光流位移增量、动态物体光流位移增量和潜在动态物体光流位移增量;其次利用光流信息与实例分割掩码进行联合动态一致性检查,并剔除运动物体上提取的特征点;最后利用静态特征估计机器人位姿。用TUM数据集测试该算法,结果显示该算法在低动态环境下绝对轨迹误差较ORB-SLAM2能够减少52.04%,在高动态环境下绝对轨迹误差较ORB-SLAM2能够减少98.11%。在真实环境下对该算法进行评估,实验结果表明,该算法对物体的运动状态有精准的判定,这有助于提高算法的定位精度。

有效点较少的动态场景下单目视觉SLAM算法

为了解决有效点较少的动态复杂场景下视觉SLAM准确定位问题,提出了一种基于自适应RANSAC动态特征点剔除的单目视觉SLAM算法.通过ARANSAC算法估计图像间的透视变换矩阵,并扭曲上一帧获得一个估计图像,使上一帧中的点转换到当前帧的坐标系下.通过计算特征点在估计图像和当前帧的光流值,区分并剔除ORB-SLAM2中的动态特征点,从而消除动态物体对SLAM定位性能的影响.利用TUM数据集的动态序列对本文算法进行仿真,并与ORB-SLAM2算法进行对比.结果表明,视觉SLAM算法绝对轨迹误差的标准偏差降低84.00%~96.11%,平移和旋转漂移的标准偏差最佳效果分别降低94.00%和96.44%,明显减少了视觉SLAM算法位姿估计的误差.本文算法能够在有效点较少的动态场景下,消除动态物体对视觉SLAM定位性能的影响,提高定位精度.

基于信息融合的智能推料机器人设计与试验

饲料的定期推送是奶牛饲喂过程中的重要环节,针对现有推料机器人功能单一,无法满足奶牛饲喂需求的问题,开发了奶牛智能推料机器人。构建奶牛、饲料和牛栏参照物识别与分割的YOLACT模型,融合掩膜图像、深度图与ORB-SLAM3定位信息,实现觅食奶牛的快速定位与机器人导航信息的提取;基于信息融合提出智能推料算法,根据觅食奶牛的定位信息、投料时间信息、机器人的导航信息,自动选择工作模式,控制机器人沿着预定的轨迹,实现推料、集料送料、清料等多模式推料功能,满足奶牛个性化自由采食需求,提升饲料利用率。试验结果表明:觅食奶牛的位置识别定位精度为±0.1 m,奶牛识别率为100%,机器人导航精度为±0.8 cm,智能推料准确率为100%,算法运行速率为12 f/s,满足复杂环境下机器人智能推料的要求。

融合空洞卷积神经网络的语义SLAM研究

为了解决传统视觉SLAM算法受动态环境因素影响较大、对设备的算力要求高的问题,该文提出一种融合ORB-SLAM2、语义标签以及全局性稠密光流法的视觉SLAM算法。该方法采用空洞卷积神经网络的语义分割模块为双目图像添加语义标签,识别物体类别。再结合相邻帧间位置信息对图像的动态点进行剔除。最后使用Octo-map优化定位与建图,实现动态环境下地图的建立与实时更新。实验结果证明,该文提出的算法在动态环境下的特征点提取速度和质量相较传统视觉SLAM算法有一定提高。

基于动态耦合与空间数据关联的RGB-D SLAM算法

为了解决动态环境下视觉SLAM(同步定位与地图创建)算法定位与建图精度下降的问题,提出了一种基于动态耦合与空间数据关联的RGB-D SLAM算法。首先,使用语义网络获得预处理的语义分割图像,并利用边缘检测算法和相邻语义判定获得完整的语义动态物体;其次,利用稠密直接法模块实现对相机姿态的初始估计,这里动态耦合分数值的计算在利用了传统的动态区域剔除之外,还使用了空间平面一致性判据和深度信息筛选;然后,结合空间数据关联算法和相机位姿实时更新地图点集,并利用最小化重投影误差和闭环优化线程完成对相机位姿的优化;最后,使用相机位姿和地图点集构建八叉树稠密地图,实现从平面到空间的动态区域剔除,完成静态地图在动态环境下的构建。根据高动态环境下TUM数据集测试结果,本文算法定位误差相比于ORB-SLAM算法减小了约90%,有效提高了RGB-D SLAM算法的定位精度和相机位姿估计精度。

面向室内动态场景的视觉同时定位与地图构建语义八叉树地图构建方法

针对传统视觉同时定位与地图构建(vSLAM)系统在动态场景中无法有效去除运动物体及缺少可用于更高层应用的语义地图等问题,提出了一种可有效去除动态物体并构建表征室内静态环境的语义八叉树地图的vSLAM系统方法。首先,使用FastSCNN作为语义分割网络提取图像的语义信息,同时,利用金字塔光流法对特征点进行跟踪匹配。然后,使用步进随机抽样一致算法(Multistage RANSAC)通过多次执行不同尺度的RANSAC流程对特征点进行步进采样,再利用对极几何约束并结合FastSCNN提取的语义信息进行视觉里程计动态特征点剔除。最后,通过体素滤波降低点云冗余后构建纯静态环境的语义八叉树地图。实验结果表明:所提方法在公用数据集TUM RGBD的8个RGBD高动态序列中测试的相机相对位移误差、相对旋转误差和全局轨迹误差相较于ORBSLAM2系统有94%以上的提升,全局轨迹误差仅为0.1 m;相较于同类DSSLAM系统,动点剔除总耗时有21%的缩减。建图性能方面,经体素滤波后构建的语义点云地图与语义八叉树地图分别占据9.6 MB、685 kB的存储空间,相较于17 MB的原始点云,语义八叉树地图仅占用其4%的存储空间并因含有语义可用于更高层次的智能交互任务。

多运动视觉里程计的方法与技术

多运动视觉里程计(multi-motion visual odometry,MVO)是在动态场景中估计动态物体位姿变化的算法,对于移动机器人和自动驾驶汽车等自主化设备(autonomous things,AuT)的研发具有重要的理论意义和较大的实用价值。综述机器人领域多运动视觉里程计的发展过程及最新研究进展,根据特征点聚类方法的不同,从特征点几何聚类和语义几何聚类两个方面介绍多运动视觉里程计融合特征点及语义信息求解空间内多运动视觉里程计的重要研究成果。基于相同的评价指标及数据集对几种常用方法进行深入的对比研究,展望未来多运动视觉里程计的发展方向。