低光照下的无人机异物检测与定位

为解决无人机在低光照环境下的巡检过程中,不能对场景中的异物进行识别与定位,导致后续智能算法无法获得环境语义信息的问题.本文提出一种将ORB-SLAM2算法与适用于低光照目标检测改进的YOLOv5模型进行信息融合的方法.首先,通过RGB-D相机自采集低光照数据集进行深度学习训练及融合算法验证.然后,结合关键帧信息、目标检测模块的输出结果以及相机的固有信息完成目标像素坐标提取.最后,通过关键帧信息和像素坐标完成目标物体相对世界坐标系的位置解算.本文实现了低光照环境下目标物体较为准确的识别和目标物体在世界坐标系中分米级的定位,为低光照环境下无人机智能巡检提供了一种有效的解决方案.

图像语义信息在视觉SLAM中的应用研究进展

视觉同步定位与建图(visual simultaneous localization and mapping,VSLAM)技术以相机为主要传感器采集图像数据,基于多视几何、状态估计等算法原理获取载体的位置和姿态,同时构建一张用于导航定位的地图。视觉SLAM是自动驾驶、AR(augmented reality)、VR(virtual reality)、MR(mix reality)、智能机器人、无人机飞控中的关键技术。近年来,随着各个产业对智能导航定位的需求日渐增多,原本以几何测量为主的视觉SLAM逐渐融入对环境的语义理解。语义信息是指能够被人类直观感受和理解的概念,而图像语义信息是指图像中物体的轮廓、类别、显著性等信息。相比于图像中的几何特征,语义信息更具时空一致性,且更贴近人类感知的结果。将图像语义信息引入视觉SLAM,既能促进系统各个模块的性能,还能够提升视觉SLAM的智能感知能力,形成集几何测量、定位定姿、环境理解等多种功能的视觉语义SLAM。本文根据图像语义信息的应用方式,对视觉语义SLAM经典方案和最新研究进展进行归纳梳理。在此基础上,本文总结了视觉语义SLAM的现存问题与挑战,指出该领域未来的研究方向,以推动其面向智能导航定位进一步发展。

动态场景下基于3D多目标追踪的实时视觉SLAM方法研究

近年来一些解决动态场景下的SLAM技术被提出,其中SLAM与MOT结合的技术路线不仅可解决动态场景问题,还可以提高系统对周围场景的理解,获得了更大关注。本文介绍了一种高效的实时在线视觉SLAMMOT融合系统,以双目视觉或RGBD作为输入,只须借助2D目标检测网络,便能高效、准确、鲁棒地跟踪相机以及动态目标的位姿,并生成稀疏点云地图。为提高多动态目标追踪的精度与准确度,引入了级联匹配与IOU匹配结合的策略;利用阿克曼转向模型来简化追踪目标的运动,减少求解动态目标位姿所需匹配点的数量;利用因子图将相机与动态目标的追踪结果进行联合优化,同时提高相机、追踪目标的位姿和地图点的精度。最后在KITTI跟踪数据集上与其他方法进行比较。结果表明,在满足实时性要求的前提下,该方法仍能准确地追踪相机以及动态目标位姿。

移动机器人视觉里程计技术研究综述

随着移动机器人技术不断发展,里程计技术已经成为移动机器人实现环境感知的关键技术,其发展水平对提高机器人的自主化和智能化具有重要意义。首先,系统阐述了同步定位与地图构建(Simultaneous localization and mapping,SLAM)中激光SLAM和视觉SLAM的发展近况,阐述了经典SLAM框架及其数学描述,简要介绍了3类常见相机的相机模型及其视觉里程计的数学描述。其次,分别对传统视觉里程计和深度学习里程计的研究进展进行系统阐述。对比分析了近10年来各类里程计算法的优势与不足。另外,对比分析了7种常用数据集的性能。最后,从精度、鲁棒性、数据集、多模态等方面总结了里程计技术面临的问题,从提高算法实时性、鲁棒性等方面展望了视觉里程计的发展趋势为:更加智能化、小型化新型传感器的发展;与无监督学习融合;语义表达技术的提高;集群机器人协同技术的发展。

基于深度学习的移动机器人语义SLAM方法研究

为了给移动机器人提供细节丰富的三维语义地图,支撑机器人的精准定位,本文提出一种结合RGB-D信息与深度学习结果的机器人语义同步定位与建图方法。改进了ORB-SLAM2算法的框架,提出一种可以构建稠密点云地图的视觉同步定位与建图系统;将深度学习的目标检测算法YOLO v5与视觉同步定位与建图系统融合,反映射为三维点云语义标签,结合点云分割完成数据关联和物体模型更新,并用八叉树的地图形式存储地图信息;基于移动机器人平台,在实验室环境下开展移动机器人三维语义同步定位与建图实验,实验结果验证了本文语义同步定位与建图算法的语义信息映射、点云分割与语义信息匹配以及三维语义地图构建的有效性。

一种基于目标检测的动态环境下视觉定位系统

传统的基于同时定位与建图模型的视觉定位方法需要满足目标点静止假设,但大多数小型机器人的实际应用场景为动态,这限制了现有视觉定位算法在小型机器人上的使用。为此,文中使用YOLOv5卷积神经网络对环境中的动态目标进行检测,然后剔除分布在图中的移动特征点,进而改进位姿估计准确性的动态消除方法,并将此方法集成于ORBSLAM2视觉定位系统。改进方案在TUM公共动态数据集上的测试结果表明,基于YOLOv5的检测方法能够快速、准确地识别场景中的动态目标,并显著降低动态环境下位姿估计的绝对误差和相对漂移,是一种有效的动态场景视觉定位方案。

动态环境下基于深度学习的视觉SLAM研究综述

目前的同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)研究大多是基于静态场景的假设,而实际生活中动态物体是不可避免的。在视觉SLAM系统中加入深度学习,可以协同剔除场景中的动态物体,有效提升视觉SLAM在动态环境下的鲁棒性。文章首先介绍了动态环境下基于深度学习的视觉SLAM分类,然后详细介绍了基于目标检测、基于语义分割和基于实例分割的视觉SLAM,并对它们进行了分析比较。最后,结合近年来视觉SLAM的发展趋势,通过对动态环境下基于深度学习的视觉SLAM存在的主要问题进行分析,总结了未来可能的发展方向。

面向动态环境的视觉惯性定位方法

针对传统的视觉惯性里程计在动态环境下定位精度低和系统鲁棒性差等问题,提出了面向动态环境的视觉惯性定位方法。首先,利用语义分割提取环境中的语义信息,借助环境先验信息识别出动态物体。同时,采用深度生成网络对动态物体区域进行背景修复,生成只包含静态场景的图像,并将生成的图像用于后续的特征提取和跟踪,以减弱动态物体的影响。后端构建了紧耦合的图优化模型,将视觉数据与IMU数据相互融合,在滑动窗口中以非线性优化的方式估计位姿。实验结果表明,方法可以有效降低动态物体对定位的影响,提高系统的定位精度和鲁棒性。

基于特征点改进的视觉SLAM定位研究

为改善视觉SLAM系统在低纹理环境下定位精度较低的现象,提出一种改进的ORB特征点提取策略和一种关键帧选择机制;首先采用多尺度分析和基于局部灰度的特征检测方法克服一般ORB算法缺乏尺度和旋转描述的缺点;其次提出一种基于高斯模糊的图像信息增强方法解决传统ORB特征点提取方法在纹理信息不被突出环境下容易失效的问题,并对图像进行象限分割使特征点均匀分布;最后为剔除劣质关键帧,设计了一种综合时间因素与特征点数量因素的关键帧选择机制;将提出的方法移植到ORB_SLAM2上,并在TUM数据集上测试,实验结果表明,视觉SLAM系统的定位误差平均降低14.688%,证实了该方法的有效性。

基于图优化的GNSS/双目视觉/惯性SLAM系统开发及应用

为提高机器人室外长航时定位精度,提出一种基于图优化的全球导航卫星系统(GNSS)/双目视觉/惯性同时定位与建图(SLAM)系统开发及应用。将空间中的线特征作为几何约束的补充,集成至前端的特征提取及后端的位姿优化线程,提升位姿解算精度。同时,以因子图构建联合优化的图结构,并推导出全局观测误差模型。近200 m的BullDog-CX机器人巡检结果表明,所提算法相比于VINSFusion和PL-VINS分别取得约12.6%及3.4%的定位精度提升,为室外机器人长航时导航提供了一种可行方案。

基于视觉同时定位与地图构建的水下图像增强式视觉三维重建方法

针对仿生机器鱼水下作业时面临的水下图像质量偏低、水下自主定位难的问题,提出一种颜色均衡与G-B通道先验融合的水下图像增强式算法。将该算法和视觉同时定位与地图构建(SLAM)方法结合,实现了水下图像增强式的视觉三维重建。在不同水域环境下进行了水下图像处理实验、水下环境视觉三维重建实验和运动轨迹跟踪实验,结果表明该方法有效提高了水下图像综合质量,特征匹配效率提高了16.03%,真实轨迹与估计轨迹的误差平均约为7.99 mm。

多目鱼眼视觉SLAM特征点误匹配的剔除优化

为了解决由于鱼眼图像显著失真和明显的视角差异而导致的定位精度下降的问题,提出了一种去除多目鱼眼视觉SLAM系统中误匹配特征点的策略。该策略采用从粗到细的误匹配特征点去除过程,在粗匹配阶段,使用阈值为0.6的匹配算法获得粗匹配阶段的初始点集。在精细去除阶段,采用预校准的多摄像机模型将匹配的特征点转换为同一坐标系,并将其作为承载向量投影到单位球上,利用球上的外极约束去除不匹配的特征点。在去除不匹配的特征点后,在投影球面上建立重投影误差函数,对初始姿态点和映射点进行非线性优化。该策略在24 000张鱼眼图像上进行了测试,结果表明,该剔除策略显著降低了失配率,提高了初始化和定位精度,有效地提高了系统的定位精度和性能效率。

融合轨道动力学的小行星探测器自主视觉定位

针对小行星探测器高精度自主视觉定位问题,提出了一种融合轨道动力学的深空探测器自主视觉定位方法,能修正视觉视觉定位与地图构建算法(simultaneous localization and mapping,SLAM)的定位误差。该方法通过融合轨道动力学的轨道改进技术,能够在缺乏表面先验信息、无人工手动标记的场景下,实现探测器的高精度视觉导航,并建立小行星表面稠密三维模型。首先,基于视觉同时定位和建图方法(VSLAM)提取小行星表面特征,通过因子图优化算法估计探测器位姿,设计回环检测提高定位精度;其次,重构行星表面三维模型,实现基于多面体法的行星不规则引力场建模;最后,提出了一种基于轨道动力学的伪相对运动轨道优化算法,将其作为物理约束修正视觉定位累积误差,分析反演视觉初始定轨误差在轨道动力学中的传播过程,实现修正视觉定位累积误差,改善初始定位结果。仿真实验结果表明,融合轨道动力学可以有效提升小行星探测视觉定位的精度,从而实现高精度导航,为深空探测技术的未来发展提供参考借鉴。

动态场景下基于语义分割的视觉SLAM方法

针对在动态场景下视觉同步定位与建图(SLAM)鲁棒性差、定位与建图精度易受动态物体干扰的问题,设计一种基于改进DeepLabv3plus与多视图几何的语义视觉SLAM算法。以语义分割网络DeepLabv3plus为基础,采用轻量级卷积网络MobileNetV2进行特征提取,并使用深度可分离卷积代替空洞空间金字塔池化模块中的标准卷积,同时引入注意力机制,提出改进的语义分割网络DeepLabv3plus。将改进后的语义分割网络DeepLabv3plus与多视图几何结合,提出动态点检测方法,以提高视觉SLAM在动态场景下的鲁棒性。在此基础上,构建包含语义信息和几何信息的三维语义静态地图。在TUM数据集上的实验结果表明,与ORB-SLAM2相比,该算法在高动态序列下的绝对轨迹误差的均方根误差值和标准差(SD)值最高分别提升98%和97%。

一种特征点权重自适应优化的动态SLAM算法

针对传统的同步定位与地图构建(SLAM)在动态场景中位姿估计准确率低、鲁棒性差的问题,提出一种基于特征点权重自适应优化的动态视觉SLAM算法。首先,利用掩膜区域卷积神经网络(Mask R-CNN)对输入图像进行语义分割并获取动态特征点掩码,在此基础上对静态特征点进行帧间匹配得到位姿变换初值;然后利用运动一致性检测算法和多视图几何算法处理图像并分别得到对应的动态特征点掩码,进而依据得到的3种动态特征点掩码信息构建特征点权重函数,利用最小化重投影误差自适应调整特征点对位姿优化的影响程度,降低场景中的动态目标对SLAM精度的影响;最后使用慕尼黑工业大学动态数据集进行仿真测试,在室内高动态场景中,绝对轨迹误差(ATE)的均方根误差值(RMSE)仅为尺度不变特征变换同步定位与地图构建(ORB-SLAM2)的3.1%。与DS-SLAM、DynaSLAM等动态SLAM系统相比,绝对轨迹误差分别为DS-SLAM的52%、DynaSLAM的86.1%。结果表明,该算法可以显著提高SLAM系统在高动态环境下的定位精度和鲁棒性。

改进ORB提取匹配算法的SLAM应用研究

由于传统的ORB特征点提取匹配方法在图像纹理信息不丰富或者光照变化剧烈时极易产生特征点丢失、分布不均等问题,不利于SLAM系统的定位与建图。为此本文提出了一套较为鲁棒、精度较高的提取匹配算法。首先基于ORB特征点对其提取算法进行改进,计算自适应阈值并基于网格模型提取特征点,可提高特征点提取的鲁棒性并使其分布均匀。此外还提出了G-R图像匹配算法,基于网格特征计算邻域支持估计量来区分正误匹配点,再结合引入评价函数的RANSAC算法进一步剔除误匹配点,相比ORB-SLAM2原始匹配算法提高匹配精度9.36%,并减少时间消耗约13.6%。最后将本文提出的特征点提取匹配算法加入到ORB-SLAM2算法框架,经数据集与实际场景验证本文方法能有效提高ORB-SLAM2系统定位精度36.6%以上,使系统更具鲁棒性。

基于动态特征点匹配方法的室内环境SLAM研究

主要针对在动态环境下如何有效剔除动态物体以便构建更为准确的室内环境语义地图这一问题,提出一种在借鉴ORB-SLAM3的基础上,通过增加视频图像关键帧选择机制并计算图像帧中特征点切换概率的方法来实现动态场景下的语义语义地图构建。首先,简化原有ORB-SLAM3的架构,仅以单目视觉作为图像数据源;其次,为减少计算量,在一组连续图像帧中通过一种评价选择机制来选取关键帧进行处理;接着为剔除动态物体,采用一种切换概率方法来计算特征点的动态变化,并通过MASK R-CNN进行分割,最终实现实时语义地图构建。实验结果表明,所提方法具有准确性与实时性。上述方法在动态场景下的绝对轨迹误差与相对姿态误差均有极大的改善,可实现准确剔除动态物体以解决跟踪丢失问题,且在室内动态场景下的绝对轨迹误差与相对姿态误差均有较大改善,且能满足系统运行的实时性要求。

基于稠密点云的神经辐射场NeRF在视觉SLAM建图任务中的应用研究

基于点云等显式场景表达的传统SLAM技术在精度和鲁棒性上已经较为成熟,但在地图纹理和语义信息还原方面存在不足。为了提高SLAM技术在纹理和语义信息获取方面的性能,本文将具有可微渲染能力的神经辐射场(NeRF)引入到传统视觉SLAM系统中,提出了一种新型视觉SLAM方法DRM-SLAM。该方法使用ORB-SLAM3进行相机位姿估计,并结合关键帧的RGB信息和深度信息生成稠密点云,在动态体素网格的基础上,根据点云数据提供的三维几何信息在体素网格中进行采样减少NeRF调用多层感知机的频率。同时,该方法结合利用了多分辨率哈希编码和CUDA框架的NeRF实现,显著提升了NeRF的训练速度。在TUM、WHU-RSVI、Replica和STAR数据集上对本文提出的方法进行建图精度、完整度以及实时性测试的结果表明:DRM-SLAM利用稠密点云和NeRF体渲染技术填补了点云中的空洞,保留了传统的SLAM方法在位姿估计精度上的优势,提升了地图的纹理和材质的连续性。DRM-SLAM算法在Replica数据集上的帧率为22.3,该值远大于NICE-SLAM、iMap和Co-SLAM算法,证明了所提算法具有较高的实时性。在相同的场景下进行消融实验,基于稠密点云进行NeRF渲染比传统的NeRF的方法帧率提升了3倍,进一步证明了稠密点云可以加速NeRF收敛,充分展示了DRM-SLAM在地图重建方面的性能。

适用于GIS金属腔体环境的稠密地图构建方法

金属腔体环境中存在的反光现象严重影响巡检机器人的环境感知能力,从而导致构建地图出现大面积孔洞现象。因此,提出一种适用于金属腔体环境的稠密地图构建方法。该方法联合深度图和灰度图估计空间点距离,抑制深度图中无效像素和噪点;利用优化后的深度信息和关键帧位姿计算点云面片,通过滑动窗口约束面片集大小,降低点云搜索时间成本;采用三角剖分和最小二乘曲面拟合对面片集孔洞进行修复,提高每帧面片完整度;最终融合法线相近的相邻面片输出利于机器人导航规划的点云地图。所提方法在公开数据集和实际金属腔体场景进行了验证,结果表明,所提方法高效修复点云孔洞,显著提升模型完整度且满足实时SLAM的应用需要。

动态场景下基于YOLOv5和几何约束的视觉SLAM算法

目的移动智能体在执行同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)的复杂任务时,动态物体的干扰会导致特征点间的关联减弱,系统定位精度下降,为此提出一种面向室内动态场景下基于YOLOv5和几何约束的视觉SLAM算法。方法首先,以YOLOv5s为基础,将原有的CSPDarknet主干网络替换成轻量级的MobileNetV3网络,可以减少参数、加快运行速度,同时与ORB-SLAM2系统相结合,在提取ORB特征点的同时获取语义信息,并剔除先验的动态特征点。然后,结合光流法和对极几何约束对可能残存的动态特征点进一步剔除。最后,仅用静态特征点对相机位姿进行估计。结果在TUM数据集上的实验结果表明,与ORB-SLAM2相比,在高动态序列下的ATE和RPE都减少了90%以上,与DS-SLAM、Dyna-SLAM同类型系统相比,在保证定位精度和鲁棒性的同时,跟踪线程中处理一帧图像平均只需28.26 ms。结论该算法能够有效降低动态物体对实时SLAM过程造成的干扰,为实现更加智能化、自动化的包装流程提供了可能。