图像语义信息在视觉SLAM中的应用研究进展

视觉同步定位与建图(visual simultaneous localization and mapping,VSLAM)技术以相机为主要传感器采集图像数据,基于多视几何、状态估计等算法原理获取载体的位置和姿态,同时构建一张用于导航定位的地图。视觉SLAM是自动驾驶、AR(augmented reality)、VR(virtual reality)、MR(mix reality)、智能机器人、无人机飞控中的关键技术。近年来,随着各个产业对智能导航定位的需求日渐增多,原本以几何测量为主的视觉SLAM逐渐融入对环境的语义理解。语义信息是指能够被人类直观感受和理解的概念,而图像语义信息是指图像中物体的轮廓、类别、显著性等信息。相比于图像中的几何特征,语义信息更具时空一致性,且更贴近人类感知的结果。将图像语义信息引入视觉SLAM,既能促进系统各个模块的性能,还能够提升视觉SLAM的智能感知能力,形成集几何测量、定位定姿、环境理解等多种功能的视觉语义SLAM。本文根据图像语义信息的应用方式,对视觉语义SLAM经典方案和最新研究进展进行归纳梳理。在此基础上,本文总结了视觉语义SLAM的现存问题与挑战,指出该领域未来的研究方向,以推动其面向智能导航定位进一步发展。

基于特征点改进的视觉SLAM定位研究

为改善视觉SLAM系统在低纹理环境下定位精度较低的现象,提出一种改进的ORB特征点提取策略和一种关键帧选择机制;首先采用多尺度分析和基于局部灰度的特征检测方法克服一般ORB算法缺乏尺度和旋转描述的缺点;其次提出一种基于高斯模糊的图像信息增强方法解决传统ORB特征点提取方法在纹理信息不被突出环境下容易失效的问题,并对图像进行象限分割使特征点均匀分布;最后为剔除劣质关键帧,设计了一种综合时间因素与特征点数量因素的关键帧选择机制;将提出的方法移植到ORB_SLAM2上,并在TUM数据集上测试,实验结果表明,视觉SLAM系统的定位误差平均降低14.688%,证实了该方法的有效性。

动态场景下基于3D多目标追踪的实时视觉SLAM方法研究

近年来一些解决动态场景下的SLAM技术被提出,其中SLAM与MOT结合的技术路线不仅可解决动态场景问题,还可以提高系统对周围场景的理解,获得了更大关注。本文介绍了一种高效的实时在线视觉SLAMMOT融合系统,以双目视觉或RGBD作为输入,只须借助2D目标检测网络,便能高效、准确、鲁棒地跟踪相机以及动态目标的位姿,并生成稀疏点云地图。为提高多动态目标追踪的精度与准确度,引入了级联匹配与IOU匹配结合的策略;利用阿克曼转向模型来简化追踪目标的运动,减少求解动态目标位姿所需匹配点的数量;利用因子图将相机与动态目标的追踪结果进行联合优化,同时提高相机、追踪目标的位姿和地图点的精度。最后在KITTI跟踪数据集上与其他方法进行比较。结果表明,在满足实时性要求的前提下,该方法仍能准确地追踪相机以及动态目标位姿。

基于多源约束自适应视觉SLAM关键帧选取研究

该文针对现有关键帧选择方法在复杂场景下的稳定性和适应性方面不足问题,提出一种多源约束的自适应视觉SLAM关键帧选取方法。该算法基于相机几何测量原理,设计自适应阈值进行关键帧选取策略;针对复杂环境下的剧烈运动情况,设计基于IMU的实时状态检测机制和熵函数约束标准,进一步提高关键帧选取的稳定性和适应性。在EuRoC数据集和TUM数据集上对该方法进行定性和定量评估。在单目惯性和立体惯性模式下,将估计轨迹与参考轨迹进行对比,以绝对轨迹误差(absolute trajectory error,ATE)、关键帧数量和运行时间作为评判指标,并与ORB-SLAM3方法进行比较。结果显示,提出的方法可显著提高视觉SLAM在复杂环境下的定位精度和稳定性。

基于语义分割的视觉SLAM算法研究

目前大多数的视觉SLAM算法基于静态环境的假设,环境中的动态物体容易引起位姿估计的不准确。提出一种针对动态环境的改进算法。基于DS-SLAM方案进行改进,首先采用自适应阈值提取ORB特征点并通过改进四叉树算法将特征点均匀化;之后采用稀疏光流法跟踪角点的运动,同时结合Segment语义分割线程的结果分割动态物体;最后采用几何约束滤除动态点,保留高质量的特征点进行位姿估计,完成定位和建图功能。利用TUM数据集进行精度评测,相比于DS-SLAM算法,改进算法的实时性提升了9.02%。动态环境中相机位姿误差缩小了38.94%。通过提高特征点的质量,结合光流法和语义分割的优势,提升了机器人系统的定位精度和实时性。

煤矿井下多重约束的视觉SLAM关键帧选取方法

煤矿智能化的重大需求对煤矿井下移动机器人智能感知提出了更高的要求,视觉同时定位与建图(Visual Simultaneous Localization and Mapping,VSLAM)是煤矿机器人智能感知的关键技术。然而,煤矿井下存在非结构化环境特征、纹理弱、光照不均匀、空间狭小等问题,现有依赖启发式阈值进行关键帧选取的方法无法满足煤矿下视觉SLAM的定位与建图需求。为此,提出一种煤矿井下多重约束的视觉SLAM关键帧选取方法,实现了煤矿井下移动机器人实时稳健的位姿估计,并为煤矿井下数字孪生提供数据基础。首先,提出的方法根据几何结构约束,采用自适应阈值取代静态启发式阈值进行关键帧选取,以实现视觉SLAM关键帧选取的有效性和鲁棒性。其次,通过重心平衡原则对有效特征点分布进行均匀化处理,以进一步确保视觉SLAM关键帧选取的稳定性以及创建地图点的稠密性和准确性。最后,利用航向角阈值对转向处做进一步约束,降低视角突变对视觉SLAM精度的影响。为验证本文方法的有效性,利用自主搭建的移动机器人数据采集平台在室内场景及煤矿井下分别进行了实验,并从绝对轨迹误差(Absolute Trajectory Error,ATE)和均方根误差(Root Mean Square Error,RMSE)等方面进行了定量和定性评价。结果表明:相比于启发式视觉SLAM关键帧选取方法,提出的方法在室内场景中轨迹RMSE提高了29%,在煤矿井下环境中轨迹RMSE提高了44%,具有较高的鲁棒性、定位精度和全局一致的建图效果。

动态场景下基于YOLOv5和几何约束的视觉SLAM算法

目的移动智能体在执行同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)的复杂任务时,动态物体的干扰会导致特征点间的关联减弱,系统定位精度下降,为此提出一种面向室内动态场景下基于YOLOv5和几何约束的视觉SLAM算法。方法首先,以YOLOv5s为基础,将原有的CSPDarknet主干网络替换成轻量级的MobileNetV3网络,可以减少参数、加快运行速度,同时与ORB-SLAM2系统相结合,在提取ORB特征点的同时获取语义信息,并剔除先验的动态特征点。然后,结合光流法和对极几何约束对可能残存的动态特征点进一步剔除。最后,仅用静态特征点对相机位姿进行估计。结果在TUM数据集上的实验结果表明,与ORB-SLAM2相比,在高动态序列下的ATE和RPE都减少了90%以上,与DS-SLAM、Dyna-SLAM同类型系统相比,在保证定位精度和鲁棒性的同时,跟踪线程中处理一帧图像平均只需28.26 ms。结论该算法能够有效降低动态物体对实时SLAM过程造成的干扰,为实现更加智能化、自动化的包装流程提供了可能。

多目鱼眼视觉SLAM特征点误匹配的剔除优化

为了解决由于鱼眼图像显著失真和明显的视角差异而导致的定位精度下降的问题,提出了一种去除多目鱼眼视觉SLAM系统中误匹配特征点的策略。该策略采用从粗到细的误匹配特征点去除过程,在粗匹配阶段,使用阈值为0.6的匹配算法获得粗匹配阶段的初始点集。在精细去除阶段,采用预校准的多摄像机模型将匹配的特征点转换为同一坐标系,并将其作为承载向量投影到单位球上,利用球上的外极约束去除不匹配的特征点。在去除不匹配的特征点后,在投影球面上建立重投影误差函数,对初始姿态点和映射点进行非线性优化。该策略在24 000张鱼眼图像上进行了测试,结果表明,该剔除策略显著降低了失配率,提高了初始化和定位精度,有效地提高了系统的定位精度和性能效率。

室内动态场景下基于语义关联的视觉SLAM方法

针对视觉SLAM在动态场景下鲁棒性不足的问题,提出一种适用于动态场景下的视觉SLAM算法——SAD-SLAM。该算法首先使用GCNv2网络进行特征提取,以获取分布均匀的特征点集合,并加快提取速度。然后使用YOLOv8-seg语义分割网络完成场景内物体的检测,并对推理得到的物体按照是否具备自主运动能力进行划分。同时提出一种语义关联方法,通过对潜在动态物体进行2D和深度层面过滤,以确定潜在动态物体运动的可能性。最后,构建了含有语义信息的稠密3D点云地图,并避免了动态物体的干扰。算法使用TUM数据集及真实场景进行实验验证,结果表明,相较于ORB-SLAM3及其他相关的动态SLAM算法,SAD-SLAM在动态场景下具有更好的定位精度。

基于稠密点云的神经辐射场NeRF在视觉SLAM建图任务中的应用研究

基于点云等显式场景表达的传统SLAM技术在精度和鲁棒性上已经较为成熟,但在地图纹理和语义信息还原方面存在不足。为了提高SLAM技术在纹理和语义信息获取方面的性能,本文将具有可微渲染能力的神经辐射场(NeRF)引入到传统视觉SLAM系统中,提出了一种新型视觉SLAM方法DRM-SLAM。该方法使用ORB-SLAM3进行相机位姿估计,并结合关键帧的RGB信息和深度信息生成稠密点云,在动态体素网格的基础上,根据点云数据提供的三维几何信息在体素网格中进行采样减少NeRF调用多层感知机的频率。同时,该方法结合利用了多分辨率哈希编码和CUDA框架的NeRF实现,显著提升了NeRF的训练速度。在TUM、WHU-RSVI、Replica和STAR数据集上对本文提出的方法进行建图精度、完整度以及实时性测试的结果表明:DRM-SLAM利用稠密点云和NeRF体渲染技术填补了点云中的空洞,保留了传统的SLAM方法在位姿估计精度上的优势,提升了地图的纹理和材质的连续性。DRM-SLAM算法在Replica数据集上的帧率为22.3,该值远大于NICE-SLAM、iMap和Co-SLAM算法,证明了所提算法具有较高的实时性。在相同的场景下进行消融实验,基于稠密点云进行NeRF渲染比传统的NeRF的方法帧率提升了3倍,进一步证明了稠密点云可以加速NeRF收敛,充分展示了DRM-SLAM在地图重建方面的性能。

动态环境下融合实例分割的视觉SLAM优化方法

由于视觉SLAM(Simultaneous Localization and Mapping)算法研究多建立于静态环境中,使得在动态环境下的应用造成较大定位偏移,极大降低了系统的稳定性。针对该问题,该文在原有视觉SLAM算法的基础上结合深度学习方法,对环境可能存在的动态目标进行特征点剔除,从而提升系统在动态环境下的鲁棒性。采用的视觉SLAM系统为ORB-SLAM3,深度学习方法为YOLOv5的实例分割算法,采用对目标模型mask轮廓内特征点的检测算法及多视角几何方法进行特征点剔除。首先利用并行通信,将SLAM系统获取到的帧数据传入YOLOv5系统中进行可能为动态目标的分割,然后将其分割结果传回SLAM系统进行跟踪建图。同时改进词袋加载模型,提升加载速度,最终构建动态环境的稠密地图,具备可靠的实时性。通过在TUM数据集上的实验评估,该方法对比原SLAM框架及现阶段经典动态环境研究均有提升,其在保证平均帧率不降低的前提下精度较ORB-SLAM3的RMSE平均提升近89%。实验结果表明,对动态环境下的视觉SLAM算法有效改进,极大提升了系统的鲁棒性及稳定性。

航天特色案例式教学改革探索——以视觉SLAM基础为例

基于“高阶性、创新性、挑战度”一流本科课程建设的基本原则,坚持“以学生为中心、以成果为导向(OBE)”的教学指导思想,面向课程视觉SLAM基础进行教学改革研究。围绕学院航天综合实验室已建设备和环境,结合课程讲授的基础理论,实现课程思政与航天应用相结合、以火星地形智能感知和火星车定位的应用案例为牵引的航天特色案例式课程教学改革。利用学校火星探测实验环境搭建火星车智能环境感知实验平台,引入火星地面环境三维建模和基于视觉的火星车定位案例,将视觉SLAM基础讲授的理论知识和航天应用紧密结合起来。在教学改革过程中,进一步锻炼学生的动手实践能力、解决实际工程能力,同时培养学生爱祖国、爱航天的情怀。

动态场景结合稀疏场景流和加权特征的视觉SLAM方法

针对视觉同时定位和建图(SLAM)系统大多基于静态环境假设、在动态场景位姿估计不准确的问题,提出了一种动态场景结合稀疏场景流和加权特征的视觉SLAM方法。首先,引入实例分割网络SparseInst获取环境中的语义信息,识别潜在运动物体;其次,通过计算特征点的稀疏场景流及其马氏距离获得特征点在相机坐标系下的相对运动,利用卡方检验方法完成对动态特征点的检测和剔除;然后,对静态特征点分配权重,设计加权的光束平差法优化目标函数以解决部分特征点运动状态模糊问题,提高视觉SLAM在动态场景下的定位精度。在公共数据集上的对比实验表明,所提方法相较于ORB-SLAM2、YOLO-SLAM、SG-SLAM,其绝对轨迹均方根误差在TUM RGB-D和Bonn数据集上分别平均降低约94.69%、27.55%、5.27%和93.43%、38.30%、26.88%。

动态场景下融合改进YOLOv7的视觉SLAM算法

针对传统的视觉同步定位与地图构建(SLAM)在动态场景下容易受到运动物体干扰,导致位姿估计精准度和鲁棒性下降的问题,提出了一种基于目标检测网络的视觉SLAM算法。该算法通过在ORB-SLAM2的跟踪线程中新增动态特征点检测剔除模块,从而利用静态特征点进行位姿估计。首先,选择YOLOv7作为目标检测的主干网络,结合GhostNet轻量化卷积网络和具有SE注意力机制的卷积(Conv_SE),以有效地检测周围环境;其次,对检测到的物体进行分类处理,剔除动态物体特征点,通过几何约束的方法进一步检测和剔除潜在运动物体;最后,仅利用静态特征点进行特征匹配和位姿估计。在TUM数据集上的验证结果表明,与ORB-SLAM2相比,提出的算法在动态Walk序列下,绝对轨道误差(ATE)的均方根误差平均减少96.5%,在其他动态序列下也有改进效果。实验证明,该算法在动态场景下能够显著提升系统的定位精度和鲁棒性。

高能效视觉SLAM硬件加速器设计

随着计算机视觉技术的不断迭代和发展,以计算机视觉技术为核心的智能应用和设备逐渐在人们的日常生活和工作中扮演越来越重要的角色。其中,基于视觉的同步定位与建图技术(Simultaneous Localization and Mapping,SLAM)在机器人、无人机、自动驾驶等领域中被广泛应用,上述领域需要视觉SLAM技术为其提供精准的定位信息,以实现其精确建图和自主导航功能。然而,由于视觉SLAM算法本身的特性,计算量极大,数据依赖性极高,导致其在传统的硬件平台(CPU或GPU)上运行时,难以满足前述边缘端应用场景对实时性和低功耗的需求,成为限制视觉SLAM技术被广泛应用的关键因素。为了解决这一问题,本文基于算法与硬件协同设计的优化策略,针对ORB特征提取和匹配算法提出了一种面向视觉SLAM的高能效专用加速器,通过多种硬件设计技术提高计算性能和能效,包括基于数据依赖关系解耦的多层次并行计算技术、基于多尺寸存储桶的数据存储技术和像素级对称-轻量化描述子生成和方向计算策略。提出的视觉SLAM加速器在Xilinx ZCU104上进行了测试和验证。与ORB SLAM2的算法精度对比,本加速器的精度在5%以内,帧率提升至108 fps,与同期其他硬件加速器相比,查找表使用降低了32.7%,FF使用降低了41.17%,同时帧率提升了1.4倍和0.74倍。

基于无人驾驶配送实验平台的封闭园区内动态环境视觉SLAM研究

针对动态环境下SLAM算法定位信息精度不足、建图偏移严重问题,本研究基于无人驾驶配送实验平台提出一种面向封闭园区内动态环境的视觉SLAM系统。该系统以ORB_SLAM2为框架,添加了基于人体关键点提取的行为识别线程。在输入图像ORB特征点提取的同时,通过HRNet网络进行人体关键点的提取,通过30帧图像内容进行行为识别,判断图像中人体的行为状态是否为运动,并以此为依据筛选并剔除动态特征点,最后通过静态特征点进行位姿估计。实验结果表明,在TUM数据集动态子序列下,与ORB_SLAM2、DS_SLAM相比,本研究所提算法在系统精度与速度上达到平衡,有效提高了位姿估计的准确性。

融合激光SLAM与视觉SLAM技术在矿山地下环境勘查与治理中的应用研究

随着“数智化”矿山建设、绿色低碳发展和技术创新多元化发展,传统依靠GNSS信号的测量方法在露天矿地质环境勘查中应用较多,针对地下环境中由于信号差、作业效率低、测量精度低等问题导致矿山地下环境勘查与治理的应用方法研究相对不足。本文通过融合激光SLAM和视觉SLAM技术获取矿山地下矿道的高精度三维点云数据和高分辨率影像数据,再将点云数据与影像数据进行匹配融合构建地下矿道的精细化三维模型。基于该模型定性、定量的获取矿山地下环境精确的地质结构、三维数值等特征信息,能够在矿山地下环境勘查与治理建设的开采优化、残矿回收、空区充填设计、安全监测与管理等诸多环节中提供科学有效的技术及数据支撑。

基于目标识别的视觉SLAM室内定位增强方法

针对室内动态场景中的空间定位精度低、鲁棒性不足等问题,提出一种适用于室内动态场景下的定位增强方法。首先,该方法按照物体的运动属性将室内常见物体进行分类,并使用YOLOv5s神经网络进行目标识别,获取目标检测框的位置以便后续筛选动态特征点;然后,设计一种特征点选取策略,通过边缘检测和深度信息过滤,确定目标检测框中哪些特征点具备动态运动的可能性;最后,提出一种融合时间步长和特征点数量的关键帧选择算法,用于剔除冗余关键帧,减少多帧之间的特征信息重叠。将所提出的定位增强方法移植到ORB-SLAM2中,并基于德国慕尼黑工业大学(TUM)公开的RGB-D数据集进行测试。实验结果表明,本文的定位增强方法相较于ORB-SLAM2的平均定位误差有了明显降低,可以验证本文方法的有效性。

基于视觉SLAM的市政管道清淤机器人目标识别研究

随着城市化进程的加速,市政管道清淤工作的需求日益增长。为提高清淤效率并降低人工成本,致力于开发一款基于视觉SLAM技术的市政管道清淤机器人。该机器人能通过深度学习和计算机视觉技术,自动识别管道内部的障碍物、淤泥和其他异物。视觉SLAM技术使机器人能通过视觉传感器实现自主定位和地图构建,为后续的目标识别和清淤作业打下基础。详细介绍了机器人系统的构成、视觉SLAM的实现方法以及目标识别的算法框架。所提目标识别方法包括图像预处理、特征提取、目标检测和识别等步骤,能够准确识别管道中的障碍物,实现自主避障和清淤作业。结果表明,该机器人具有良好的清淤效果和目标识别精度,为市政管道清淤工作提供了新的解决方案。

视觉SLAM算法在城市地下空间三维建模中的应用

本文研究了基于视觉即时定位与地图构建(Simultaneous Localization and Mapping,SLAM)算法的城市地下空间三维建模技术,结合地下空间特点,提出了一种新的三维建模方法。通过优化SLAM算法,实现了在地下环境中高效准确地构建三维模型的目标。利用RGB-D深度相机,实现了对地下环境的立体感知和数据采集,提升了模型的准确性和响应速度。经测试,验证了所采用方法的有效性和可行性,为城市地下空间的数字化建设提供了关键的技术支持。