动态场景的三维重建研究综述

随着静态场景三维重建算法的不断成熟,动态场景三维重建算法成为近年来的研究热点和研究难点。现有的静态场景三维重建算法对静止的对象有较好的重建效果,一旦场景中对象出现变形或者是相对运动,其重建效果不太理想,因此发展对动态场景的三维重建研究工作是相当重要的。简要介绍三维重建的相关概念及基本知识、静态场景三维重建和动态场景三维重建的研究分类及研究现状;全面总结了动态场景三维重建研究最新进展,将动态场景三维重建按照基于RGB数据源的动态三维重建和基于RGB-D数据源的动态三维重建进行分类,其中RGB数据源下又可划分为基于模板的动态三维重建、基于非刚性运动恢复结构的动态三维重建和RGB数据源下基于学习的动态三维重建,RGB-D数据源下主要总结归纳基于学习的动态三维重建,对各类典型重建算法进行了介绍和对比分析;介绍了动态场景三维重建在医学、智能制造、虚拟现实与增强现实、交通等领域的应用;提出了动态场景三维重建的未来研究方向,并对这个快速发展领域中的各个方向研究进行了展望。

动态场景下基于3D多目标追踪的实时视觉SLAM方法研究

近年来一些解决动态场景下的SLAM技术被提出,其中SLAM与MOT结合的技术路线不仅可解决动态场景问题,还可以提高系统对周围场景的理解,获得了更大关注。本文介绍了一种高效的实时在线视觉SLAMMOT融合系统,以双目视觉或RGBD作为输入,只须借助2D目标检测网络,便能高效、准确、鲁棒地跟踪相机以及动态目标的位姿,并生成稀疏点云地图。为提高多动态目标追踪的精度与准确度,引入了级联匹配与IOU匹配结合的策略;利用阿克曼转向模型来简化追踪目标的运动,减少求解动态目标位姿所需匹配点的数量;利用因子图将相机与动态目标的追踪结果进行联合优化,同时提高相机、追踪目标的位姿和地图点的精度。最后在KITTI跟踪数据集上与其他方法进行比较。结果表明,在满足实时性要求的前提下,该方法仍能准确地追踪相机以及动态目标位姿。

融合动态场景感知和注意力机制的声学回声消除算法

在实时语音频通话系统中,如何去除声学回声得到清晰语音是目前最受关注的难题之一。声学回声消除(Acoustic echo cancellation,AEC)技术旨在消除语音频通话系统中的声学回声,提高通话过程中的语音质量,给予用户良好的通话体验,但是传统回声消除系统存在去回声效果不明显、存在非线性回声残留以及无法实时处理回声等问题。因此,为解决上述存在问题,提出了一种动态场景感知模块(Dynamic scene perception module,DSPM)和全局注意力机制(Global attention mechanism,GAM)相结合的声学回声消除算法。该算法以卷积循环网络(Convolutional recurrent network,CRN)作为基线模型,提取语音信号的序列特征;首先,在其编码器中引入DSPM模块替换原因果卷积,根据场景动态分配卷积内核数量,加强模型的自适应性;其次,在编码器最后两层中分别引入GAM模块,放大空间通道间关系以及统筹全局交互,提升对语音信号特征的提取能力以及消除回声的性能;最后,通过将MSE损失函数和HuberLoss损失函数线性相加生成一种新的损失函数——MSE-HuberLoss,进一步提高模型的鲁棒性。实验结果表明,提出的GAM-DSPM-CRN模型的回声消除性能优秀,且获得较基线模型更加清晰的重构语音信号;在双端通话环境下,提出的GAM-DSPM-CRN模型声学回声消除算法较其他对比算法性能有较大提升;在Microsoft AEC Challenges数据集上,MOS、ERLE和STOI的得分分别达到了4.09、57.43和0.78。

动态场景下基于实例分割与光流的语义SLAM建图

视觉同步定位与建图技术常用于室内智能机器人的导航,但是其位姿是以静态环境为前提进行估计的。为了提升视觉即时定位与建图(Simultaneous Localization And Mapping,SLAM)在动态场景中的定位与建图的鲁棒性和实时性,在原ORB-SLAM2基础上新增动态区域检测线程和语义点云线程。动态区域检测线程由实例分割网络和光流估计网络组成,实例分割赋予动态场景语义信息的同时生成先验性动态物体的掩膜。为了解决实例分割网络的欠分割问题,采用轻量级光流估计网络辅助检测动态区域,生成准确性更高的动态区域掩膜。将生成的动态区域掩膜传入到跟踪线程中进行实时剔除动态区域特征点,然后使用地图中剩余的静态特征点进行相机的位姿估计并建立语义点云地图。在公开TUM数据集上的实验结果表明,改进后的SLAM系统在保证实时性的前提下,提升了其在动态场景中的定位与建图的鲁棒性。

动态场景下基于语义分割的视觉SLAM方法

针对在动态场景下视觉同步定位与建图(SLAM)鲁棒性差、定位与建图精度易受动态物体干扰的问题,设计一种基于改进DeepLabv3plus与多视图几何的语义视觉SLAM算法。以语义分割网络DeepLabv3plus为基础,采用轻量级卷积网络MobileNetV2进行特征提取,并使用深度可分离卷积代替空洞空间金字塔池化模块中的标准卷积,同时引入注意力机制,提出改进的语义分割网络DeepLabv3plus。将改进后的语义分割网络DeepLabv3plus与多视图几何结合,提出动态点检测方法,以提高视觉SLAM在动态场景下的鲁棒性。在此基础上,构建包含语义信息和几何信息的三维语义静态地图。在TUM数据集上的实验结果表明,与ORB-SLAM2相比,该算法在高动态序列下的绝对轨迹误差的均方根误差值和标准差(SD)值最高分别提升98%和97%。

动态场景下基于YOLOv5和几何约束的视觉SLAM算法

目的移动智能体在执行同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)的复杂任务时,动态物体的干扰会导致特征点间的关联减弱,系统定位精度下降,为此提出一种面向室内动态场景下基于YOLOv5和几何约束的视觉SLAM算法。方法首先,以YOLOv5s为基础,将原有的CSPDarknet主干网络替换成轻量级的MobileNetV3网络,可以减少参数、加快运行速度,同时与ORB-SLAM2系统相结合,在提取ORB特征点的同时获取语义信息,并剔除先验的动态特征点。然后,结合光流法和对极几何约束对可能残存的动态特征点进一步剔除。最后,仅用静态特征点对相机位姿进行估计。结果在TUM数据集上的实验结果表明,与ORB-SLAM2相比,在高动态序列下的ATE和RPE都减少了90%以上,与DS-SLAM、Dyna-SLAM同类型系统相比,在保证定位精度和鲁棒性的同时,跟踪线程中处理一帧图像平均只需28.26 ms。结论该算法能够有效降低动态物体对实时SLAM过程造成的干扰,为实现更加智能化、自动化的包装流程提供了可能。

深度融合频域和空间域特征的多粒度动态场景图像去模糊网络

动态场景下的图像去模糊具有高度的不适定性,相机与被拍摄目标之间的相对运动使模糊呈现非均匀性.现有深度学习方法大多集中于空间域而忽略频域对于结构及细节恢复的潜在贡献,导致去模糊效果欠佳.为了解决此问题,文中重新审视频域信息在图像去模糊中的作用,提出深度融合频域和空间域特征的多粒度动态场景图像去模糊网络.首先,提出频域门控的频空特征深度融合模块,充分挖掘空间域和频域信息间的相关性,减少融合后特征的冗余,增强两域之间的互补.然后,构建多粒度去模糊网络,充分利用空间域和频域中的不同粒度信息进行从粗到细的图像去模糊.最后,针对训练和测试时输入特征图尺寸不同导致的频域特征图分辨率不匹配问题,采用频域分辨率自适应的测试策略,保持频率变化的一致性.在合成数据集GoPro、HIDE和真实数据集RealBlur上的实验表明文中网络在重建清晰图像方面表现较优,同时参数量及效率具有一定的竞争力.

室内动态场景下基于语义关联的视觉SLAM方法

针对视觉SLAM在动态场景下鲁棒性不足的问题,提出一种适用于动态场景下的视觉SLAM算法——SAD-SLAM。该算法首先使用GCNv2网络进行特征提取,以获取分布均匀的特征点集合,并加快提取速度。然后使用YOLOv8-seg语义分割网络完成场景内物体的检测,并对推理得到的物体按照是否具备自主运动能力进行划分。同时提出一种语义关联方法,通过对潜在动态物体进行2D和深度层面过滤,以确定潜在动态物体运动的可能性。最后,构建了含有语义信息的稠密3D点云地图,并避免了动态物体的干扰。算法使用TUM数据集及真实场景进行实验验证,结果表明,相较于ORB-SLAM3及其他相关的动态SLAM算法,SAD-SLAM在动态场景下具有更好的定位精度。

动态场景中基于特征点几何约束的3D SLAM算法

针对动态场景中动态物体会导致机器人在进行位姿估计时引入大量动态误差的问题,提出一种利用特征点间几何约束来剔除动态特征点的移动机器人3D同步定位与地图构建(SLAM)算法。利用当前帧的ORB特征点与上一帧特征点生成的地图点进行投影匹配,通过引入Delaunay三角剖分法构建能够表示2帧间、匹配地图点间几何关系的三角网。利用相邻2帧地图点的几何关系变化检测出动态特征点,考虑到静态特征点可能被误检测为动态特征点而导致特征点缺失的情况,在相邻2帧匹配时提取更多的特征点以实现静态特征点的补偿,进而剔除动态特征点,实现对移动机器人位姿的精确估计。在此基础上,通过引入滑动窗口提取关键帧并完成闭环检测,从而构建出精确的3D稠密地图。在多组公开数据集上进行仿真实验及室内动态场景下的实验,结果表明,所提算法能够有效剔除动态特征点,提高移动机器人在动态场景中位姿估计的精度和地图的一致性。

基于箱线图与全卷积网络的动态场景烟雾检测

烟雾具有透光性强、纹理模糊等特征,且易与云、雾等目标混淆,导致基于视频的单阶段烟雾检测网络识别准确率低且受环境干扰明显,难以满足实际现场的使用需求。针对上述问题,提出一种基于箱线图背景建模(Box Plot Background, BPB)与全卷积分类网络(Full Convulsion DNCNN,FCDN)的二阶段烟雾检测算法:一阶段使用箱线图统计方法剔除背景队列中的移动干扰目标,利用背景队列中的最大值与最小值建立能适应动态场景的背景模型,以减少一阶段动态背景误报和背景模型被污染带来的烟雾区域遗漏;二阶段使用卷积层替换全连接层,解决输入图像尺寸和形状的限制问题,提升火灾初期细长形烟雾的检出效率。试验显示,该算法在动态场景下的漏检率与误检率均明显降低,并显著提升了烟雾检测速度。

船舶移动路径三维动态场景重建仿真

为保障船舶移动过程中的安全性,提出船舶移动路径三维动态场景重建方法。船舶航行过程中,通过相机等视觉传感器在未知环境下连续获取船舶移动路径图像;采用基于ORB特征提取的算法提取船舶移动路径图像内的特征点,根据汉明距离进行特征点匹配;通过对极几何解算特征点匹配结果获取相机的位姿信息;采用基于特征相关性筛选的关键帧选取机制获取全部关键帧,通过关键帧的点云拼接实现船舶移动路径三维动态场景重建。仿真结果显示,该方法不仅能够有效实现特征点匹配,且正确匹配率达到97%以上,三维场景重建结果的均方误差控制在0.2以下,结构相似性始终高于95%。

一种面向动态场景的要地武器目标分配方法

针对动态场景条件下要地武器目标分配中目标数量、武器数量可变特点,提出了一种基于深度强化学习的建模方法。通过在状态建模中引入最大目标数量与目标存活状态两个新变量,在模型训练中引入可变武器数量样本,较好实现了模型收敛。实验表明,相较于粒子群算法和遗传算法,所提方法计算的要地完好率分别提高了14%和10%,平均计算用时分别为基于粒子群算法和基于遗传算法的10‰和7‰,具有一定的优势。所提方法对于解决动态场景条件下的要地武器目标分配问题具有一定的参考与实用价值。

基于实例分割与光流的动态场景RGB-D SLAM

为了提高动态场景RGB-D SLAM中相机位姿精度,基于实例分割与光流算法,提出一种高精度RGB-D SLAM方法。首先,通过实例分割算法检测出场景中的物体,删除非刚性物体并构造语义地图。接着,通过光流信息计算运动残差,检测场景中动态刚性物体,并在语义地图中追踪这些动态刚性物体。然后,删除每一帧中非刚性物体和动态刚性物体上的动态特征点,利用其他稳定的特征点优化相机位姿。最后,通过TSDF模型重建静态背景,并以点云的形式显示动态刚性物体。在TUM和Bonn数据集中测试表明,本文方法与当前最先进的SLAM工作ACEFusion相比相机精度提升约43%。消融实验结果表明,保留动态刚性物体处于静止状态下的特征点对相机位姿估计结果提升约37%。稠密建图实验结果表明,本文方法在动态场景中重建结果优于当前先进的工作,平均重建误差为0.042 m。代码开源在https://github.com/wawcg/dy_wcg。

动态场景结合稀疏场景流和加权特征的视觉SLAM方法

针对视觉同时定位和建图(SLAM)系统大多基于静态环境假设、在动态场景位姿估计不准确的问题,提出了一种动态场景结合稀疏场景流和加权特征的视觉SLAM方法。首先,引入实例分割网络SparseInst获取环境中的语义信息,识别潜在运动物体;其次,通过计算特征点的稀疏场景流及其马氏距离获得特征点在相机坐标系下的相对运动,利用卡方检验方法完成对动态特征点的检测和剔除;然后,对静态特征点分配权重,设计加权的光束平差法优化目标函数以解决部分特征点运动状态模糊问题,提高视觉SLAM在动态场景下的定位精度。在公共数据集上的对比实验表明,所提方法相较于ORB-SLAM2、YOLO-SLAM、SG-SLAM,其绝对轨迹均方根误差在TUM RGB-D和Bonn数据集上分别平均降低约94.69%、27.55%、5.27%和93.43%、38.30%、26.88%。

基于多尺度时空Transformer的视频动态场景图生成模型

为应对动态视频中物体间关系在时间维度上的动态变化,提出一种基于多尺度时空Transformer的视频动态场景图生成模型,在经典的Transformer架构基础上引入了多尺度建模思想,以实现对视频动态细粒度语义的精确建模。首先,在空间维度上保留了传统模型对物体在全局空间相关性的关注;同时还对物体间的相对位置进行了局部空间相关性建模,以便更好地理解人和物之间的交互动态,提供更准确的语义分析结果。其次,在时间维度上,除了保留传统模型对视频中物体短期时间相关性的关注外,还关注了同一对物体在完整视频中的长期时间相关性,通过更全面地建模物体之间的长期关系,生成更准确、连贯的场景图,在一定程度上缓解了由遮挡、重合等引起的场景图生成问题。最后,通过空间编码器与时间编码器的共同作用,更加精准地建模视频动态细粒度语义,克服了传统的单尺度模型的局限性。实验结果显示,在Action Genome基准数据集上,与基线模型STTran相比,在谓词分类、场景图分类与场景图检测三个任务的Recall@10指标上分别提升了5.0、2.8、2.9个百分点。实验结果表明,多尺度建模思想能够更加精确地建模,并有效地提高在视频动态场景图生成任务上的性能。

动态场景下融合改进YOLOv7的视觉SLAM算法

针对传统的视觉同步定位与地图构建(SLAM)在动态场景下容易受到运动物体干扰,导致位姿估计精准度和鲁棒性下降的问题,提出了一种基于目标检测网络的视觉SLAM算法。该算法通过在ORB-SLAM2的跟踪线程中新增动态特征点检测剔除模块,从而利用静态特征点进行位姿估计。首先,选择YOLOv7作为目标检测的主干网络,结合GhostNet轻量化卷积网络和具有SE注意力机制的卷积(Conv_SE),以有效地检测周围环境;其次,对检测到的物体进行分类处理,剔除动态物体特征点,通过几何约束的方法进一步检测和剔除潜在运动物体;最后,仅利用静态特征点进行特征匹配和位姿估计。在TUM数据集上的验证结果表明,与ORB-SLAM2相比,提出的算法在动态Walk序列下,绝对轨道误差(ATE)的均方根误差平均减少96.5%,在其他动态序列下也有改进效果。实验证明,该算法在动态场景下能够显著提升系统的定位精度和鲁棒性。

动态场景渲染下舰艇模拟训练实验室虚拟重建

为了舰艇模拟训练的视景动态跟随三维逼真度,通过对舰艇模拟训练实验室虚拟重建设计,提高辅助训练效果,提出基于VR的动态场景渲染下舰艇模拟训练实验室虚拟重建方法。在多武器平台的模拟海战场景下构建舰艇模拟训练实验室的三维背景场景分布模型,在分布式虚拟训练环境下采用Multigen-Creator三维重构方法建立舰艇模拟训练实验室的三维实体结构模型,通过动态场景渲染方法实现对实验室虚拟重建过程中的分离面裁剪和纹理动画序列重组,构建舰艇模拟训练的三维视景场的VR仿真模型,实现对舰艇、来袭武器、拖曳体以及舰艇尾流的建模和模拟训练实验室的三维虚拟重建。仿真结果表明,重建的舰艇模拟训练实验室具有很好的视景仿真和作战模拟训练的动态数据分析能力。

动态场景下融合YOLOv5s的视觉SLAM算法研究

为了解决视觉同步定位与建图(Simultaneous Localization and Mapping, SLAM)系统在动态场景下容易受到动态物体干扰,导致算法定位精度和鲁棒性下降的问题,提出了一种融合YOLOv5s轻量级目标检测网络的视觉SLAM算法。在ORB-SLAM2的跟踪线程中添加了目标检测和剔除动态特征点模块,通过剔除图像中的动态特征点,提高SLAM系统的定位精度和鲁棒性。改进了YOLOv5s的轻量化目标检测算法,提高了网络在移动设备中的推理速度和检测精度。将轻量化目标检测算法与ORB特征点算法结合,以提取图像中的语义信息并剔除先验的动态特征。结合LK光流法和对极几何约束来剔除动态特征点,并利用剩余的特征点进行位姿匹配。在TUM数据集上的验证表明,提出的算法与原ORB-SLAM2相比,在高动态序列下的绝对轨迹误差(Absolute Trajectory Error, ATE)和相对轨迹误差(Relative Pose Error, RPE)均提高了95%以上,有效提升了系统的定位精度和鲁棒性。相对当前一些优秀的SLAM算法,在精度上也有明显的提升,并且具有更高的实时性,在移动设备中拥有更好的应用价值。

基于YOLOv5的动态场景视觉SLAM研究

为解决动态环境下视觉SLAM系统准确性低和鲁棒性差的问题,提出基于深度学习的动态场景视觉SLAM方法。首先,利用改进的YOLOv5算法和光流约束算法剔除动态目标上的特征点,只保留不影响建图的静态特征点;然后,采用GMS-RANSAC融合算法剔除误匹配,准确估计相机位置和姿态;最后,通过融合词袋和YOLOv5目标检测算法,达到提高回环检测的效率和准确性的目的。通过使用TUM数据集中高动态的walking系列进行实验,实验结果表明,该方法能够在动态环境中保持稳定的鲁棒性和准确性。

动态场景下基于语义信息的视觉SLAM研究

本文针对动态场景下视觉同时定位与建图(SLAM)系统定位精度降低的问题,提出一种基于语义信息的视觉SLAM系统,并基于YOLO目标检测算法,完成动态物体特征点的剔除与静态物体的椭球建模,构建语义地图。同时,通过公开数据集和实际场景验证算法的有效性。结果表明:该算法能提高系统在动态环境下的定位精度。