Structured scene modeling using micro stereo vision system with large field of view

This paper presents a method for structured scene modeling using micro stereo vision system with large field of view. The proposed algorithm includes edge detection with Canny detector, line fitting with principle axis based approach, finding corresponding lines using feature based matching method, and 3D line depth computation.

视景仿真编辑器ViewEditor的设计与实现

我们开发的ＶｉｅｗＥｄｉｔｏｒ是一个基于ＷｉｎｄｏｗｓＮＴ系统的视景仿真编辑器。它集图形、图象、声音、文字编辑于一体，支持开放式接口，具有界面优良、操作直观灵活。满足ＷＹＳＩＷＹＣ等特点。该文首先介绍了ＶｉｅｗＥｄｉｔｏｒ的功能和系统构成，然后对ＶｉｅｗＥｄｉｔｏｒ的层次模型与界面设计进行了详细的论述。

基于关键视图的文本驱动3D场景编辑方法

基于去噪扩散模型的零样本图像编辑方法取得了瞩目的成就,将之应用于3D场景编辑可实现零样本的文本驱动3D场景编辑。然而,其3D编辑效果容易受扩散模型的3D连续性与过度编辑等问题影响,产生错误的编辑结果。针对这些问题,提出了一种新的文本驱动3D编辑方法,该方法从数据端着手,提出了基于关键视图的数据迭代方法与基于像素点的异常数据掩码模块。关键视图数据可以引导一个3D区域的编辑以减少3D不一致数据的影响,而数据掩码模块则可以过滤掉2D输入数据中的异常点。使用该方法,可以实现生动的照片级文本驱动3D场景编辑效果。实验证明,相较于一些目前先进的文本驱动3D场景编辑方法,可以大大减少3D场景中错误的编辑,实现更加生动的、更具真实感的3D编辑效果。此外,使用该方法生成的编辑结果更具多样性、编辑效率也更高。

神经辐射场多视图合成技术综述

如何从图像中渲染出较为真实的虚拟场景一直是计算机图形学与计算机视觉领域的研究目标之一。神经辐射场是一种基于深度神经网络的新兴方法,它通过学习场景中每个点的辐射场来实现较为真实的渲染效果。通过神经辐射场不仅可以生成逼真的图像,而且可以生成具有真实感的三维场景,在虚拟现实、增强现实和计算机游戏等领域有着广泛的应用前景。然而,其基础模型存在训练效率低、泛化能力差、可解释性不足、易受光照和材质变化影响以及无法处理动态场景等问题,在某些情况下无法获得最佳的渲染结果。大量基于此研究的工作陆续展开,且在效率和精度等方面都取得了出色的成果。为了跟踪该领域最新研究成果,对近年来神经辐射场领域的关键算法进行回顾和综述。首先介绍了神经辐射场的产生背景及原理,对后续关键改进模型进行分类探讨。主要涵盖以下几个方面:对神经辐射场基本模型参数的优化,在渲染速度与推理能力方面的提升,对空间表达和光照能力的改善,针对静态场景相机位姿估计与稀疏视图合成方法的改进,以及在动态场景建模领域的发展。对各种模型的速度与性能进行分类对比与分析,并简要介绍了该领域主要模型评估指标与公开数据集。最后对神经辐射场未来发展趋势进行展望。

6G业务场景的不完全多视图聚类分析

在6G网络中,由于业务种类繁杂且需求各不相同,5G网络中划分的三大业务场景已无法满足其粒度上的要求,这给6G按需服务目标的实现带来了巨大挑战。针对海量杂乱的6G场景和6G场景分类中业务数据量庞大以及数据缺失问题,提出了一套基于业务关键性能指标的多维度场景聚类分析方案。该方案基于不完全多视图聚类技术,在上千种参数组合下使用肘部法和轮廓系数法进行调参聚类。聚类结果表明,提出的方案能在不完整的场景数据集中保证收敛,并达到较高的轮廓系数值。此外,通过对比不同比例的缺失数据聚类实验,所提出的6G场景聚类方案能够有效完成对于不同程度缺失数据的多维度聚类。最后,结合原始数据和聚类标签,分析并提炼聚类得到了11类场景的场景知识及各场景的关键性能指标特征,从而为未来6G网络中的新兴场景及业务提供方法基础和理论参考。

激光点云数据离群点删除下的多视点场景虚拟重构

单纯的激光扫描技术在现实场景虚拟重构时,有效点云数据过少,坐标均衡性较差,混乱坐标较多。为提高虚拟现实重构精度,设计基于激光点云离群点删除的多视点场景虚拟重构方法。提取多视点场景激光点云数据,包括激光数据角点特征提取,以及视觉数据角点特征提取。设置离群阈值,计算三维坐标轴中非离群点数据集所包含的空间长度,设置离群点坐标栅格结构。通过点激光云数据提取值,计算移除离群点前后点云数据之间的平均距离,完成无用数据移除,实现虚拟重构。实验结果可知:移除前后平均距离差距显著,可见离群点的移除对虚拟现实重构技术有明显作用;在使用所提方法得到的虚拟现实重构场景中,可以得到明显的房间轮廓,且大型物体重构影像也十分清晰。

室外大场景神经辐射场综述

对室外大场景进行三维建模,不仅可以完成实时的城市建图和漫游,还能为自动驾驶等提供技术支持。近年来,神经隐式建模的发展十分迅速,神经辐射场(NeRF)的出现更是将神经隐式建模推上了新的高度。NeRF凭借高质量渲染和任意角度渲染的特点,已经在可控编辑、数字化人体、城市场景重建等领域得到了广泛的应用。NeRF通过深度学习的方法从二维图片及其位姿中学习隐式三维场景,生成新视角图像。然而原始NeRF只能在有界场景下得到逼真的结果,在对室外大场景进行建模时,往往会面临无界背景、模型容量、场景外观等问题。基于室外大场景中NeRF部署的多个角度改进和多样的NeRF变种,首先介绍NeRF的背景,然后从室外大场景的难点切入,对各个难点的解决方法进行分析和讨论,最后对室外大场景NeRF目前的进展进行总结并对未来进行展望。

基于YOLOv5与多视图几何联合的动态V-SLAM

目的为了解决传统视觉SLAM(simultaneous localization and mapping,SLAM)系统在动态环境下容易受运动物体干扰而无法实现准确定位与建图的问题,方法基于传统ORB_SLAM2算法,提出一种YOLOv5与多视图几何联合的动态V-SLAM算法。首先,在视觉SLAM系统的前端加入一个目标检测模块,该模块采用深度学习中的目标检测网络YOLOv5,结合多视图几何方法识别并分割动态物体和静态物体;其次,根据目标检测模块检测结果,在系统跟踪线程中进行动态特征点的剔除,仅使用静态特征点进行帧间匹配和位姿估计,同时结合渐进采样一致性算法(progressive sample consensus,PROSAC)剔除误匹配的特征点并求得位姿估计模型;最后,根据剔除动态特征点信息的关键帧完成稠密点云地图构建。为了评估改进算法的有效性,主要基于德国慕尼黑工业大学(TUM)数据集中的动态场景进行实验。结果结果表明,在图像特征匹配实验中,与基于ORB特征粗匹配和随机抽样一致性(random sample consensus,RANSAC)算法对比,提出的算法具有更高的运算效率;在轨迹跟踪实验中,所提算法的定位精度较ORB_SLAM2系统平均提升了96.14%,较ORB_SLAM3系统平均提升了94.52%;在点云建图实验中,本文算法在3种不同运动状态场景下均能构建出与实际场景一致的稠密点云地图。结论改进后的视觉SLAM算法在室内动态场景下具有较高的可靠性和准确度。

“观”与“演”互动下古典园林中场景-情节空间研究

古典园林观演以一种审美事件结构建立起参与主体与空间组织的关联,打破观看与表演二元对立的界限,引发对“观”与“演”交互机制下空间营建策略的思考。以可操作的设计方法确立现象学介入场所研究的途径:在主体“观”的视角下,将“演”作为客体对象,从“互动感知-识别定位-动态展开”三个维度细分二者互动交流与事件空间建构的过程,由此归纳出背景垫衬、焦点主导、山水阐发、琴画合一四种场景(scenes)建构逻辑,以及悬念闪回、活动联结、回环收束三种情节(plots)编排方式。旨在以“事件”的视角更新园林认知,为当代空间的场所营造提供“园林”的营运方式。

基于YOLACT网络的移动机器人视觉SLAM算法

提出一种室内动态场景的视觉SLAM算法,引入实例分割网络YOLACT,剔除大部分动态点,利用多视图几何进一步过滤分割掩膜外未被剔除的动态特征点,使用剩余的静态特征点作为相机位姿估计;同时构建点云地图,转换并建立八叉树地图;使用背景修复以恢复被剔除动态物体后的背景。为验证算法的有效性,使用TUM数据集测试,并与ORB-SLAM2算法和其他处理动态场景的SLAM算法对比,结果表明,提出的算法在高动态数据集上表现良好。相较于ORB-SLAM2算法,提出的算法在室内动态场景中的定位精度提升93.06%,可应用于后期机器人定位导航使用。

融合光流与多视角几何的动态视觉SLAM系统

视觉同步定位与地图构建(SLAM)在动态干扰的情况下,导致定位精度下降且无法准确构建静态地图,提出一种结合光流和多视角几何的动态视觉SLAM系统,该系统是在ORB-SLAM2的基础上进行改进的。在追踪线程中引入处理后的光流信息,结合多视图几何,得到动态区域掩码对视野内图像帧进行分割,实现动态区域检测并滤除动态区域中的特征点,在保证视觉SLAM系统实时性的同时提高追踪准确度,替换原本的地图构建线程。在新的地图构建线程中,引入光流信息及Mobile NetV2实例分割网络。利用实例分割网络分割结果结合光流动态区域掩码对获取到的有序点云逐层分割,解决地图构建中动态物体造成的“拖影”问题。同时对分割后的点云团融合语义信息,最终构建静态语义八叉树地图。在TUM Dynamic Objects数据集上的实验结果表明,相较于ORB-SLAM2,在高动态场景序列测试中,该算法的定位精度平均提升70.4%,最高可提升90%。

一种特征点权重自适应优化的动态SLAM算法

针对传统的同步定位与地图构建(SLAM)在动态场景中位姿估计准确率低、鲁棒性差的问题,提出一种基于特征点权重自适应优化的动态视觉SLAM算法。首先,利用掩膜区域卷积神经网络(Mask R-CNN)对输入图像进行语义分割并获取动态特征点掩码,在此基础上对静态特征点进行帧间匹配得到位姿变换初值;然后利用运动一致性检测算法和多视图几何算法处理图像并分别得到对应的动态特征点掩码,进而依据得到的3种动态特征点掩码信息构建特征点权重函数,利用最小化重投影误差自适应调整特征点对位姿优化的影响程度,降低场景中的动态目标对SLAM精度的影响;最后使用慕尼黑工业大学动态数据集进行仿真测试,在室内高动态场景中,绝对轨迹误差(ATE)的均方根误差值(RMSE)仅为尺度不变特征变换同步定位与地图构建(ORB-SLAM2)的3.1%。与DS-SLAM、DynaSLAM等动态SLAM系统相比,绝对轨迹误差分别为DS-SLAM的52%、DynaSLAM的86.1%。结果表明,该算法可以显著提高SLAM系统在高动态环境下的定位精度和鲁棒性。

多源数据自动构建三维地理场景技术

随着调查监测技术的进步,广东省自然资源常态化监测工作汇聚了多种感知数据类型,包括遥感影像、监控视频、无人机照片、移动终端照片等。为充分利用这些数据,本文依托多视图立体匹配方法,深入探讨利用多源感知数据自动构建三维地理场景的方法,并从调查监测的角度出发,对成果的可读性和实用性进行实证分析。通过对比不同数据源单独建模与本文方法建模成果,充分证实了本文所提方法的有效性,实现了数据成果的再利用,并探索出一种新的三维地理场景构建方法,推动常态化监测工作成果从二维向三维转变。

虚拟现实与城市规划

讨论了虚拟现实技术在城市规划中的应用 ,并结合实际开发经验 ,对虚拟环境下用户界面设计、视景建模、实时渲染、交互式漫游、音效等有关技术进行了探讨。

Direct3D在开发汽车驾驶训练模拟器视景系统中的应用

介绍了 Direct3D在三维动画编程中的强大功能。结合系统结构 ,对如何利用 Direct3D所提供的先进功能来完成模拟器视景的表示和生成进行了探讨。为了保证动画质量 ,采用了多缓存、页面翻转和区域显示技术。基于 Direct3D开发的汽车驾驶训练模拟器视景系统能比较逼真的仿真车外场景 。

基于OpenGL的船舶视景建模系统的开发

针对船舶结构的具体特点 ,以面向对象思想为基础 ,提出了基于 Open GL 的船舶视景建模系统的设计方案 ,并结合具体项目开发实践 ,介绍了软件系统实现的关键技术 。

基于DirectX的弹头进动3D视景及微多普勒特征仿真软件的实现

利用VC++6.0,基于短时傅里叶变换对弹头回波进行时频分析,得到弹头回波微动信息,利用兼容位图将回波微动信息进行可视化显示,采用DirectX三维显示技术,开发出弹头进动微多普勒特征分析及相应的弹头运动形态三维视景仿真软件。软件可提供弹头目标在不同雷达载频、自旋频率、锥旋频率、进动角等参数下的弹头理论微多普勒曲线,以及对回波时频分析得出的微多普勒曲线,实现了弹头目标三维视景与弹头微多普勒曲线的同步实时显示。软件运行表明:该软件运行流畅、理论推导结果与通过时频分析进行仿真验证的结果一致,软件对操作人员的响应迅速,三维视景显示与微动显示相一致。

利用OpenGL开发汽车操纵稳定性虚拟试验软件平台

在桌面虚拟现实系统 (Desk-top Virtual Reality)下 ,利用 Open GL(Open Graphics L ibrary)开发了“汽车操纵稳定性虚拟试验软件平台”。介绍了虚拟试验的意义、采用 Open GL作为开发虚拟试验软件平台的原因 ,提出了虚拟试验平台的功能要求 ,给出了完成其功能的若干关键技术的实现方法。虚拟试验为车辆运动仿真提供了一种新的研究手段。

人体行为识别数据集研究进展

人体行为识别是计算机视觉领域的一个研究热点,具有重要理论价值和现实意义.近年来,为了评价人体行为识别方法的性能,大量的公开数据集被创建.本文系统综述了人体行为识别公开数据集的发展与前瞻:首先,对公开数据集的层次与内容进行归纳.根据数据集的数据特点和获取方式的不同,将人体行为识别的公开数据集分成4类.其次,对4类数据集分别描述,并对相应数据集的最新识别率及其研究方法进行对比与分析.然后,通过比较各数据集的信息和特征,引导研究者选取合适的基准数据集来验证其算法的性能,促进人体行为识别技术的发展.最后,给出公开数据集未来发展的趋势与人体行为识别技术的展望.

基于LOD建模的视景仿真生成技术研究

细节层次(LOD)模型是指对同一个场景或场景中的物体,使用具有不同细节的方法得到一组模型以实现三维场景仿真,而视景生成会使仿真过程更直观形象。文中提出一种利用地形、景物数据库数据,采用LOD建模方法实时生成三维视景,实验结果表明该方法具有一定理论和实用价值。