神经辐射场多视图合成技术综述

如何从图像中渲染出较为真实的虚拟场景一直是计算机图形学与计算机视觉领域的研究目标之一。神经辐射场是一种基于深度神经网络的新兴方法,它通过学习场景中每个点的辐射场来实现较为真实的渲染效果。通过神经辐射场不仅可以生成逼真的图像,而且可以生成具有真实感的三维场景,在虚拟现实、增强现实和计算机游戏等领域有着广泛的应用前景。然而,其基础模型存在训练效率低、泛化能力差、可解释性不足、易受光照和材质变化影响以及无法处理动态场景等问题,在某些情况下无法获得最佳的渲染结果。大量基于此研究的工作陆续展开,且在效率和精度等方面都取得了出色的成果。为了跟踪该领域最新研究成果,对近年来神经辐射场领域的关键算法进行回顾和综述。首先介绍了神经辐射场的产生背景及原理,对后续关键改进模型进行分类探讨。主要涵盖以下几个方面:对神经辐射场基本模型参数的优化,在渲染速度与推理能力方面的提升,对空间表达和光照能力的改善,针对静态场景相机位姿估计与稀疏视图合成方法的改进,以及在动态场景建模领域的发展。对各种模型的速度与性能进行分类对比与分析,并简要介绍了该领域主要模型评估指标与公开数据集。最后对神经辐射场未来发展趋势进行展望。

基于神经渲染的数字孪生资产快速场景几何建模与检索方法

虚实融合是数字孪生技术的典型特征,数字孪生的虚拟场景大多通过几何建模技术来实现。为解决场景几何建模的自动化程度较低。过于依赖人工,导致成本高昂且效率低下的问题,提出一种数字孪生几何场景构建方法。引入神经渲染技术采集物理实体的点云数据,然后设计一种基于深度学习的点云模型与3DCAD模型语义映射的方法,用于基于数字孪生几何模型资产库的3DCAD模型检索。最后建立训练数据集并构建数字孪生几何模型资产库进行实验验证。通过对比实验和退役电池拆解案例验证:与其他的数字孪生场景几何建模方法相比,该方法具有更低的成本和更高的效率。

数字孪生流域三维数据底板建设研究及应用

三维数据底板是流域数字化映射的成果,更是数字化场景构建、智慧化模拟迭代的基础。为厘清三维数据底板建设的技术逻辑,系统性地阐述了三维数据底板的定位、建设任务和技术路线图,重点对建设过程中的海量数据融合、数据轻量处理、场景渲染发布、数据可视可算、数据共享共建等关键技术问题展开深入全面的论述,分析技术难点、解决路径和具体方法。基于以上研究,以浙江省曹娥江数字孪生流域为例,运用BIM+GIS等技术构建L2、L3三维数据底板,以三维数字化场景支撑流域“四预”可视化模型应用。相关成果对类似数据底板建设具有借鉴意义。

大规模三维场景光线追踪渲染方法综述

光线追踪是目前最常用的真实感渲染算法,在三维动画、虚拟现实、数字孪生等领域发挥着巨大作用.随着人们对场景呈现精度和质量的要求不断增加,大规模场景光线追踪渲染方法受到了广泛关注.文中对大规模场景光线追踪的相关工作进行综述,并从多个角度对各类方法进行分析.首先从场景数据压缩和场景数据分解2个方面简述了大规模场景的数据组织方法;然后回顾了内外存调度光线追踪方法,并分析了LOD在该类方法中的应用;接着介绍了分布式光线追踪方法,并将其分为屏幕空间并行、数据并行和混合并行3类进行分析对比;最后,总结大规模场景光线追踪的研究进展,分析现有方法在数据存储、数据访问、渲染质量、渲染速度等方面的问题,并指出可能的未来研究方向,包括基于神经网络的场景数据压缩、实例化场景数据分解、计算热点预测、自适应分布式策略等.

基于傅里叶频域截断的神经辐射场优化

神经辐射场(neural radiance fields,NeRF)作为一种通用的场景表达方法,可以更好地理解三维世界的同时创造出更加逼真的感官体验。然而在实际应用中,输入图像较少导致重建效果不佳是一个常见的问题。为此,本文提出了基于傅里叶频域截断的神经辐射场(sparse views neural radiance fields,Sv-NeRF),通过在频域空间对输入频率进行截断并应用正则化策略来控制高频信号的输入来优化NeRF的位置编码机制,有效地降低了高频噪声,保留了关键的细节信息以提升渲染的质量和稳定性。该方法提升了模型对场景的理解能力,相较于现有方法在渲染质量、细节保留能力上均有显著提升,尤其适用于稀疏输入视角的场景重建工作。

3D场景渲染技术——神经辐射场的研究

神经辐射场(NeRF)是一种面向三维隐式空间建模的深度学习模型,在表示和渲染三维场景领域具有重要价值。然而由于神经辐射场算法训练过程复杂、需要大量的计算资源和时间等,其可用性和实用性受到一定限制,如何针对神经辐射场的痛点问题进行优化是当前计算机视觉等领域研究的热点之一。此研究旨在对神经辐射场的优化和应用进行全面综述。首先,在深入解析神经辐射场基本原理的基础上,从渲染质量、计算复杂度、位姿等方面对现阶段神经辐射场的优化情况进行概述;其次,列举神经辐射场应用状况,为未来更高效和实用的算法优化设计提供参考;最后,总结神经辐射场的优势与局限性,并提出未来可能的发展方向,以期发挥神经辐射场在三维渲染、场景合成等方面的巨大潜力。

基于MR混合现实技术的应急仿真应用系统设计

为避免灾难发生时因经验不足导致慌乱而造成更大的损失,使用混合显示技术设计一种应急仿真应用系统。硬件设计中使用蓝牙适配器作为无线网络传输的工具;软件设计中基于混合现实技术重建虚拟现实场景,对图像进行降噪处理,计算各像素点的3维坐标,实时更新粒子位置,对其进行可视化渲染,并获取粒子在混合现实场景渲染下的位置坐标,混合现实视线下的投影距离;对应急逃生路径规划设计一种路径规划算法;在仿真场景的物理模型下,获取应急疏散模拟结果。结果表明:该仿真系统具备实用性,能够完成应急演练时的数据收集与分析。

动态场景渲染下舰艇模拟训练实验室虚拟重建

为了舰艇模拟训练的视景动态跟随三维逼真度,通过对舰艇模拟训练实验室虚拟重建设计,提高辅助训练效果,提出基于VR的动态场景渲染下舰艇模拟训练实验室虚拟重建方法。在多武器平台的模拟海战场景下构建舰艇模拟训练实验室的三维背景场景分布模型,在分布式虚拟训练环境下采用Multigen-Creator三维重构方法建立舰艇模拟训练实验室的三维实体结构模型,通过动态场景渲染方法实现对实验室虚拟重建过程中的分离面裁剪和纹理动画序列重组,构建舰艇模拟训练的三维视景场的VR仿真模型,实现对舰艇、来袭武器、拖曳体以及舰艇尾流的建模和模拟训练实验室的三维虚拟重建。仿真结果表明,重建的舰艇模拟训练实验室具有很好的视景仿真和作战模拟训练的动态数据分析能力。

基于VR技术的室内物体可视化建模设计

室内物体建模过程中,每一项建模参数的确定与调整都需要经过大量计算,使得室内物体可视化建模时间较长。为了提高建模效率,提出基于虚拟现实(Virtual Reality,VR)技术的室内物体可视化建模方法。通过标定后的三维扫描仪和相机采集室内物体图像,并通过二值化处理提取物体边界轮廓,依据双目感知原理,建立以加强真实感为核心的可视化视觉通道,运用VR技术构建三维虚拟场景,在虚拟场景内运用多层次细节模型构建室内物体3D几何模型,并通过VR交互处理实现对建模参数的智能调整,结合缓慢剔除算法和体绘制方法对模型进行渲染处理,完成物体可视化建模。实验结果表明该方法每个建模阶段平均耗时3 s,总建模时间为18 s,满足了可视化建模时效性要求。

乡镇级国土空间规划三维展示系统设计实现及应用

传统文件式国土空间规划方案在展示上存在不直观、缺少交互性及空间立体位置关系。针对该问题,文章将实景三维技术应用于国土空间规划,围绕乡镇级国土空间规划展示的重点内容,从数据处理、服务发布及功能研发等方面,开展系统的设计与研究。基于Cesium渲染引擎,构建了乡镇级国土空间规划三维展示系统,并开展了实地应用,验证了系统可行性和展示效果,可为实景三维技术在国土空间规划中的应用提供参考。

基于3D数字孪生技术的通信网络可视化方法

为实现对网络通行状态的可视化感知,引进3D数字孪生技术,对通信网络可视化方法展开设计与研究。收集与通信网络相关的数据,包括设备信息、拓扑结构、流量数据、实时监测数据等,进行通信网络运行场景的渲染;根据渲染后通信网络运行场景,掌握邻近节点之间的引力与斥力,以此计算通信网络节点间流量作用力;根据节点之间的流量数据,构建一个流量矩阵,以此实现通信网络可达节点通信强度可视化模型的构建。实验结果表明:设计方法不仅可以实现对通信网络的可视化,还可以实现对网络运行中通信信号强度的精准感知。

Infrared image simulation of ground maneuver target and scene

Infrared scene simulation has extensive applications in military and civil fields. Based on a certain experimental environment,object-oriented graphics rendering engine（ OGRE） is utilized to simulate a real three-dimensional infrared complex scene. First,the target radiation of each part is calculated based on our experimental data. Then through the analysis of the radiation characteristics of targets and related material,an infrared texture library is established and the 3ds Max software is applied to establish an infrared radiation model.Finally,a real complex infrared scene is created by using the OGRE engine image rendering technology and graphic processing unit（ GPU） programmable pipeline technology. The results show that the simulation images are very similar to real images and are good supplements to real data.

3D场景立体画面绘制的视觉感知驱动光照复用方法

针对用蒙特卡罗路径跟踪绘制3D场景立体画面的计算开销巨大,而3D warping根据左眼画面生成右眼画面,但无法正确地呈现镜面反射现象,且存在空洞的问题,提出3D场景立体画面绘制的视觉感知驱动光照复用方法.首先,逐像素地跟踪少量路径实现预绘制,通过获取左右眼画面的可视场景点表、显著性图和背景掩膜等辅助信息,完成左眼画面绘制;然后分别进行背景复用和3D warping复用,避免右眼画面部分像素的路径跟踪计算;最后,根据显著性图分配镜面反射区域及剩余空洞区域的路径样本数,在低采样水平下完成右眼画面绘制.在PBRT-V3通用测试场景下的实验表明,该方法能够准确地呈现镜面反射现象,提高绘制结果的视觉感知质量,与基于3Dwarping和路径跟踪的方法相比,其平均PSNR,SSIM和VSNR分别提高5.68%~22.62%,6.38%~19.36%和4.25%~34.53%.

基于虚拟现实技术的三维体育辅助训练系统设计

为充分发挥沉浸式训练对提高体育水平的促进作用,设计基于虚拟现实技术的三维体育辅助训练系统。在SPU处理模块控制系统整体运行的基础上,使用虚拟现实模块的输入输出单元,获取用户输入的操作命令并反馈给三维建模单元,该单元依据视频传感器与3D体感摄像机Kinect V2采集的体育运动员训练过程视频和关节位置数据,生成相应的3D模型,通过场景渲染单元完成不同场景的逼真还原,构成体育运动员训练的虚拟世界,为用户提供体育动作虚实对比、体育动作编辑等功能。实验结果表明:该系统能为运动员提供生动、逼真的训练环境;系统的实际应用能够显著提升运动员不同体育活动的成绩,辅助训练效果较为理想。

基于3DMouse的大规模复杂虚拟场景动态交互仿真

动态交互能力过低会导致人与复杂虚拟场景脱离,影响沉浸式体验感。为了提升大规模复杂虚拟场景的动态交互能力,提出基于3DMouse的大规模复杂虚拟场景动态交互仿真方法。结合光线空间表示法和3DTV技术绘制大规模复杂虚拟场景,将复杂虚拟场景与3DMouse结合;考虑3DMouse选取的控制位点、观察点原点坐标和远剪切面的方向向量,实现大规模复杂虚拟场景的动态交互。仿真结果表明,所提方法的动态交互停止次数少,动态交互滞后时间短,动态交互效果较好。

基于NeuS的大场景建筑物构建方法研究

现有的神经表面重建需要将前景mask作为监督,很容易出现局部极小值,导致难以重建出具有严重自遮挡的对象。针对数据量大、场景复杂的建筑物,引入一种神经表面重建方法-NeuS,将大场景建筑物的二维图像快速重建出三维的新视角图像。该方法给出了一种既具备遮挡感知功能又无偏的权重函数做体渲染,可在没有mask监督的情况下,准确重建出噪声较小的复杂三维表面,实现对低像素建筑物图像的高质量重建,在质量及数量上均优于现有技术,为大场景建筑物重建提供了新思路。

虚拟现实电力培训系统场景渲染方法改进与实现

结合虚拟现实技术、三维建模技术、计算机仿真技术的电力培训仿真系统以其高交互性、高沉浸感、低成本、安全高效的优势在电力培训领域得到了广泛的应用。从视觉和行为交互上为学员构建一个接近现实的作业环境是虚拟现实电力培训系统的最根本特征,但是电力作业培训高频率的人机交互操作会导致高质量的作业环境模型产生渲染困难,影响培训效果。为提升系统运行流畅性和实时性,提出了一种改进的四叉树场景渲染方法,利用迭代构造方法改进了传统递归遍历四叉树的过程。实际应用效果表明采用改进的场景渲染方法会使得培训系统渲染流畅,三维效果逼真,增强了系统的实时性和学员的使用体验,提升了培训效果。

大规模城市场景数据在Unity 3D中加载及渲染技术的应用

随着电力三维应用功能的不断深化,大规模场景数据的动态加载成为电力三维应用中需要解决的问题。主要讨论了大规模城市场景数据在三维场景中的加载及渲染技术,根据城市建筑数据的特点,主要研究两部分内容:城市建筑数据的处理;海量城市模型渲染技术的实现。该系统构建了基于Unity 3D的三维渲染引擎,实现了大规模城市场景的高效渲染模块的开发。该系统作为电力三维系统的一部分,能够实现变电站、架空线、地下电缆等周边城市建筑模型的快速生成及高效展示,有助于深化其在架空线路、电缆通道等业务的应用。

基于多种三维场数据模型的场景分析与表达

基于WebGL技术,在面元模型和体元栅格这2种基本场数据模型的研究基础上,引入体渲染技术,实现了一种同时具备前两种模型优势的体渲染模型,以适应现实世界各种各样复杂的三维场景。本文主要围绕3种模型如何构建、内部信息如何表达、场景如何落地等问题,进行说明与效果展示。能够为业务分析提供更形象的可视化支持,为相关部门的决策提供强有力的支撑。

基于Unity HDRP的虚拟室外场景设计与开发

随着虚拟引擎、插件、建模工具的不断更新发展,人们可以使用更简便的方法搭建更真实的虚拟环境。基于此,使用Unity高清渲染管线(HighDefinitionRenderPipeline,HDRP)技术和多种高效建模工具,实现了一个高质量的虚拟室外场景漫游系统,为用户提供了身临其境的沉浸式体验。