神经辐射场多视图合成技术综述

如何从图像中渲染出较为真实的虚拟场景一直是计算机图形学与计算机视觉领域的研究目标之一。神经辐射场是一种基于深度神经网络的新兴方法,它通过学习场景中每个点的辐射场来实现较为真实的渲染效果。通过神经辐射场不仅可以生成逼真的图像,而且可以生成具有真实感的三维场景,在虚拟现实、增强现实和计算机游戏等领域有着广泛的应用前景。然而,其基础模型存在训练效率低、泛化能力差、可解释性不足、易受光照和材质变化影响以及无法处理动态场景等问题,在某些情况下无法获得最佳的渲染结果。大量基于此研究的工作陆续展开,且在效率和精度等方面都取得了出色的成果。为了跟踪该领域最新研究成果,对近年来神经辐射场领域的关键算法进行回顾和综述。首先介绍了神经辐射场的产生背景及原理,对后续关键改进模型进行分类探讨。主要涵盖以下几个方面:对神经辐射场基本模型参数的优化,在渲染速度与推理能力方面的提升,对空间表达和光照能力的改善,针对静态场景相机位姿估计与稀疏视图合成方法的改进,以及在动态场景建模领域的发展。对各种模型的速度与性能进行分类对比与分析,并简要介绍了该领域主要模型评估指标与公开数据集。最后对神经辐射场未来发展趋势进行展望。

基于NeRF的城市实景高精度三维建模技术

为了更好地将NeRF高精度三维建模应用于城市实景三维数字化重建,本文基于NeRF技术将大型场景划分为子NeRF,通过在场景内构造多个正八面体初始化多边形网格,并在训练过程中不断优化多边形面的顶点。训练完成后,得到编码器-解码器网络的权重,通过顶点优化对每个独立块进行不同层次的多边形网格细化。从视图范围捕获城市概览的卫星级图像到显示建筑复杂细节的地面级图像变化,构建面向城市细节层级(level-of-detail)和空间覆盖范围的多尺度数据,通过渐进式学习(progressive learning)神经网络体素渲染模型,使用多层感知器(MLP)实现体积密度和颜色的参数化,采用分层抽样方法实现预定义视角近平面和远平面之间光线的排序距离向量,实现大规模场景的实时交互式渲染。然后将GIS与NeRF相融合,为多数据融合、查询、分析、测量、标注和共享等任务提供了全新的解决方案,实现即时、流畅地拖拽、缩放和360°无死角地浏览和观看场景,这种融合可以轻松地将各种数据源整合,应用于城市规划、土地管理和环境监测等三维场景中,以进行空间分析。

基于NeRF的树木数字化重建

我国有数量巨大的古树和城市大树,如何合理构建树木数字化模型,是评估树木抗风能力和安全性的重要前提。鉴于风向的多变性,需要基于该模型能够从任意角度获得树木树冠的各项数据。由于激光雷达价格高昂、专业性强,不便于大规模推广,采用便宜、简便的手机拍摄树木图像。鉴于传统的图像三维重建技术不适合树木这样结构复杂、高反射率、多孔的物体,采用NeRF(神经辐射场)技术,利用体素进行模型体渲染,对树木进行三维数字化重建,为从任意角度获得树木图像和树冠参数打下基础。同时,采用NeRF的instant-ngp加速算法,分析研究了背景、光照条件、图像数量等因素对建模质量的影响。研究结果表明,基于NeRF的树木数字化重建方法能有效避免传统三维重建的空洞、变形等问题,是一种可行的树木三维数字化模型构建方法。

带深度信息监督的神经辐射场虚拟视点画面合成

目的 在神经辐射场虚拟视点画面合成过程中,因视图数量过少或视图颜色不一致产生离群稀疏深度值问题,提出利用深度估计网络的密集深度值监督神经辐射场虚拟视点画面合成的方法来解决此问题。方法 首先输入视图进行运动恢复结构获取稀疏深度值,其次将RGB视图输入New CRFs(neural window fully-connected CRFs for monocular depth estimation)深度估计网络得到预估深度值,计算预估深度值和稀疏深度值之间的标准差。最后,利用预估深度值和计算得到的标准差,对神经辐射场的训练进行监督。结果 实验在NeRF Real数据集上与其他算法进行了实验对比。在少量视图合成实验中,本文方法在图像质量和效果优于仅使用RGB监督的NeRF(neural radiance fields)方法和使用稀疏深度信息监督的方法,峰值信噪比较NeRF方法提高24%,较使用稀疏深度信息监督的方法提高19.8%;结构相似度比NeRF方法提高36%,比使用稀疏深度信息监督的方法提高16.6%。同时为了验证算法的数据效率,进行了相同的迭代次数达到的峰值信噪比的比较,相较于NeRF方法,数据效率也有明显提高。结论 实验结果表明,本文所提出的利用深度估计网络密集深度值监督神经辐射场虚拟视点画面合成的方法,解决了视图数量过少或者视图颜色不一致产生离群稀疏深度值问题。

室内稀疏全景图的神经辐射场重建

目的神经辐射场(NeRF)可以为数字人、交互游戏等虚拟现实应用提供沉浸式环境。然而,现有神经辐射场算法往往依赖大量位置的全景图进行大规模室内场景重建,在稀疏全景图条件下的重建效果不佳。为此,提出了一种用于室内稀疏全景图的神经辐射场重建算法,以实现低开销、高质量的室内新视角合成。方法针对稀疏输入问题,本文首先设计了深度监督策略,以分配更多的采样点在物体表面,从而获取更精细的几何重建结构。然后,引入了未观测视角下的射线形变损失来增强射线约束,从而有效提升了稀疏输入下的室内场景重建质量。结果本文算法在多个室内全景数据集上与较新的神经辐射场重建算法进行了比较。在两幅Replica数据集全景图输入条件下,本文算法在峰值信噪比(peak signal-to-noise ratio,PSNR)指标上比基准算法提升了6%。即使在单幅PNVS数据集全景图输入条件下,本文算法在PSNR指标上也比基准算法提升了11%。结论实验结果表明,本文提出的神经辐射场重建算法能够从稀疏室内全景图中重建高质量场景,实现高真实感的新视角合成。