基于NeRF的树木数字化重建

我国有数量巨大的古树和城市大树,如何合理构建树木数字化模型,是评估树木抗风能力和安全性的重要前提。鉴于风向的多变性,需要基于该模型能够从任意角度获得树木树冠的各项数据。由于激光雷达价格高昂、专业性强,不便于大规模推广,采用便宜、简便的手机拍摄树木图像。鉴于传统的图像三维重建技术不适合树木这样结构复杂、高反射率、多孔的物体,采用NeRF(神经辐射场)技术,利用体素进行模型体渲染,对树木进行三维数字化重建,为从任意角度获得树木图像和树冠参数打下基础。同时,采用NeRF的instant-ngp加速算法,分析研究了背景、光照条件、图像数量等因素对建模质量的影响。研究结果表明,基于NeRF的树木数字化重建方法能有效避免传统三维重建的空洞、变形等问题,是一种可行的树木三维数字化模型构建方法。

基于NeRF的城市实景高精度三维建模技术

为了更好地将NeRF高精度三维建模应用于城市实景三维数字化重建,本文基于NeRF技术将大型场景划分为子NeRF,通过在场景内构造多个正八面体初始化多边形网格,并在训练过程中不断优化多边形面的顶点。训练完成后,得到编码器-解码器网络的权重,通过顶点优化对每个独立块进行不同层次的多边形网格细化。从视图范围捕获城市概览的卫星级图像到显示建筑复杂细节的地面级图像变化,构建面向城市细节层级(level-of-detail)和空间覆盖范围的多尺度数据,通过渐进式学习(progressive learning)神经网络体素渲染模型,使用多层感知器(MLP)实现体积密度和颜色的参数化,采用分层抽样方法实现预定义视角近平面和远平面之间光线的排序距离向量,实现大规模场景的实时交互式渲染。然后将GIS与NeRF相融合,为多数据融合、查询、分析、测量、标注和共享等任务提供了全新的解决方案,实现即时、流畅地拖拽、缩放和360°无死角地浏览和观看场景,这种融合可以轻松地将各种数据源整合,应用于城市规划、土地管理和环境监测等三维场景中,以进行空间分析。

基于NeRF的3D场景动画风格迁移及其技术美学价值研究

针对传统3D动画场景建模技术存在操作困难,相关行业对3D模型需求量大、计算机硬件要求较高等诸多问题,本文提出一种改进的神经辐射场(NeRF)技术,通过对拍摄影像进行3D重构,进而完成动画风格迁移,借此形成独特3D动画场景艺术效果的解决方案。作为一种新颖的3D重建方法,NeRF受到计算机图像合成领域广泛关注。本文将NeRF引入3D场景动画制作中,在验证本方案可行性与科学性的同时,也为3D动画场景创建提供新思路,充实技术美学价值。

基于改进NeRF-Navigation的移动机器人三维路径规划方法

针对移动机器人在真实场景行进时光线复杂多变的特点,使用Nerfstudio框架对重建场景边界进行限定,生成具有较优性能表现和较少内存占用的三维网格地图。在NeRF-Navigation的基础上引入贪婪信息增益策略和动态权重策略,提出了一种具有隐式环境适应的动态加权A*路径规划方法,在三维场景网格地图上利用4种评价指标进行了算法验证,实验结果表明,改进方法能有效降低路径规划曲率,提高了移动机器人在室内场景中的直线运动与转弯避障等运动性能。

基于NeRF的文物建筑数字化重建

文物古迹建筑在历史的发展中不断丢失其本身的特征,在时间的推移中不断改变或消失。因此,如何精确的测量保存当前文物的历史风貌是一个亟需解决的问题。数字化建模可以最大程度地保存文物在当前时期的外观特征,因此将数字化建模应用到文物重建中具有重要意义。文物重建任务中用到的大多依旧是传统的基于视觉的重建方法,这种方法一般需要多个视点图像,并且负担极高的时间成本,对于大量文物古迹的重建与更新是不够高效的。针对这一问题,文章通过无人机拍摄遥感影像完成数据采集,引入神经辐射场(Neural Radiance Fields,NeRF)方法进行文物古迹的数字化重建,构建体素,完成目标渲染。该方法可以在10min左右实现较好的重建效果,并且避免传统网格重建结果中孔洞的出现,给文物古迹建筑的重建提供了新的思路。

基于LD特征引导NeRF的可操控语音驱动人脸重演

语音驱动的人脸重演的目标是通过输入一段任意语音,驱动目标人物重演相应表情。现有方法无法仅以一段自然场景下视频作为训练素材,实现可操控的高保真语音驱动人脸重演,为此,提出了一种基于LD特征的语音驱动人脸重演方法。首先,对输入视频进行人脸对齐,检测人脸关键点并提取LD特征;然后,通过音频特征提取模块将输入音频映射为一段64维的潜码,构建基于多层感知机的编码器和解码器,由解码器将潜码解码为LD特征后,通过编码器将其还原为潜码表示;接着,将更新后的潜码输入基于网格的NeRF获得采样点密度和颜色,通过体绘制输出头部重演RGB帧;同时,将姿势输入身体变形模块,合成重演帧的身体部分。实验结果证明,方法能够根据输入语音内容生成高保真重演结果,并且在重演过程中能够对目标人物的面部表情进行个性化控制。

基于点云与NeRF的三维重建系统

三维重建可以帮助人们更好地查看被重建对象的细节,广泛应用于物体展示、虚拟场景模拟、文物保护等场景中。传统的多视图三维重建容易出现大量噪声、空洞等问题,而且展示效果不佳。新兴的利用神经网络进行三维重建的NeRF算法虽然能够达到接近真实的效果,但是渲染的速度慢,无法满足交互的要求。文章通过结合两种方法,得到了一种兼顾交互效果与渲染效果的三维重建系统。结果表明,本文系统在采集的稀疏图片数据集上,达到了较好的交互与渲染效果。

神经辐射场多视图合成技术综述

如何从图像中渲染出较为真实的虚拟场景一直是计算机图形学与计算机视觉领域的研究目标之一。神经辐射场是一种基于深度神经网络的新兴方法,它通过学习场景中每个点的辐射场来实现较为真实的渲染效果。通过神经辐射场不仅可以生成逼真的图像,而且可以生成具有真实感的三维场景,在虚拟现实、增强现实和计算机游戏等领域有着广泛的应用前景。然而,其基础模型存在训练效率低、泛化能力差、可解释性不足、易受光照和材质变化影响以及无法处理动态场景等问题,在某些情况下无法获得最佳的渲染结果。大量基于此研究的工作陆续展开,且在效率和精度等方面都取得了出色的成果。为了跟踪该领域最新研究成果,对近年来神经辐射场领域的关键算法进行回顾和综述。首先介绍了神经辐射场的产生背景及原理,对后续关键改进模型进行分类探讨。主要涵盖以下几个方面:对神经辐射场基本模型参数的优化,在渲染速度与推理能力方面的提升,对空间表达和光照能力的改善,针对静态场景相机位姿估计与稀疏视图合成方法的改进,以及在动态场景建模领域的发展。对各种模型的速度与性能进行分类对比与分析,并简要介绍了该领域主要模型评估指标与公开数据集。最后对神经辐射场未来发展趋势进行展望。

神经辐射场加速算法综述

近年来,神经辐射场(NeRF)已成为计算机图形学和计算机视觉领域中一个重要的研究方向,因其高逼真的视觉合成效果,在真实感渲染、虚拟现实、人体建模、城市地图等领域得到了广泛的应用。NeRF利用神经网络从输入图片集中学习三维场景的隐式表征,并合成高逼真的新视角图像。然而原始NeRF模型的训练和推理速度都很慢,难以在真实环境下部署与应用。针对NeRF的加速问题,研究者们从场景建模方法、光线采样策略等方面展开对NeRF进行提速的研究。该类工作大致可分为以下研究方向:烘焙模型、与离散表示方法结合、提高采样效率、利用哈希编码降低MLP网络复杂度、引入场景泛化性、引入深度监督信息和分解方法。通过介绍NeRF模型提出的背景,对上述思路的代表方法的优势与特点进行了讨论和分析,最后总结了NeRF相关工作在加速方面所取得的进展和对于未来的展望。

神经辐射场加速技术综述

神经辐射场(NeRF)技术可以从2D图像中学习场景的3D隐式模型,并合成出高清逼真新视角图像。该技术有着良好的应用前景,受到业界广泛关注。针对NeRF技术运算缓慢的问题,近两年业界研究者提出了各种加速技术。对现有加速技术进行了综述,分类梳理并分析了速度提升背后的技术机理和工程技巧,同时讨论了未来加速技术演进的方向。本研究有助于激发更高效算法的产生,从而推进NeRF技术在视觉内容生成及其他领域的应用。

基于SMPL的人物视频生成算法

人物视频的生成需要人物外观和人物运动两部分信息。现有算法大都使用人物关键点在2D平面内的运动趋势作为运动信息,生成视频的视角只能是固定的。为了生成多视角的人物视频,提出了基于SMPL的人物视频生成算法。算法首先使用NERF配合SMPL人体模型对人物进行3D建模,获取人物外观信息。随后,提取驱动视频中的SMPL人体模型参数作为人物的运动信息,驱动静态的人物3D模型。最后,使用NERF中的体渲染技术将人物3D模型映射到2D平面内,得到最终的人物视频。得益于SMPL模型的特点,生成的视频不仅可以任意切换视角,还可以任意修改人物的体型。

改进的神经渲染方法在建筑施工场景中的应用

针对神经辐射场(NeRF)应用于室外施工场景时,由于室外场景中光照难以捕捉和施工场景的前景背景范围差异过大,在新颖视图中会出现模糊和伪影等现象,通过分析提出改进的视觉合成方法。首先通过SFM算法从RGB图像中获得相机参数,实现对室外施工场景的表示;接着引入预训练编码器中生成的向量,并加入渲染网络中减少光照的影响;最终将图像中的前景与背景分离开进行体绘制渲染,从而提高视觉合成的效果。基于室外施工场景数据集,与3种方法进行比较,结果表明,所提方法在峰值信噪比(PSNR)和结构相似性(SSIM)中分别较其中最优方法提高12.2%与10.9%。整体看来,所提方法在室外施工场景中生成的新颖视图具有更好的细腻度。

基于真实环境的元宇宙场景搭建关键技术发展态势研究

基于真实物理环境构建的元宇宙场景是连接物理世界与数字世界的重要桥梁,也是实现数字孪生到虚实共生的重要途径。围绕三维重建、渲染等元宇宙场景搭建关键环节,总结了当前主流技术路径与创新态势,讨论了相关领域基于人工智能的优化提升以及神经渲染技术模型研究、理论优化等,分析了关键软硬件产品应用格局、创新方向,并提出了当下我国技术创新发展的建议。

基于时空运动特征的运动姿态视频检索方法

提出了一种人体运动姿态视频检索的新方法,整体算法分为典型姿态学习和姿态检索两个阶段。首先提取样本库中人体姿态的时空运动特征点作为姿态运动底层特征,一个姿态对应一个时空特征点集合;计算每个特征点的时空三维邻域中像素的梯度,进而为每个姿态建立一个梯度直方图;其次,采用非监督的聚类方法对姿态样本归类,按照语义要求提取多个典型姿态;最后,用基于EM的高斯混合模型对聚类结果建模,形成典型姿态检索的分类器,完成姿态建模的的学习阶段。运动姿态的视频检索是根据最大概率匹配准则,对输入的测试视频进行姿态匹配,从而实现基于语义的姿态检索。基于Weizmann和KTH标准测试视频库的大量实验结果表明,本文提出的方法能够准确有效地检索人体运动姿态。

基于可逆神经网络的神经辐射场水印

针对面向隐式表达的神经辐射场的3D模型的版权问题,将神经辐射场水印的嵌入与提取视为一对图像变换的逆问题,提出了一种利用可逆神经网络水印保护神经辐射场版权方案。利用二维图像的水印技术以实现对三维场景的保护,通过可逆网络中的正向过程在神经辐射场的训练图像中嵌入水印,利用逆向过程从神经辐射场渲染出的图像提取水印,实现对神经辐射场以及三维场景的版权保护。但神经辐射场在渲染过程中会造成水印信息丢失,为此设计了图像质量增强模块,将渲染图像通过神经网络进行恢复然后再进行水印提取。同时在每个训练图像中均嵌入水印来训练神经辐射场,实现在多个视角下均可提取水印信息。实验结果表明了提出的水印方案达到版权保护的目的,证明方案的可行性。

面向卫星遥感图像场景重建的神经辐射场方法综述

随着高分辨率卫星遥感图像成为认知地理空间不可或缺的重要手段,卫星遥感图像在城市建图、生态监测和导航等领域发挥着日益重要的作用,利用卫星遥感图像进行地球表面大规模3维重建成为了计算机视觉和摄影测量领域的研究热点。神经辐射场(NeRF)利用可微渲染学习场景的隐式表示,在复杂场景新视图合成任务中实现了逼真的视觉效果,并在3维场景重建和渲染领域获得了极大的关注。近期的研究主要集中在利用神经辐射场技术,从卫星遥感图像中提取场景表示及其重建。面向卫星遥感图像的神经辐射场方法主要集中在光线空间优化、场景表示优化以及模型高效训练3方面。该文全面归纳了神经辐射场技术在卫星遥感应用中的最新进展。首先介绍神经辐射场技术的基本概念及相关数据集。然后提出一个面向卫星遥感图像的神经辐射场方法分类框架,用于系统性地回顾和整理该技术在卫星遥感领域的研究进展。接着详述了神经辐射场技术在实际卫星遥感场景应用中的相关成果。最后,基于当前研究所面临的问题和挑战进行分析和讨论,同时对未来的发展趋势和研究方向进行了展望。