基于神经辐射场的苗期作物三维建模和表型参数获取

苗期作物三维结构的精准高效重建是获取表型信息的重要基础。传统的三维重建大多基于运动恢复结构-多视图立体视觉(Structure from motion and multi-view stereo,SFM-MVS)算法,计算成本高,难以满足快速获取表型参数的需求。本研究提出一种基于神经辐射场(Neural radiance fields,NeRF)的苗期作物三维建模和表型参数获取系统,利用手机获取不同视角下的RGB影像,通过NeRF算法完成三维模型的构建。在此基础上,利用点云库(Point cloud library,PCL)中的直线拟合和区域生长等算法自动分割植株,并采用距离最值遍历、圆拟合和三角面片化等算法实现了精准测量植株的株高、茎粗和叶面积等表型参数。为评估该方法的重建效率和表型参数测量精度,本研究分别选取辣椒、番茄、草莓和绿萝的苗期植株作为试验对象,对比NeRF算法与SFM-MVS算法的重建结果。结果表明,以SFM-MVS方法重建点云为基准,NeRF方法重建的各植株点云点对距离均方根误差仅为0.128~0.395 cm,两者重建质量较接近,但在重建速度方面,本文研究方法相比于SFM-MVS方法平均重建速度提高700%。此外,该方法提取辣椒苗株高、茎粗决定系数(R~2)分别为0.971和0.907,均方根误差(RMSE)分别为0.86 cm和0.017 cm,对各苗期植株叶面积提取的R~2为0.909~0.935,RMSE为0.75~3.22 cm~2,具有较高的测量精度。本研究提出的方法可以显著提高三维重建和表型参数获取效率,从而为作物育种选苗提供更为高效的技术手段。

神经辐射场多视图合成技术综述

如何从图像中渲染出较为真实的虚拟场景一直是计算机图形学与计算机视觉领域的研究目标之一。神经辐射场是一种基于深度神经网络的新兴方法,它通过学习场景中每个点的辐射场来实现较为真实的渲染效果。通过神经辐射场不仅可以生成逼真的图像,而且可以生成具有真实感的三维场景,在虚拟现实、增强现实和计算机游戏等领域有着广泛的应用前景。然而,其基础模型存在训练效率低、泛化能力差、可解释性不足、易受光照和材质变化影响以及无法处理动态场景等问题,在某些情况下无法获得最佳的渲染结果。大量基于此研究的工作陆续展开,且在效率和精度等方面都取得了出色的成果。为了跟踪该领域最新研究成果,对近年来神经辐射场领域的关键算法进行回顾和综述。首先介绍了神经辐射场的产生背景及原理,对后续关键改进模型进行分类探讨。主要涵盖以下几个方面:对神经辐射场基本模型参数的优化,在渲染速度与推理能力方面的提升,对空间表达和光照能力的改善,针对静态场景相机位姿估计与稀疏视图合成方法的改进,以及在动态场景建模领域的发展。对各种模型的速度与性能进行分类对比与分析,并简要介绍了该领域主要模型评估指标与公开数据集。最后对神经辐射场未来发展趋势进行展望。

神经辐射场加速算法综述

近年来,神经辐射场(NeRF)已成为计算机图形学和计算机视觉领域中一个重要的研究方向,因其高逼真的视觉合成效果,在真实感渲染、虚拟现实、人体建模、城市地图等领域得到了广泛的应用。NeRF利用神经网络从输入图片集中学习三维场景的隐式表征,并合成高逼真的新视角图像。然而原始NeRF模型的训练和推理速度都很慢,难以在真实环境下部署与应用。针对NeRF的加速问题,研究者们从场景建模方法、光线采样策略等方面展开对NeRF进行提速的研究。该类工作大致可分为以下研究方向:烘焙模型、与离散表示方法结合、提高采样效率、利用哈希编码降低MLP网络复杂度、引入场景泛化性、引入深度监督信息和分解方法。通过介绍NeRF模型提出的背景,对上述思路的代表方法的优势与特点进行了讨论和分析,最后总结了NeRF相关工作在加速方面所取得的进展和对于未来的展望。

基于相机位姿恢复与神经辐射场理论的果树三维重建方法

针对传统立体视觉三维重建技术难以准确表征果树多尺度复杂表型细节的问题,该研究提出了一种基于相机位姿恢复技术与神经辐射场理论的果树三维重建方法,设计了一套适用于标准果园环境的果树图像采集设备和采集方案。首先,环绕拍摄果树全景视频并以抽帧的方式获取果树多视角图像;其次,使用运动结构恢复算法进行稀疏重建以计算果树图像位姿;然后,训练果树神经辐射场,将附有位姿的多视角果树图像进行光线投射法分层采样和位置编码后输入多层感知机,通过体积渲染监督训练过程以获取收敛且能反映果树真实形态的辐射场;最后,导出具有高精度与高表型细节的果树三维实景点云模型。试验表明,该研究构建的果树点云能准确表征从植株尺度的枝干、叶冠等宏观结构到器官尺度的果实、枝杈、叶片乃至叶柄、叶斑等微观结构。果树整体精度达到厘米级,其中胸径、果径等参数达到毫米级精度,尺度一致性误差不超过5%。相较于传统的立体视觉三维重建方法,重建时间缩短39.50%,树高、冠幅、胸径和地径4个树形参数的尺度一致性误差分别降低了77.06%、83.61%、45.47%和62.23%。该方法能构建具有高精度、高表型细节的果树点云模型,为数字果树技术的应用奠定基础。

面向自动驾驶场景的神经辐射场综述

神经辐射场(NeRF)是一种可用于重建真实的视觉效果以及合成新颖视角的关键技术,其主要是通过摄像机捕获的二维图像数据来渲染合成三维场景,将已知视角推理到未知视角下使得用户可从不同视角观看合成视图,增强人机交互感。作为一种新颖视角合成的三维重建方法,神经辐射场技术在机器人、自动驾驶、虚拟现实和数字孪生等领域具有重要的研究与应用价值。通过NeRF技术与自动驾驶场景相结合,可实现对复杂驾驶场景的高质量重建,并模拟恶劣情况下的不同场景,从而丰富自动驾驶的训练数据,以较低成本提高自动驾驶系统的准确性和安全性,并验证自动驾驶算法的有效性。鉴于目前NeRF在自动驾驶场景有重要的应用前景以及现有的相关综述较少,首先,从传统的显式三维场景表征方法出发,引入场景的隐式表征方法——NeRF,并介绍了NeRF技术的原理;其次,对于NeRF与自动驾驶场景相结合所面临的挑战进行了探讨和分析,其中包括稀疏视角重建、大尺度场景重建、运动场景、训练加速以及合成自动驾驶场景的问题;最后,对NeRF技术进行总结,以及展望其未来发展方向。

基于神经辐射场的多尺度视图合成研究

针对神经辐射场(NeRF)在多尺度的视图合成任务中产生模糊和锯齿的问题,提出一种融合不同尺度的视图特征和视点特征作为先验提高合成目标视图质量的多尺度神经辐射场(MS-NeRF)。首先,对于不同尺度的目标视图,利用多级小波卷积神经网络提取目标视图特征,将视图特征作为先验对网络合成目标场景视图进行监督。其次,扩大视点相机发出的光线在目标视图像素点上的采样面积,避免在每个像素上只对单束光线进行采样导致渲染结果产生模糊和锯齿。最后,在训练时加入不同尺度的视图特征和视点特征,提升网络合成不同尺度视图的泛化能力,并利用渐进式结构的深度神经网络拟合视图特征和视点特征到目标视图的映射关系。实验结果表明,与相关方法相比,MS-NeRF减少了训练成本,提升了合成目标视图的视觉效果。

3D场景表征—神经辐射场(NeRF)近期成果综述

场景三维空间感知建模和基于先验的内容重现一直是信息技术围绕人类交互体验的重要努力方向,也是元宇宙和增强现实等数字和现实世界纽带构建技术的核心基础。当前,随着深度学习驱动的信息技术快速发展,特别是神经辐射场兴起,作为建模和内容重现的核心—场景表征技术得到了跨越式发展。本文首先总结了不同表征技术的应用背景和近期基于深度学习所取得的进展;其次,对神经辐射场近期的重要成果进行了梳理和阐述;然后,就神经辐射场的场景构建和交叉领域研究的分析,揭示了显性空间和语义挖掘对神经辐射场的重要价值;最后,结合近期显性空间和语义挖掘中的重要发展方向,单视图3D场景感知,面临的挑战和神经辐射场相关研究展现的裨益,揭示了基于神经辐射场对场景三维空间感知建模和基于先验的内容重现发展带来的机遇。

基于频带特性的小波神经网络天线辐射场建模

针对外场复杂电磁环境下,传统神经网络方法在建模时极易受噪声影响而陷入局部最优,发生过拟合等问题,提出一种采用采样理论算法的小波神经网络建模方法。通过对小波神经网络和阵列天线辐射场频带特性的分析,证明了提出的改进方法可以有效降低噪声对模型影响,防止神经网络发生过拟合。仿真将改进方法与基于正则化技术的RBF神经网络建模方法进行对比,实验结果表明,改进的建模方法具有更强的抗噪能力,并对噪声的变化具有鲁棒性。

改进的神经渲染方法在建筑施工场景中的应用

针对神经辐射场(NeRF)应用于室外施工场景时,由于室外场景中光照难以捕捉和施工场景的前景背景范围差异过大,在新颖视图中会出现模糊和伪影等现象,通过分析提出改进的视觉合成方法。首先通过SFM算法从RGB图像中获得相机参数,实现对室外施工场景的表示;接着引入预训练编码器中生成的向量,并加入渲染网络中减少光照的影响;最终将图像中的前景与背景分离开进行体绘制渲染,从而提高视觉合成的效果。基于室外施工场景数据集,与3种方法进行比较,结果表明,所提方法在峰值信噪比(PSNR)和结构相似性(SSIM)中分别较其中最优方法提高12.2%与10.9%。整体看来,所提方法在室外施工场景中生成的新颖视图具有更好的细腻度。

基于NeRF的树木数字化重建

我国有数量巨大的古树和城市大树,如何合理构建树木数字化模型,是评估树木抗风能力和安全性的重要前提。鉴于风向的多变性,需要基于该模型能够从任意角度获得树木树冠的各项数据。由于激光雷达价格高昂、专业性强,不便于大规模推广,采用便宜、简便的手机拍摄树木图像。鉴于传统的图像三维重建技术不适合树木这样结构复杂、高反射率、多孔的物体,采用NeRF(神经辐射场)技术,利用体素进行模型体渲染,对树木进行三维数字化重建,为从任意角度获得树木图像和树冠参数打下基础。同时,采用NeRF的instant-ngp加速算法,分析研究了背景、光照条件、图像数量等因素对建模质量的影响。研究结果表明,基于NeRF的树木数字化重建方法能有效避免传统三维重建的空洞、变形等问题,是一种可行的树木三维数字化模型构建方法。

基于神经辐射场的视点合成算法综述

基于图像的视点合成技术在计算机图形学与计算机视觉领域均有广泛的应用,如何利用输入图像的信息对三维模型或者场景进行表达是其中的关键问题。最近,随着神经辐射场这一表示方式的提出,大量基于此表示方法的研究工作对该方法进行了进一步优化和扩展,在准确性、高效性等方面取得了良好的成果。该类研究工作可以根据研究目的大致分为两大类:对神经辐射场算法本身的分析以及优化,和基于神经辐射场框架的扩展及延伸。第一类研究工作对神经辐射场这一表示方法的理论性质和不足进行了分析,并提出了优化的策略,包括对合成精度的优化、对绘制效率的优化以及对模型泛用性的优化。第二类研究工作则以神经辐射场的框架为基础,对算法进行了扩展和延伸,使其能够解决更加复杂的问题,包括无约束拍摄条件下的视点合成、可进行重光照的视点合成以及对于动态场景的视点合成。在介绍了神经辐射场模型提出的背景之后,对以其为基础的其他相关工作按照上述分类进行了讨论和分析,最后总结了神经辐射场方法面对的挑战和对未来的展望。

基于NeRF的城市实景高精度三维建模技术

为了更好地将NeRF高精度三维建模应用于城市实景三维数字化重建,本文基于NeRF技术将大型场景划分为子NeRF,通过在场景内构造多个正八面体初始化多边形网格,并在训练过程中不断优化多边形面的顶点。训练完成后,得到编码器-解码器网络的权重,通过顶点优化对每个独立块进行不同层次的多边形网格细化。从视图范围捕获城市概览的卫星级图像到显示建筑复杂细节的地面级图像变化,构建面向城市细节层级(level-of-detail)和空间覆盖范围的多尺度数据,通过渐进式学习(progressive learning)神经网络体素渲染模型,使用多层感知器(MLP)实现体积密度和颜色的参数化,采用分层抽样方法实现预定义视角近平面和远平面之间光线的排序距离向量,实现大规模场景的实时交互式渲染。然后将GIS与NeRF相融合,为多数据融合、查询、分析、测量、标注和共享等任务提供了全新的解决方案,实现即时、流畅地拖拽、缩放和360°无死角地浏览和观看场景,这种融合可以轻松地将各种数据源整合,应用于城市规划、土地管理和环境监测等三维场景中,以进行空间分析。

基于改进多层感知机的神经辐射场三维重建方法

相比传统的三维重建方法,神经辐射场(NeRF)在隐式三维重建方面显示出了优异的性能,然而简单的多层感知机(MLP)模型在采样过程中缺乏局部信息,产生细节模糊的三维重建场景。为解决这一问题,提出一种基于MLP的多特征联合学习方法。首先,在NeRF嵌入层和采样层之间构造多特征联合学习(MFJL)模块,有效解码输入的多视图编码数据,补充MLP模型缺失的局部特征信息。然后,在NeRF采样层和推理层之间建立门控通道变换多层感知机(GCTMLP)模块,学习高阶特征交互关系,并控制反馈给MLP层的信息流,实现对歧义特征的选择。实验结果表明:所提基于改进MLP的神经辐射场可以避免三维重建中的视图模糊和混叠现象;在Real Forward-Facing数据集部分场景上的平均峰值信噪比(PSNR)、结构相似度(SSIM)、学习感知图像块相似度(LPIPS)分别为28.08 dB、0.887、0.061;在Realistic Synthetic 360°数据集部分场景上的PSNR、SSIM、LPIPS分别为32.75 dB、0.960、0.026;在DTU数据集部分场景上的PSNR、SSIM、LPIPS分别为25.96 dB、0.807、0.208;与NeRF相比,具有更好的视图重建性能,并且在主观视觉效果上得到更加清晰的图像和细节纹理特征。

超高效液相色谱-高分辨质谱测定大鼠血清中神经递质及其在电离辐射脑损伤动物模型中的应用

建立了超高效液相色谱-四极杆-静电场轨道阱高分辨质谱(UPLC-Q-Orbitrap HRMS)法快速分析大鼠血清中10种神经递质。以0.1%甲酸-乙腈为沉淀剂,采用蛋白沉淀法进行血清中蛋白质大分子的沉淀和目标分析物的高效萃取。建立目标分析物的精确质量数据库(质荷比、保留时间、同位素峰分布及特征碎片离子)和二级质谱库进行精准匹配鉴定,外标法定量。结果表明,该方法的基质效应为62.4%~112.2%,相对标准偏差(RSD)为1.9%~10.1%;回收率为73.6%~104.2%,RSD为2.6%~10.6%;线性关系良好,相关系数(R^(2))均大于0.99,检出限及定量限分别为0.05~11.63 nmol/L和0.09~46.50 nmol/L;标准溶液、质控样本及血清样本的稳定性可满足生物样本的分析要求;稀释效应的准确度为5.1%~10.6%,精密度为1.1%~5.3%,均在±15%范围之内;在高浓度样本连续进样3次后分析初始流动相,残留效应为0.4%~4.6%,符合生物样本的分析要求。此外,将本方法应用于电离辐射致脑损伤大鼠血清中神经递质代谢的研究,结果表明,电离辐射导致血清中神经递质代谢紊乱,该结果可为电离辐射损伤的生物标志物筛选提供依据。

基于NeRF的文物建筑数字化重建

文物古迹建筑在历史的发展中不断丢失其本身的特征,在时间的推移中不断改变或消失。因此,如何精确的测量保存当前文物的历史风貌是一个亟需解决的问题。数字化建模可以最大程度地保存文物在当前时期的外观特征,因此将数字化建模应用到文物重建中具有重要意义。文物重建任务中用到的大多依旧是传统的基于视觉的重建方法,这种方法一般需要多个视点图像,并且负担极高的时间成本,对于大量文物古迹的重建与更新是不够高效的。针对这一问题,文章通过无人机拍摄遥感影像完成数据采集,引入神经辐射场(Neural Radiance Fields,NeRF)方法进行文物古迹的数字化重建,构建体素,完成目标渲染。该方法可以在10min左右实现较好的重建效果,并且避免传统网格重建结果中孔洞的出现,给文物古迹建筑的重建提供了新的思路。

基于LD特征引导NeRF的可操控语音驱动人脸重演

语音驱动的人脸重演的目标是通过输入一段任意语音,驱动目标人物重演相应表情。现有方法无法仅以一段自然场景下视频作为训练素材,实现可操控的高保真语音驱动人脸重演,为此,提出了一种基于LD特征的语音驱动人脸重演方法。首先,对输入视频进行人脸对齐,检测人脸关键点并提取LD特征;然后,通过音频特征提取模块将输入音频映射为一段64维的潜码,构建基于多层感知机的编码器和解码器,由解码器将潜码解码为LD特征后,通过编码器将其还原为潜码表示;接着,将更新后的潜码输入基于网格的NeRF获得采样点密度和颜色,通过体绘制输出头部重演RGB帧;同时,将姿势输入身体变形模块,合成重演帧的身体部分。实验结果证明,方法能够根据输入语音内容生成高保真重演结果,并且在重演过程中能够对目标人物的面部表情进行个性化控制。

基于真实环境的元宇宙场景搭建关键技术发展态势研究

基于真实物理环境构建的元宇宙场景是连接物理世界与数字世界的重要桥梁,也是实现数字孪生到虚实共生的重要途径。围绕三维重建、渲染等元宇宙场景搭建关键环节,总结了当前主流技术路径与创新态势,讨论了相关领域基于人工智能的优化提升以及神经渲染技术模型研究、理论优化等,分析了关键软硬件产品应用格局、创新方向,并提出了当下我国技术创新发展的建议。

面向卫星遥感图像场景重建的神经辐射场方法综述

随着高分辨率卫星遥感图像成为认知地理空间不可或缺的重要手段,卫星遥感图像在城市建图、生态监测和导航等领域发挥着日益重要的作用,利用卫星遥感图像进行地球表面大规模3维重建成为了计算机视觉和摄影测量领域的研究热点。神经辐射场(NeRF)利用可微渲染学习场景的隐式表示,在复杂场景新视图合成任务中实现了逼真的视觉效果,并在3维场景重建和渲染领域获得了极大的关注。近期的研究主要集中在利用神经辐射场技术,从卫星遥感图像中提取场景表示及其重建。面向卫星遥感图像的神经辐射场方法主要集中在光线空间优化、场景表示优化以及模型高效训练3方面。该文全面归纳了神经辐射场技术在卫星遥感应用中的最新进展。首先介绍神经辐射场技术的基本概念及相关数据集。然后提出一个面向卫星遥感图像的神经辐射场方法分类框架,用于系统性地回顾和整理该技术在卫星遥感领域的研究进展。接着详述了神经辐射场技术在实际卫星遥感场景应用中的相关成果。最后,基于当前研究所面临的问题和挑战进行分析和讨论,同时对未来的发展趋势和研究方向进行了展望。

基于可逆神经网络的神经辐射场水印

针对面向隐式表达的神经辐射场的3D模型的版权问题,将神经辐射场水印的嵌入与提取视为一对图像变换的逆问题,提出了一种利用可逆神经网络水印保护神经辐射场版权方案。利用二维图像的水印技术以实现对三维场景的保护,通过可逆网络中的正向过程在神经辐射场的训练图像中嵌入水印,利用逆向过程从神经辐射场渲染出的图像提取水印,实现对神经辐射场以及三维场景的版权保护。但神经辐射场在渲染过程中会造成水印信息丢失,为此设计了图像质量增强模块,将渲染图像通过神经网络进行恢复然后再进行水印提取。同时在每个训练图像中均嵌入水印来训练神经辐射场,实现在多个视角下均可提取水印信息。实验结果表明了提出的水印方案达到版权保护的目的,证明方案的可行性。

面向机器人手术模拟器的神经辐射场软组织动态三维重建

构建了一种基于自监督的框架,该框架从单目立体内窥镜视频中提取多视图图像,利用图像中的底层三维(3D)信息构建对象的几何约束,实现软组织结构的准确重建。基于分割任意场景模型对内窥镜下的动态手术器械、静态腹腔场景及可形变软组织结构进行分割解耦。该框架利用简单的神经网络多层感知机来表示动态神经辐射场(NeRF)中运动手术器械和形变软组织结构,基于偏斜熵损失对手术场景中的手术器械、腔体场景和软组织结构进行正确分离。在通过使用单目立体内窥镜捕获机器人手术模拟器场景的数据集上,将所提方法的结果与其他方法进行定量定性比较。结果表明本文方法在处理腹腔体场景、软组织结构重建、手术器械的分割解耦,以及来自多视点的3D信息和运动对象的图像分割等方面显著优于当前的方法。