神经场整体性和增殖性研究与分析

信息几何是 2 0世纪 90年代初开始形成的理论 ,它将流形上的现代微分几何方法引入到神经计算科学中 ,为神经网络和信息论提供了十分有用的新的数学工具 ,也为大脑信息传输方式引入新的观念 以信息几何为工具 ,研究由全体神经网络组成的非线性空间神经场的整体不变性 ,分析和证明了神经场复杂结构的可分解性 ,提出了知识可增殖人工神经网络模型 其结果将有助于理解和解释人的感知系统的组织结构、定位机理和嵌入问题 ,提高神经网络复杂模型的研究水平和层次 ,挖掘认知科学在计算机模式上新的突破点 ;有助于增强神经网络的可理解性 。

粒计算模糊增殖神经场的研究与分析

针对现有人工神经网络学习新知识会破坏已获得知识的问题,根据生物智能扩展的思想,提出一种粒计算模糊增殖神经场学习方法,将粒计算商空间理论和人工神经场理论有机结合,并引入自治神经网络中,采用分治方法和嵌入机理,把大任务分成小任务,实现知识积累、继承和不断完善。实验结果证明了该方法的合理性和可行性。

具有ReLU函数的动力神经场方程稳定解的存在性

为进一步探索动力神经场的相关性质,将单调递增但是无界的ReLU函数作为阈值函数运用在一维的Amari动力神经场中,这与将单调有界的阶跃函数或Sigmoid型函数作为阈值函数的传统动力神经场研究不同。在不考虑输入,且相互作用核为高斯函数的情况下,对3种不同的稳定解进行研究,得出Amari动力神经场稳定解的存在条件和相关性质。

一维离散型核函数的神经场稳态解的研究

为研究交互核为离散型核函数的Amari动力神经场的稳态解的存在性和相关性质,给定阈值函数为单位阶跃函数,将核函数具体化,通过数学证明得出了带有离散型核函数的神经场方程稳态解的存在性,同时给出了在特定条件下,局部解半径的求法,并分析了局部解的稳定性。

矩形阈值函数神经场方程解的存在性与稳定性

为进一步研究高维空间中Amari动力神经场解的存在性和相关性质,在给定阈值函数为矩形函数的条件下,对动力神经场静态解的存在性和稳定性进行研究,得出了在相互作用核为DoG函数的情况下,动力神经场静态解的存在性和稳定性条件。

周围神经场刺激治疗背部手术失败综合征腰痛的随机对照试验

目的探讨周围神经场刺激(peripheral nerve field stimulation,PNFS)治疗背部手术失败综合征(failed back surgery syndrome,FBSS)腰痛的临床效果。方法选择2017年9月~2019年11月在本院就诊的38例FBSS患者作为研究对象,采用随机数字表法分为对照组和观察组各19例。对照组给予脊髓刺激(spinal cord stimulation,SCS)治疗,观察组在SCS治疗的基础上给予PNFS治疗。观察两组患者治疗过程中的并发症发生率,统计两组治疗前、治疗第3个月、第6个月时的腰痛VAS评分、腿痛VAS评分和ODI指数、欧洲生活质量五维量表(five dimensional scale of quality of life in Europe,EQ-5D)评分。结果治疗3个月、6个月时,两组腰痛VAS、腿痛VAS评分和ODI指数均较治疗前显著降低(P<0.05),观察组患者腰痛VAS、ODI低于同期对照组(P<0.05)。治疗3个月、6个月时,两组患者EQ-5D评分均较治疗前显著升高(P<0.05),且观察组EQ-5D评分显著高于对照组(P<0.05)。结论SCS联合PNFS治疗FBSS可改善患者的腰部疼痛程度,减轻其功能障碍,提高整体生活质量。

基于神经辐射场的苗期作物三维建模和表型参数获取

苗期作物三维结构的精准高效重建是获取表型信息的重要基础。传统的三维重建大多基于运动恢复结构-多视图立体视觉(Structure from motion and multi-view stereo,SFM-MVS)算法,计算成本高,难以满足快速获取表型参数的需求。本研究提出一种基于神经辐射场(Neural radiance fields,NeRF)的苗期作物三维建模和表型参数获取系统,利用手机获取不同视角下的RGB影像,通过NeRF算法完成三维模型的构建。在此基础上,利用点云库(Point cloud library,PCL)中的直线拟合和区域生长等算法自动分割植株,并采用距离最值遍历、圆拟合和三角面片化等算法实现了精准测量植株的株高、茎粗和叶面积等表型参数。为评估该方法的重建效率和表型参数测量精度,本研究分别选取辣椒、番茄、草莓和绿萝的苗期植株作为试验对象,对比NeRF算法与SFM-MVS算法的重建结果。结果表明,以SFM-MVS方法重建点云为基准,NeRF方法重建的各植株点云点对距离均方根误差仅为0.128~0.395 cm,两者重建质量较接近,但在重建速度方面,本文研究方法相比于SFM-MVS方法平均重建速度提高700%。此外,该方法提取辣椒苗株高、茎粗决定系数(R^(2))分别为0.971和0.907,均方根误差(RMSE)分别为0.86 cm和0.017 cm,对各苗期植株叶面积提取的R^(2)为0.909~0.935,RMSE为0.75~3.22 cm^(2),具有较高的测量精度。本研究提出的方法可以显著提高三维重建和表型参数获取效率,从而为作物育种选苗提供更为高效的技术手段。

神经辐射场多视图合成技术综述

如何从图像中渲染出较为真实的虚拟场景一直是计算机图形学与计算机视觉领域的研究目标之一。神经辐射场是一种基于深度神经网络的新兴方法,它通过学习场景中每个点的辐射场来实现较为真实的渲染效果。通过神经辐射场不仅可以生成逼真的图像,而且可以生成具有真实感的三维场景,在虚拟现实、增强现实和计算机游戏等领域有着广泛的应用前景。然而,其基础模型存在训练效率低、泛化能力差、可解释性不足、易受光照和材质变化影响以及无法处理动态场景等问题,在某些情况下无法获得最佳的渲染结果。大量基于此研究的工作陆续展开,且在效率和精度等方面都取得了出色的成果。为了跟踪该领域最新研究成果,对近年来神经辐射场领域的关键算法进行回顾和综述。首先介绍了神经辐射场的产生背景及原理,对后续关键改进模型进行分类探讨。主要涵盖以下几个方面:对神经辐射场基本模型参数的优化,在渲染速度与推理能力方面的提升,对空间表达和光照能力的改善,针对静态场景相机位姿估计与稀疏视图合成方法的改进,以及在动态场景建模领域的发展。对各种模型的速度与性能进行分类对比与分析,并简要介绍了该领域主要模型评估指标与公开数据集。最后对神经辐射场未来发展趋势进行展望。

面向卫星遥感图像场景重建的神经辐射场方法综述

随着高分辨率卫星遥感图像成为认知地理空间不可或缺的重要手段,卫星遥感图像在城市建图、生态监测和导航等领域发挥着日益重要的作用,利用卫星遥感图像进行地球表面大规模3维重建成为了计算机视觉和摄影测量领域的研究热点。神经辐射场(NeRF)利用可微渲染学习场景的隐式表示,在复杂场景新视图合成任务中实现了逼真的视觉效果,并在3维场景重建和渲染领域获得了极大的关注。近期的研究主要集中在利用神经辐射场技术,从卫星遥感图像中提取场景表示及其重建。面向卫星遥感图像的神经辐射场方法主要集中在光线空间优化、场景表示优化以及模型高效训练3方面。该文全面归纳了神经辐射场技术在卫星遥感应用中的最新进展。首先介绍神经辐射场技术的基本概念及相关数据集。然后提出一个面向卫星遥感图像的神经辐射场方法分类框架,用于系统性地回顾和整理该技术在卫星遥感领域的研究进展。接着详述了神经辐射场技术在实际卫星遥感场景应用中的相关成果。最后,基于当前研究所面临的问题和挑战进行分析和讨论,同时对未来的发展趋势和研究方向进行了展望。

面向神经辐射场的水印算法

针对隐式表示的3D模型的版权保护问题,提出了一种面向神经辐射场(NeRF)的水印算法。该算法通过嵌入网络对训练集中的图像嵌入水印,再利用NeRF模型进行3D模型建模。版权验证方通过给定一个秘密视角作为神经辐射场的输入,生成新视角下的图像作为后门图像,接着利用神经网络的过参数化方法设计一个水印提取器,获取该视角下嵌入的水印图像。在黑盒场景下,一旦怀疑3D模型被未经授权地使用,验证方则可以通过秘密视角提取水印以验证网络版权。实验结果表明,所提算法提取水印不仅具有良好的视觉效果,而且对不同类型的噪声攻击具有较好的抵抗能力。

基于可逆神经网络的神经辐射场水印

针对面向隐式表达的神经辐射场的3D模型的版权问题,将神经辐射场水印的嵌入与提取视为一对图像变换的逆问题,提出了一种利用可逆神经网络水印保护神经辐射场版权方案。利用二维图像的水印技术以实现对三维场景的保护,通过可逆网络中的正向过程在神经辐射场的训练图像中嵌入水印,利用逆向过程从神经辐射场渲染出的图像提取水印,实现对神经辐射场以及三维场景的版权保护。但神经辐射场在渲染过程中会造成水印信息丢失,为此设计了图像质量增强模块,将渲染图像通过神经网络进行恢复然后再进行水印提取。同时在每个训练图像中均嵌入水印来训练神经辐射场,实现在多个视角下均可提取水印信息。实验结果表明了提出的水印方案达到版权保护的目的,证明方案的可行性。

神经辐射场加速算法综述

近年来,神经辐射场(NeRF)已成为计算机图形学和计算机视觉领域中一个重要的研究方向,因其高逼真的视觉合成效果,在真实感渲染、虚拟现实、人体建模、城市地图等领域得到了广泛的应用。NeRF利用神经网络从输入图片集中学习三维场景的隐式表征,并合成高逼真的新视角图像。然而原始NeRF模型的训练和推理速度都很慢,难以在真实环境下部署与应用。针对NeRF的加速问题,研究者们从场景建模方法、光线采样策略等方面展开对NeRF进行提速的研究。该类工作大致可分为以下研究方向:烘焙模型、与离散表示方法结合、提高采样效率、利用哈希编码降低MLP网络复杂度、引入场景泛化性、引入深度监督信息和分解方法。通过介绍NeRF模型提出的背景,对上述思路的代表方法的优势与特点进行了讨论和分析,最后总结了NeRF相关工作在加速方面所取得的进展和对于未来的展望。

基于神经辐射场的室外去遮挡快速重建算法

三维重建和渲染是虚拟现实的关键技术,如何提高三维重建的质量并降低三维重建的成本是虚拟现实的重要问题。神经辐射场可以在保证高质量重建的同时降低重建的门槛,使得用户仅仅通过手机相机等移动设备采集多视角图像,就可以重建出照片级真实度的物体和场景。然而神经辐射场的重建效果依赖于实验室理想环境中采集的数据。在真实室外环境中,重建场景中会出现暂态物体遮挡,并且用户对重建的速度有较高的要求,这两点神经辐射场均不能很好地处理。针对这两点局限,提出了一种神经辐射场的改进模型FoRF,结合多分辨率哈希编码并修改网络结构以加快建模速度,引入暂态嵌入以处理神经辐射场无法处理暂态物体遮挡的问题。分别在开源数据集、手机拍摄的数据集上进行了实验。实验结果证明了本文模型能够使用移动设备采集的图像重建场景,并具有快速建模和消除暂态物体遮挡对重建结果影响的能力。

基于相机位姿恢复与神经辐射场理论的果树三维重建方法

针对传统立体视觉三维重建技术难以准确表征果树多尺度复杂表型细节的问题,该研究提出了一种基于相机位姿恢复技术与神经辐射场理论的果树三维重建方法,设计了一套适用于标准果园环境的果树图像采集设备和采集方案。首先,环绕拍摄果树全景视频并以抽帧的方式获取果树多视角图像;其次,使用运动结构恢复算法进行稀疏重建以计算果树图像位姿;然后,训练果树神经辐射场,将附有位姿的多视角果树图像进行光线投射法分层采样和位置编码后输入多层感知机,通过体积渲染监督训练过程以获取收敛且能反映果树真实形态的辐射场;最后,导出具有高精度与高表型细节的果树三维实景点云模型。试验表明,该研究构建的果树点云能准确表征从植株尺度的枝干、叶冠等宏观结构到器官尺度的果实、枝杈、叶片乃至叶柄、叶斑等微观结构。果树整体精度达到厘米级,其中胸径、果径等参数达到毫米级精度,尺度一致性误差不超过5%。相较于传统的立体视觉三维重建方法,重建时间缩短39.50%,树高、冠幅、胸径和地径4个树形参数的尺度一致性误差分别降低了77.06%、83.61%、45.47%和62.23%。该方法能构建具有高精度、高表型细节的果树点云模型,为数字果树技术的应用奠定基础。

基于神经辐射场的多尺度视图合成研究

针对神经辐射场(NeRF)在多尺度的视图合成任务中产生模糊和锯齿的问题,提出一种融合不同尺度的视图特征和视点特征作为先验提高合成目标视图质量的多尺度神经辐射场(MS-NeRF)。首先,对于不同尺度的目标视图,利用多级小波卷积神经网络提取目标视图特征,将视图特征作为先验对网络合成目标场景视图进行监督。其次,扩大视点相机发出的光线在目标视图像素点上的采样面积,避免在每个像素上只对单束光线进行采样导致渲染结果产生模糊和锯齿。最后,在训练时加入不同尺度的视图特征和视点特征,提升网络合成不同尺度视图的泛化能力,并利用渐进式结构的深度神经网络拟合视图特征和视点特征到目标视图的映射关系。实验结果表明,与相关方法相比,MS-NeRF减少了训练成本,提升了合成目标视图的视觉效果。

面向自动驾驶场景的神经辐射场综述

神经辐射场(NeRF)是一种可用于重建真实的视觉效果以及合成新颖视角的关键技术,其主要是通过摄像机捕获的二维图像数据来渲染合成三维场景,将已知视角推理到未知视角下使得用户可从不同视角观看合成视图,增强人机交互感。作为一种新颖视角合成的三维重建方法,神经辐射场技术在机器人、自动驾驶、虚拟现实和数字孪生等领域具有重要的研究与应用价值。通过NeRF技术与自动驾驶场景相结合,可实现对复杂驾驶场景的高质量重建,并模拟恶劣情况下的不同场景,从而丰富自动驾驶的训练数据,以较低成本提高自动驾驶系统的准确性和安全性,并验证自动驾驶算法的有效性。鉴于目前NeRF在自动驾驶场景有重要的应用前景以及现有的相关综述较少,首先,从传统的显式三维场景表征方法出发,引入场景的隐式表征方法——NeRF,并介绍了NeRF技术的原理;其次,对于NeRF与自动驾驶场景相结合所面临的挑战进行了探讨和分析,其中包括稀疏视角重建、大尺度场景重建、运动场景、训练加速以及合成自动驾驶场景的问题;最后,对NeRF技术进行总结,以及展望其未来发展方向。

改进的神经渲染方法在建筑施工场景中的应用

针对神经辐射场(NeRF)应用于室外施工场景时,由于室外场景中光照难以捕捉和施工场景的前景背景范围差异过大,在新颖视图中会出现模糊和伪影等现象,通过分析提出改进的视觉合成方法。首先通过SFM算法从RGB图像中获得相机参数,实现对室外施工场景的表示;接着引入预训练编码器中生成的向量,并加入渲染网络中减少光照的影响;最终将图像中的前景与背景分离开进行体绘制渲染,从而提高视觉合成的效果。基于室外施工场景数据集,与3种方法进行比较,结果表明,所提方法在峰值信噪比(PSNR)和结构相似性(SSIM)中分别较其中最优方法提高12.2%与10.9%。整体看来,所提方法在室外施工场景中生成的新颖视图具有更好的细腻度。

AI三维场景赋能地理教学--以“地域文化与城乡景观”为例

神经辐射场(NeRF)是一种面向三维隐式空间建模的深度学习模型,能够直观生动地呈现地理课程内容。本文以培育学生地理实践力与人地协调观为目的,使用无人机采集福建土楼影像,利用神经辐射场生成的AI三维场景,并将其运用于“地域文化与城乡景观”的教学中,从而提高教学的可视性、趣味性和实效性。

基于Jetson Nano的隐式场景表征重建方法

随着计算机视觉和边缘计算技术的不断发展,对于复杂场景的高效重建与表征成为了研究的热点之一。本研究提出了一种基于Jetson Nano的隐式场景表征重建方法,旨在通过深度学习和边缘计算技术的有机结合,实现对复杂场景的高效重建与表征。本研究是基于Jetson Nano边缘计算平台,将RGBD相机与其连接,通过网络传输将采集的数据存储于云端。本研究采用了一种创新性的隐式表示模型,通过函数对场景信息进行紧凑而高效的表征。该方法在Jetson Nano边缘计算平台上通过统一计算设备架构(Compute Unified Device Architecture,CUDA)和深度学习推理引擎(Turing Tensor R-Engine,TensorRT)优化,进一步提升了计算效率。结合隐式神经网络和同步定位与地图构建(Simultaneous Localization And Mapping,SLAM)技术,成功实现了三维场景的精准重建,相机追踪中绝对轨迹误差的均方根误差平均值达到了1.87,在各个场景的表现均具有鲁棒性。

针对高亮物体的高效神经隐式表面重建

神经隐式表面(Neural Implicit Surface)一直是近年来计算机视觉的热门研究方向。许多工作通过扩展神经辐射场的体渲染管线实现了从二维图像和相机位姿作为输入,在无需三维监督信息下重建高质量三维物体形状。但是,由于利用二维图像进行训练监督,这些方法难以对高亮物体的形状进行合理的推理,其原因是因为物体材质和环境光照所产生的模糊性。本文提出一种针对高亮物体的高效表面重建方法,通过权重插值辐射场(Radiance Field)与反射场(Reflection Field)的方式使得可以更好地表达高亮物体的外观。同时,本文引入了一种渲染损失的方法来缓解高光反射带来的多视角不一致问题,并且引入了两种针对物体法向量的正则化来缓解混合神经场梯度噪声的问题。本工作通过渐进式的训练范式分别对三种数据集进行了实验,实验表明,本方法在多视角合成和高亮物体表面重建任务上都超越了基准模型,并且在训练速度上比基准模型快一个量级。