基于隐式神经表示的模型隐写方案

可视数据(图像、视频、3D模型)的隐式表达已经成为当前计算机视觉研究的热点,提出了一种新的基于隐式神经表示的模型隐写方案,消息发送方利用神经辐射场(neural radiance fields,NeRF)新视角合成的特性,通过引入一个视角作为密钥,由NeRF模型生成秘密视角图像作为后门,然后利用过拟合的方法训练一个消息提取器,以建立秘密消息和秘密视角图像的一一映射。发送方将训练好的NeRF模型和消息提取器通过公开信道传递给接收方,接收方利用双方共享的密钥,由NeRF模型获得秘密视角下的渲染图像,再通过消息提取器获得秘密消息。而攻击方因无法准确掌握该视角信息,从而无法窃取秘密消息。实验结果证明:所训练的消息提取器实现大容量快速隐写,消息嵌入量达100%,同时NeRF巨大的视角密钥空间保证了该方案的隐蔽性。

基于邻域表面特征的隐式神经表示方法

隐式神经表示能够实现任意分辨率下的表面重建。现有方法仅使用了坐标信息,未考虑到其邻域表面上的特征对局部形状的贡献,因此难以精确恢复表面上复杂的纹理和拓扑。为此,提出一种采用编码-解码策略的改进模型,提高表面重建的精度。编码器获取坐标在邻域表面上的特征编码和其在高维空间下的映射编码。在解码器中应用损失自适应加权策略,提高编码信息的利用率。实验结果表明,较现有方法显著提高了重建结果的精度,其重叠度和F-score分别提高了1.458%和1.46%,平均倒角距离降低了0.08。

基于隐式神经表示的图像超分辨率

基于连续表示的图像超分辨可以实现任意倍数的图像分辨率缩放,目前已成为当前该领域研究的主流趋势。隐式神经表示方法将坐标信息与深度特征信息作为输入,给定坐标下的RGB值(红绿蓝值)作为输出,提供了构建局部连续表示的基本框架,是典型的连续表示方法。然而,隐式神经表示方法未能充分考虑图像的局部结构信息。为此,提出了基于权重学习和注意力机制的隐式神经表示方法。首先,引入权重学习模块,该模块借助梯度信息和多层感知机学习临近特征点的权重。其次,引入通道注意力机制,以此增强特征通道中的关键信息,提升图像局部连续表示的准确性。数值实验结果表明,通过这两种机制的共同作用,该算法的性能相较于现有算法有了显著提升,表现出强大的竞争力。

基于增强隐式神经表示的图像超分辨算法研究

隐式神经表示为数字图像的连续表示提供了一种方法,该方法已成功应用于图像超分辨任务中,并能够取得良好的性能。但是,由于其像素级采样的插值策略,导致权重分配失衡,使得恢复出的高分辨率图像边缘、纹理过平滑;同时由深度网络提取的特征图存在底层特征失真的问题。针对上述问题,本文提出一种基于增强隐式神经表示的图像超分辨重构算法(WCESR)。方法中引入权重修正模块,学习局部面积权重与全局结构权重的关系,缓解权重分配失衡现象;同时引入低分辨图像的边缘特征,扩展由深度神经网络得到的深层图像特征,产生锐利的边缘。通过大量对比实验和消融实验证明:本方法可以得到与现有算法相当甚至更好的效果。

基于增强序列表示注意力网络的中文隐式篇章关系识别

中文隐式篇章关系识别通过分析论元之间的语义结构从而得到两个论元的逻辑关系,而论元的序列信息对于抽取这种语义结构至关重要。现有研究通过论元层级的交互来提升序列表达,但这种方式忽略了原始论元中的字、词粒度的序列信息。因此,通过一种循环卷积模块(RC-Encoder)来增强注意力网络架构(TLA-Encoder)的序列表达。RC-Encoder采用Bi-LSTM来提取初始论元的序列特征,并通过一种局部卷积(Local Convolution)过滤出重要的序列信息。将TLA-Encoder的编码作为一种外部记忆,引入一种外部注意力机制反复阅读RC-Encoder的序列编码从而生成最终的论元表示。在公开数据集(HIT-CDTB)上展开实验,结果表明该模型在Micro-F1和Macro-F1上超了过多个基准模型。

面向卫星遥感图像场景重建的神经辐射场方法综述

随着高分辨率卫星遥感图像成为认知地理空间不可或缺的重要手段,卫星遥感图像在城市建图、生态监测和导航等领域发挥着日益重要的作用,利用卫星遥感图像进行地球表面大规模3维重建成为了计算机视觉和摄影测量领域的研究热点。神经辐射场(NeRF)利用可微渲染学习场景的隐式表示,在复杂场景新视图合成任务中实现了逼真的视觉效果,并在3维场景重建和渲染领域获得了极大的关注。近期的研究主要集中在利用神经辐射场技术,从卫星遥感图像中提取场景表示及其重建。面向卫星遥感图像的神经辐射场方法主要集中在光线空间优化、场景表示优化以及模型高效训练3方面。该文全面归纳了神经辐射场技术在卫星遥感应用中的最新进展。首先介绍神经辐射场技术的基本概念及相关数据集。然后提出一个面向卫星遥感图像的神经辐射场方法分类框架,用于系统性地回顾和整理该技术在卫星遥感领域的研究进展。接着详述了神经辐射场技术在实际卫星遥感场景应用中的相关成果。最后,基于当前研究所面临的问题和挑战进行分析和讨论,同时对未来的发展趋势和研究方向进行了展望。

基于神经网络的生成式三维数字人研究综述:表示、渲染与学习

随着人工智能技术的高速发展,计算机视觉与图形学等相关学科的交叉融合掀起了一场数字人生成技术的新革命,人类进入“元宇宙”等数字空间的梦想正逐渐变为现实.面对大规模三维数字人的生产需求,传统图形学建模方法建模过程繁琐,周期冗长,阻碍了虚拟数字人的普及和应用,而利用生成式人工智能技术产生高拟真、规模化的虚拟数字人正逐渐成为研究热点.为了深入了解三维数字人技术的研究现状与挑战,本文从生成式模型的视角对数字人技术进行了系统性梳理,并总结了其中的3个关键步骤:表示、渲染与学习.随后,对显式及隐式的表示方法进行总结,对传统渲染与神经网络渲染的成像方式进行归纳,并概括了相应的模型学习方法.最后,本文对三维数字人的典型应用进行分析,并对当前挑战与未来发展方向进行总结和展望.

物理模型引导的智能相位成像

隐式神经表示使用神经网络刻画了信号坐标到其属性的映射,通过将正向物理过程引入误差函数的设计中,可被用于求解各种逆问题,应用前景广阔。然而,对隐式神经表示的网络参数进行随机初始化会导致优化速度慢、求解精度低,因此,提出使用元学习算法为隐式神经表示提供一个具有强先验的初始化参数,从而提升求解逆问题时的优化速度和求解精度。针对无透镜相位成像这一重要问题,基于快照式无透镜感知模型提出一种智能相位成像方法,将光学衍射传播理论引入隐式神经表示的误差函数设计中,能够消除传统深度学习算法对大规模数据集的依赖,仅需要传感器记录的单张强度图像,即可实现对样本的高精度相位恢复。此外,通过在网络初始化中引入元学习模型,进一步提升网络训练的效率和精度。数值仿真结果表明,与传统方法相比,所提方法能够获得11 dB以上的峰值信噪比(PSNR,peak signal-to-noise ratio)提升;在真实数据中的实验结果表明,所提方法重建出的相位图像更加清晰,伪影更少。

三维人脸成像及重建技术综述

得益于新型三维视觉测量技术及深度学习模型的飞速发展,三维视觉成为人工智能、虚拟现实等领域的重要支撑技术,三维人脸成像及重建技术取得了突破性进展,不仅能够更好地应对光照、遮挡、表情和姿态等变化,同时增大了伪造攻击难度,大大推动了真实感“虚拟数字人”的重建与渲染,有效提升了人脸系统的安全性。本文对三维人脸成像技术和重建模型进行了全面综述,尤其对基于深度学习的三维人脸重建进行系统深入地分析。首先,对三维人脸成像设备及采集系统进行详细梳理及对比归纳,并介绍了基于新传感技术的人脸成像系统;然后,对基于深度学习的三维人脸重建模型进行系统分析,从输入数据源角度分为基于单目图像、基于多目图像、基于视频和基于语音的三维人脸重建算法4类。通过深入分析,总结三维人脸成像的研究现状及面临的难点与挑战,对未来发展方向及应用进行积极探讨与展望。本文涵盖了近5年经典的三维人脸成像及重建相关的技术与研究,为人脸研究、发展和应用提供了很好的参考。

多模态数字人建模、合成与驱动综述

多模态数字人是指具备多模态认知与交互能力,且有类人的思维和行为逻辑的真实自然虚拟人。近年来随着计算机视觉与自然语言处理等领域的交叉融合以及蓬勃发展,相关技术取得显著进步。本文讨论在图形学和视觉领域比较重要的多模态人头动画、多模态人体动画以及多模态数字人形象构建3个主题,介绍其方法论和代表工作。在多模态人头动画主题下介绍语音驱动人头和表情驱动人头两个问题的相关工作。在多模态人体动画主题下介绍基于循环神经网络(recurrent neural networks,RNN)的、基于Transformer的和基于降噪扩散模型的人体动画生成。在多模态数字人形象构建主题下介绍视觉语言相似性引导的虚拟形象构建、基于多模态降噪扩散模型引导的虚拟形象构建以及三维多模态虚拟人生成模型。本文将相关方向的代表性工作进行介绍和归类,对已有方法进行总结,并展望未来可能的研究方向。

基于矩阵费雪分布的三维人脸变形模型

三维人脸的精确表示有利于各种计算机视觉和图形应用。然而,由于数据离散化和模型线性化,在目前的研究中获取准确的身份和表情线索仍然具有挑战性。本文提出了一种新的三维可变形人脸模型,来学习具有隐式神经表示的非线性连续空间。它构建了两个明确的解纠缠变形场来分别建模与身份和表情相关联的复杂形状,并且引入了一个神经混合场,自适应地混合一系列局部场来学习复杂的细节。其次,我们发现姿态参数在网络中可以更好地被解纠缠,对于人脸变形过程中发生的姿态变换,我们利用基于旋转矩阵的费雪分布矩阵来表示人脸姿态的角度,并模拟头部旋转的不确定性。实验表明我们的方法在人脸细节建模和姿态估计方面具有优越性。