单张图像重建人脸3D模型的卷积神经网络系统研究

大多数计算机视觉和图形应用的关键是从给定的图像重建详细的人脸几何结构,例如运动捕捉和再现。因为在不同表情、姿势时,人脸变化很大,重建任务具有很大的挑战性,虽然可以通过使用多张图像来重建一个物体的表面可以降低复杂性,但是,有时候必须从单张图像中提取表面,这仍然是一个难题。为此,本文引入了一个端到端的卷积神经网络框架,该框架以由粗到细的方式导出形状来解决这个问题。

基于深度学习的三维人脸重建抗遮挡网络

对人脸单遮挡模型和人脸多遮挡模型进行了研究,提出了一种基于深度学习的三维人脸重建抗遮挡网络,实现了对遮挡人脸的有效重建。改进的单遮挡模型通过预训练和权重的修改有效地实现了人脸图像上下文信息的捕获。改进的多遮挡模型通过特征扭曲和变换,使用分布的损失函数和不同的微分器得出重建的人脸图像。实验结果表明,提出的方法能够在多种遮挡情况下生成更为准确的三维人脸模型,具有更好的鲁棒性和抗遮挡能力。

基于改进MobileNet V2的多视图三维人脸重建

针对多视图三维人脸重建时,由于图像特征提取能力有限而导致三维人脸模型重建效果不佳的问题,本文提出了一种基于改进MobileNet V2网络的三维人脸重建方法。首先在MobileNet V2网络中引入多路径结构,使不同子路径的特征能够进行交互,从而增强网络的表达能力;然后在通道维度上加入压缩激励(Squeeze and Excitation,SE)模块,在空间维度上加入空间分组增强(Spatial Group-wise Enhance,SGE)模块,从而有效提取人脸形状参数和表情参数;最后使用三维可形变模型(3D Morphable Model,3DMM),并根据形状参数和表情参数完成三维人脸重建。在300W-LP数据集上,与基于卷积神经网络(Convolutional Neural Network,CNN)的重建方法以及基于Visual Geometry Group Batch Normalization(VGG-BN)改进网络的重建方法进行对比实验,实验结果表明平均重建精度分别提升约0.46%和0.31%。

基于超分辨率重建的低分辨率人脸识别

现有人脸识别方法主要针对高分辨率人脸,对于作战场景中获取的低分辨率人脸,已有模型的识别效果并不理想,对人脸进行超分辨率重建是处理低分辨率人脸的一个有效方法。现有研究主要关注于重建图像的视觉效果,而忽视重建后结果的识别率。针对现有需求和存在的问题,研究使用超分辨率重建的方法,提高低分辨率人脸的识别率,从而提高精准打击的成功率。提出超分辨率重建SRR模型,与现有其他算法相比,该模型在视觉效果和识别率方面具有一定的优势。

基于GAN网络的三维人脸纹理重建技术

在计算机视觉领域,三维人脸重建起着重要的作用,特别是在动画制作、虚拟人脸、人脸识别等领域正被广泛应用。基于单张图片的三维人脸重建,通过使用拟合的模型对图像进行采样,可以创建出面部的UV纹理图。然而通过相机采集到的是单视角的二维图像,存在人脸自遮挡的情况,这导致生成的UV纹理图的信息是不完整的。因此,提出一种针对三维人脸纹理补全问题的条件生成对抗网络,将Unet和部分卷积结合起来作为生成器,从而在纹理修复时可以保留更多的图像信息;判别器中引入SMPatchGAN提高图像判别的真实准确度。实验结果表明,相较于其他算法,所提出的算法取得了较为显著的改进效果,特别是在处于大视角下存在人脸自遮挡问题时,也能重建出精细的三维人脸模型。

基于二维视图的三维人脸重建设计

人脸表情是交流展示的重要信息载体,三维人脸重建在图像识别、动画影视等领域有至关重要的作用。针对三维人脸重建存在细节易丢失、计算复杂度高等问题,提出基于二维视图的三维人脸重建设计。所提出的方法以二维视图为基础,利用傅里叶神经算子来求解泊松方程,并从定向点云测量中重建网格,改进了经典深度神经网络在形状重建中的局限性,在重建质量、运行时间等方面取得较好结果。此外,为量化人脸图像表情识别,提出基于顶点距离的测量方法,结合支持向量机对表情状态进行分类。

基于特征点动态选择的三维人脸点云模型重建

针对典型的点云配准方法中伪特征点过多导致配准效率低和配准结果不精确的问题,提出一种基于特征点动态选择的三维人脸点云模型重建方法。该方法在粗配准阶段,采用动态特征矩阵求解法获取粗匹配特征变换矩阵以避免伪特征点的干扰。在精配准过程中,采用二次加权法向量垂直距离法在人脸流形表面选择更有效的特征点以减少伪特征点的数量,并采用基于特征融合与局部特征一致性的迭代最近点方法进行精配准。经过对比实验验证了算法的可行性,实验结果表明,该算法能够实现高精度且快速的三维人脸点云模型重建,且均方根误差达到1.8165 mm,相较其他算法,其在模型重建精度和效率方面都有所提升,具有良好的应用前景。

结合面部动作单元感知的三维人脸重建算法

三维人脸重建在计算机视觉及动画领域是一项重要任务,它可以为人脸多模态应用提供三维模型结构和丰富的语义信息.然而,单目二维人脸图像缺乏深度信息,预测的三维模型参数不够可靠,从而导致重建效果不佳.提出采用与模型参数高度相关的面部动作单元和人脸关键点作为桥梁,引导模型相关参数回归,以解决单目人脸重建的不适定问题.基于人脸重建的现有数据集,提供一套完整的面部动作单元半自动标注方案,并构建300W-LP-AU数据集.进而提出一种结合动作单元感知的三维人脸重建算法.该算法实现端到端的多任务学习,有效降低了整体训练难度.实验结果表明,该算法能有效地提升三维人脸重建性能,重建的人脸模型具有更高的保真度.

基于跨视角一致约束的单视角三维人脸重建

基于深度神经网络的无监督单视角三维人脸重建已取得显著成功,其依赖光度渲染以及对称正则化从二维单视角图像进行训练,但是单视角图像由于自遮挡与光照影响缺乏可信的人脸几何与纹理约束.因此,提出了一种基于跨视角一致约束的两阶段的单视角三维人脸重建框架.首先,局部网络并行地估计多个视角的局部人脸纹理与UV位置图,利用低维统计人脸模型3DMM对自遮挡造成的缺失区域几何与纹理进行填充;在第2阶段中,补全网络对各视角的局部纹理与UV位置图进行补全并改进,重建具有细节的完整三维人脸几何与纹理.设计了关于光度渲染、人脸纹理、与UV位置图的跨视角一致约束函数,以无监督学习机制从多视角人脸图像数据优化端到端模型.实验结果表明,所提方法可有效地从单视角图像估计人脸姿态,对遮挡区域中人脸几何与纹理合理补全,重建带有几何与纹理细节的高质量三维人脸.特别地,在MICC Florence数据集上,所提方法较对比算法重建人脸的均方根误差降低了6.36%.

基于AdaFace优化的两阶段三维人脸精细重建方法

为解决三维人脸重建方法DECA(Detailed Expression Capture and Animation)采用2D图像训练导致信息缺失所带来的重建形状不够准确和MICA(MetrIC FAce)方法缺乏高频细节以及遇到无法识别的人脸照片重建失败的问题,利用3D数据和更为鲁棒的人脸识别网络完成有监督和自监督混合训练,提出基于FLAME(Fitting Landmarks And Morphable Expression)人脸模型、AdaFace(Quality Adaptive Margin for Face Recognition)人脸识别网络和DECA框架的高精度细节融合两阶段人脸重建方法(FIne-grained Facial Reconstruction,FiFR)。在粗重建阶段通过Adaface身份编码器将2D图像编码至隐空间,由2D和3D数据训练的映射网络将编码转化为FLAME人脸模型的相关参数,生成粗重建结果;在精细重建阶段,参考DECA方法,通过细节一致性损失约束生成详细的UV置换贴图,增强人脸的高频细节,实现了单一图像的三维人脸精细重建。实验结果表明,FiFR比DECA方法重建结果平均误差减少了14%,针对低分辨率图像误差减少达到了18%;相对于MICA方法,重建人脸具有更多的高频细节。

由粗到精的高保真单目三维人脸重建

针对现有单目三维人脸重建方法在细节刻画和身份信息保持方面的不足,本文提出了一种由粗到精的三维人脸重建框架。该框架首先利用从二维人脸图片中提取的特征参数生成初始三维人脸模型,并设计多尺度身份特征提取器捕获个性化特征。然后,通过自适应加权策略筛选对重建任务最具贡献的特征信息。在精细重建阶段,本文关注人脸的几何细节重建,将身份和表情编码融入几何细节生成网络中,以生成具有特定身份和表情信息的几何细节。最后,利用可微分渲染器将三维人脸模型渲染为二维人脸图像,进行自监督训练。在CelebA和AFLW2000-3D数据集上的实验结果表明,本文提出的框架能够从单幅图像中重建出更加真实、自然且具有高度个性化特征的三维人脸模型,在细节刻画和身份信息保持方面均优于现有方法,具有广阔的应用前景。

基于人脸部件掩膜的自监督三维人脸重建

三维人脸重建旨在从二维人脸图片中恢复出三维人脸模型。自监督三维人脸重建能够缓解三维人脸数据缺乏的问题,因此成为了近年来的研究热点。现有的自监督方法通常聚焦于使用全局监督信号,对人脸的局部细节关注不足。为了更好地恢复出细节生动的精细化三维人脸,提出了一种基于人脸部件掩膜的精细化三维人脸重建方法,该方法在不需要任何三维人脸标注的情况下,可以重建出精细化三维人脸。其主要思想是在二维图片一致性损失、图片深层感知损失等基本损失函数上,通过人脸部件掩膜,给予人脸区域精细化约束,并对人脸部件掩膜进行自监督约束,从而提高重建的三维人脸局部的准确性。在AFLW2000-3D和MICC Florence数据集上进行了定性以及定量实验,验证了所提方法的有效性和优越性。

全局ICP与改进泊松相结合的三维人脸重建

为快速精确地实现人脸三维数字化,本文提出一种高精度全流程自动化的稳健三维人脸重建方法。针对基于结构光相机采集到的左右两组人脸点云和RGB图像数据,本文首先提出一种自适应下采样的全局优化ICP配准方法融合左右点云,其次提出基于法向量优化的泊松重建方法来将配准后的点云进行表面重建,生成网格化模型,该泊松重建方法针对非封闭性人脸点云有良好的重建效果和重建精度,然后将RGB图像贴图到网格化模型上,最终重建出了一个带有细节纹理的三维人脸模型。经过大量的人脸重建试验验证,本文方法具有高精度、高稳健性,能够快速、准确且稳定地重建出人脸。

单张图像三维人脸重建方法综述

近年来,三维人脸重建任务作为“数字人”技术的重要组成部分,受到了学术界和工业界的广泛关注。基于单张图像的三维人脸重建任务在充分结合传统相机模型、光照模型、三维人脸统计形变模型与深度卷积网络、深度生成模型等方面技术之后取得了长足的进步。聚焦单张图像三维人脸重建问题,将现有研究工作分为基于隐空间编码和基于显空间回归两类。第一类研究工作对基础三维人脸统计模型的基系数求解、损失函数设计等进行优化,提升重建效果,在人脸拓扑结构变化方面具备鲁棒性优势,但缺乏细节特征。第二类工作以显空间多种数据形式表示三维人脸并直接通过深度网络进行回归,通常可获得更加个性化的三维人脸细节特征且对光照、遮挡等干扰因素具有较好的鲁棒性。进一步,基于常用数据集和评价指标,充分探讨并比较了两类方法中一些典型方法的优缺点。最后对全文进行总结,并给出了单张图像三维人脸重建任务面临的主要挑战及未来发展趋势。

基于弱监督学习的细节三维人脸重建

人脸细节特征(如皱纹、沟壑等)在表达情感信息和提高模型真实感上起着重要作用,然而目前大多数细节重建算法忽略了人脸细节的复杂特性,以单一方法提取细节,无法兼顾细节重建质量和鲁棒性。为此,本文提出了一个基于弱监督学习的重建算法,使用基于三维人脸形变模型的粗略模型和UV空间的位移贴图来表示细节人脸。为提升网络的细节提取能力,在细节生成部分将人脸细节分为表情相关细节和表情无关细节,并根据两种细节的不同特性分别设计细节生成网络。为进一步提升重建细节的质量,设计了一组针对细节重建的多层级损失函数。最后在大量无标签的二维图像中以弱监督方式学习,实现基于单张图像的细节三维人脸重建。大量实验结果表明,本文算法在鲁棒性和细节重建质量上均有较好的表现。

一种基于先验生成对抗网络的人脸超分辨率重建方法

针对人脸超分辨率算法中图像失真大、缺乏细节特征等问题,提出了一种基于先验知识的人脸超分辨率重建模型。通过在超分网络中加入纹理辅助分支,为重建过程提供额外纹理结构先验,以生成精细的面部纹理,恢复高分辨率纹理图。同时引入级联叠加模块对纹理辅助分支进行反馈。设计特征融合模块,将纹理特征图与超分分支特征图融合,获得更好的纹理细节;将纹理损失融入损失函数,以提高网络恢复纹理细节的能力。4倍放大因子下,该方法的峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)、结构相似性指数(Structural Similarity Index,SSIM)比现有方法至少提升1.0825 dB和0.036,无参考图像质量评价(Natural Image Quality Evaluator,NIQE)至少降低1.6902;8倍放大因子下,该方法的PSNR与SSIM值分别至少提升0.7875 dB和0.04685,NIQE值最小降低3.92。

基于深层特征嵌入的高分辨率人脸图像重建

提出了一种基于深层特征嵌入的高分辨率人脸图像重建方法,利用预训练的StyleGAN2生成对抗网络模型作为人脸图像生成器,并将深层特征嵌入到StyleGAN2的W+空间中,通过梯度下降法优化w+向量,并将优化后的w+向量输入到StyleGAN2中生成分辨率为1 024×1 024的重建人脸图像。实验结果表明,重建图像与对应真实人脸图像不仅在视觉上有着较高的相似性,且在同一特征提取网络下,LFW和ColorFeret数据集的重建图像在FAR为0.1%时Ⅱ型评估TAR分别为96.04%和100.00%,并且在两种不同的活体检测程序下的通过率分别达到了88.67%和74.67%。所提方法在实现重建高分辨率人脸图像的同时,与真实人脸图像的特征相似度方面也表现优秀。

基于DECA的单目人脸三维重建研究

针对基于单目图像的DECA模型在人脸三维重建时精度不高,且容易出现过拟合的问题,提出用Vision Transformer (ViT)改进DECA模型的特征提取器部分,增强模型的局部和全局理解能力,提取更高维的特征,以提高人脸特征点的检测精度和人脸重建的精确性。进一步,引入DropKey策略,将ViT中的Key作为Drop对象,惩罚注意力峰值,以改善训练过程中的过拟合问题。实验结果表明,在引入ViT和DropKey策略后,人脸三维重建的效果有明显的提升。

多视图三维人脸重建方法综述

在现实生活中,人脸蕴含了个体丰富的信息,在视觉感知中占有非常重要的地位,因此人脸在三维重建中是一个非常重要的对象,具有广泛的应用前景。三维人脸重建具有很高的研究价值和意义。目前有关三维人脸重建的研究大多是针对单张人脸图像,虽然单视图三维人脸重建已经在人脸识别、虚拟现实等领域有了广泛应用,但是它仍然存在很大弊端,比如单张图像重建出的模型准确性和精度不足,但是多张图像却可以提供更多的观测数据,从而可以提高人脸三维模型的精度和准确性。

单张图片自动重建带几何细节的人脸形状

为了从单张图片中自动快速重建高细节人脸表情模型,提出一种从粗到细逐步优化的方法.首先从单张照片检测到的特征点中,通过多初值迭代方法优化求解对应的三维头部姿态和大尺度的人脸表情;其次以检测到的人脸特征点为依据对不准确的人脸表情进行矫正,并使用非刚性的迭代最近点方法对齐模型上的特征点和图像特征点,使用拉普拉斯坐标影响其余非特征点位置;最后使用带有常量假设的明暗重建形状方法为人脸模型重建细尺度的几何细节,以增加重建模型的逼真度.实验结果表明,文中方法能够在头部大幅度摆动的情况下生成更准确的带有几何细节的人脸模型;该方法不需要对图片的摄像机进行标定,也不需要预先训练或预设用户的特征模型和混合形状,同时不强制约束室内光照以及单调的背景环境.