融合三维人脸动态信息和光流信息的人脸表情识别

人脸表情识别在静态图像上取得了卓越的成效,但这些方法应用于视频或图像序列时,准确度和鲁棒性往往会受到影响。传统的方法通常无法基于空间信息和光流信息进行人脸表情的识别,然而这些辅助识别信息都是二维信息,没有考虑到人脸的表情变化是一种三维的变化过程。为充分挖掘人脸表情识别的深层语义信息,提出了一种基于三维人脸动态信息和光流信息相结合的融合表情识别方法。该方法构建基于人脸深度图像、光流图像和RGB图像的多流卷积神经网络,通过融合3种模态的信息进行人脸表情识别。所提方法在CAER,RAVDESS数据集上进行了充分验证,实验结果表明,其在表情识别性能上优于目前的主流方法,证明了其有效性。

基于GAN网络的三维人脸纹理重建技术

在计算机视觉领域,三维人脸重建起着重要的作用,特别是在动画制作、虚拟人脸、人脸识别等领域正被广泛应用。基于单张图片的三维人脸重建,通过使用拟合的模型对图像进行采样,可以创建出面部的UV纹理图。然而通过相机采集到的是单视角的二维图像,存在人脸自遮挡的情况,这导致生成的UV纹理图的信息是不完整的。因此,提出一种针对三维人脸纹理补全问题的条件生成对抗网络,将Unet和部分卷积结合起来作为生成器,从而在纹理修复时可以保留更多的图像信息;判别器中引入SMPatchGAN提高图像判别的真实准确度。实验结果表明,相较于其他算法,所提出的算法取得了较为显著的改进效果,特别是在处于大视角下存在人脸自遮挡问题时,也能重建出精细的三维人脸模型。

结合面部动作单元感知的三维人脸重建算法

三维人脸重建在计算机视觉及动画领域是一项重要任务,它可以为人脸多模态应用提供三维模型结构和丰富的语义信息.然而,单目二维人脸图像缺乏深度信息,预测的三维模型参数不够可靠,从而导致重建效果不佳.提出采用与模型参数高度相关的面部动作单元和人脸关键点作为桥梁,引导模型相关参数回归,以解决单目人脸重建的不适定问题.基于人脸重建的现有数据集,提供一套完整的面部动作单元半自动标注方案,并构建300W-LP-AU数据集.进而提出一种结合动作单元感知的三维人脸重建算法.该算法实现端到端的多任务学习,有效降低了整体训练难度.实验结果表明,该算法能有效地提升三维人脸重建性能,重建的人脸模型具有更高的保真度.

基于跨视角一致约束的单视角三维人脸重建

基于深度神经网络的无监督单视角三维人脸重建已取得显著成功,其依赖光度渲染以及对称正则化从二维单视角图像进行训练,但是单视角图像由于自遮挡与光照影响缺乏可信的人脸几何与纹理约束.因此,提出了一种基于跨视角一致约束的两阶段的单视角三维人脸重建框架.首先,局部网络并行地估计多个视角的局部人脸纹理与UV位置图,利用低维统计人脸模型3DMM对自遮挡造成的缺失区域几何与纹理进行填充;在第2阶段中,补全网络对各视角的局部纹理与UV位置图进行补全并改进,重建具有细节的完整三维人脸几何与纹理.设计了关于光度渲染、人脸纹理、与UV位置图的跨视角一致约束函数,以无监督学习机制从多视角人脸图像数据优化端到端模型.实验结果表明,所提方法可有效地从单视角图像估计人脸姿态,对遮挡区域中人脸几何与纹理合理补全,重建带有几何与纹理细节的高质量三维人脸.特别地,在MICC Florence数据集上,所提方法较对比算法重建人脸的均方根误差降低了6.36%.

基于特征点动态选择的三维人脸点云模型重建

针对典型的点云配准方法中伪特征点过多导致配准效率低和配准结果不精确的问题,提出一种基于特征点动态选择的三维人脸点云模型重建方法。该方法在粗配准阶段,采用动态特征矩阵求解法获取粗匹配特征变换矩阵以避免伪特征点的干扰。在精配准过程中,采用二次加权法向量垂直距离法在人脸流形表面选择更有效的特征点以减少伪特征点的数量,并采用基于特征融合与局部特征一致性的迭代最近点方法进行精配准。经过对比实验验证了算法的可行性,实验结果表明,该算法能够实现高精度且快速的三维人脸点云模型重建,且均方根误差达到1.8165 mm,相较其他算法,其在模型重建精度和效率方面都有所提升,具有良好的应用前景。

由粗到精的高保真单目三维人脸重建

针对现有单目三维人脸重建方法在细节刻画和身份信息保持方面的不足,本文提出了一种由粗到精的三维人脸重建框架。该框架首先利用从二维人脸图片中提取的特征参数生成初始三维人脸模型,并设计多尺度身份特征提取器捕获个性化特征。然后,通过自适应加权策略筛选对重建任务最具贡献的特征信息。在精细重建阶段,本文关注人脸的几何细节重建,将身份和表情编码融入几何细节生成网络中,以生成具有特定身份和表情信息的几何细节。最后,利用可微分渲染器将三维人脸模型渲染为二维人脸图像,进行自监督训练。在CelebA和AFLW2000-3D数据集上的实验结果表明,本文提出的框架能够从单幅图像中重建出更加真实、自然且具有高度个性化特征的三维人脸模型,在细节刻画和身份信息保持方面均优于现有方法,具有广阔的应用前景。

三维人脸识别研究进展

三维人脸识别技术具有自然、便捷、用户体验友好等独特优势,已成为学术界和工业界的一个热门研究方向。近几年,针对单目彩色图像、彩色图-深度图数据、点云数据、多模态数据等不同类型的三维人脸数据,研究者们提出了各种新方法来挑战三维人脸识别。根据三维人脸数据的不同格式,将三维人脸识别方法分为从单目彩色图像进行三维人脸重构的识别方法、基于点云数据的人脸识别方法、基于彩色图-深度图数据的人脸识别方法,以及基于多模态数据的人脸识别方法,对比分析了各类方法的原理、区别和联系,全面总结了三维人脸识别研究的最新进展,阐述了各类技术的优势和弊端。介绍了不同格式的人脸数据库,从数据收集方式、表情变化、姿态变化等方面进行分析,最后讨论了三维人脸识别技术面临的挑战和未来的发展方向。

基于人脸部件掩膜的自监督三维人脸重建

三维人脸重建旨在从二维人脸图片中恢复出三维人脸模型。自监督三维人脸重建能够缓解三维人脸数据缺乏的问题,因此成为了近年来的研究热点。现有的自监督方法通常聚焦于使用全局监督信号,对人脸的局部细节关注不足。为了更好地恢复出细节生动的精细化三维人脸,提出了一种基于人脸部件掩膜的精细化三维人脸重建方法,该方法在不需要任何三维人脸标注的情况下,可以重建出精细化三维人脸。其主要思想是在二维图片一致性损失、图片深层感知损失等基本损失函数上,通过人脸部件掩膜,给予人脸区域精细化约束,并对人脸部件掩膜进行自监督约束,从而提高重建的三维人脸局部的准确性。在AFLW2000-3D和MICC Florence数据集上进行了定性以及定量实验,验证了所提方法的有效性和优越性。

一种基于单张图像的三维人脸表情迁移方法

三维人脸表情迁移过程中,一些细腻的表情难以捕捉和身份易发生混淆是较普遍的问题。文章提出一种基于单张图像的三维人脸表情迁移方法,通过在训练过程引入一种情绪一致性损失,可以鼓励方法捕捉到正确的表情信息。同时,方法对三维人脸的身份及表情信息进行解耦,以风格迁移的方式进行三维表情迁移,防止迁移过程中目标人物与源人物的身份信息发生混淆。实验表明,和当前主流方法相比,该方法捕捉到了更多的表情信息,可以更真实、自然的生成表情迁移后的三维人脸。

单张图像三维人脸重建方法综述

近年来,三维人脸重建任务作为“数字人”技术的重要组成部分,受到了学术界和工业界的广泛关注。基于单张图像的三维人脸重建任务在充分结合传统相机模型、光照模型、三维人脸统计形变模型与深度卷积网络、深度生成模型等方面技术之后取得了长足的进步。聚焦单张图像三维人脸重建问题,将现有研究工作分为基于隐空间编码和基于显空间回归两类。第一类研究工作对基础三维人脸统计模型的基系数求解、损失函数设计等进行优化,提升重建效果,在人脸拓扑结构变化方面具备鲁棒性优势,但缺乏细节特征。第二类工作以显空间多种数据形式表示三维人脸并直接通过深度网络进行回归,通常可获得更加个性化的三维人脸细节特征且对光照、遮挡等干扰因素具有较好的鲁棒性。进一步,基于常用数据集和评价指标,充分探讨并比较了两类方法中一些典型方法的优缺点。最后对全文进行总结,并给出了单张图像三维人脸重建任务面临的主要挑战及未来发展趋势。

基于深度学习的三维人脸识别方法研究

阐述一种基于深度学习的三维人脸识别算法。首先选取合适的人脸数据库,通过点云去噪、孔洞填充、人脸裁剪和姿态校正,生成精确的点云数据;然后,将点云数据输入至能够实现特征重用的DenseNet网络中,完成特征提取,进而采用Arcface损失函数实现人脸分类。

基于三维人脸模型装配的表情驱动算法

为了实现三维人脸模型中的面部表情控制,本文提出了一种基于人脸模型装配的表情驱动方法。该方法利用FACS编码系统计算出各动作单元AU对应的表情基参数,结合生物解剖学与运动学的相关知识,将肌肉与骨骼装配到三维人脸模型上,通过驱动控制点完成面部的表情驱动。与传统基于手工建模或数据驱动方法相比,本方法不需要大量的人工参与和训练数据。因此,该方法在数字娱乐、虚拟人物和人机交互等领域有着广泛的应用前景,为相关领域的研究和应用提供了一定的参考。

基于不同语音情绪的三维人脸动画控制参数预测

为提高三维人脸动画的控制精度,设计一种基于不同语音情绪的映射网络,预测三维人脸控制参数.对语音信号进行处理以生成语谱图;针对频域特征提取子网络和时频特征提取子网络,以卷积神经网络为架构融入通道注意力机制,强调语音情绪的特征提取能力;采用多轮交替运算的Mogrifier LSTM替换BiLSTM,强化前后语音情绪与人脸控制参数的对应关系,提高时序关联性.不同方法试验结果表明,本文设计方法能够实现不同情绪、不同人的语音情绪识别和三维人脸控制参数预测,相比于其他4种方法,在数据集的平均误差分别降低了23.9%、40.6%、13.4%和6.0%,在8种不同情绪中,本文方法的平均误差比融合CNN与BiLSTM方法降低了5.4%,在保证较高的时间平滑和控制参数预测精度的同时,进一步加强了三维人脸动画的流畅度和真实度.

基于UV位置图的视频三维人脸表情克隆

为了解决三维人脸表情克隆时的准确性与实时性问题,提出了一种基于UV位置图的视频三维人脸表情克隆方法。首先逐帧读取视频进行人脸检测,然后裁剪出人脸区域,输入到位置图回归网络中得到UV位置图,最后根据UV位置图获得人脸关键点三维信息,驱动三维人脸模型产生变形,完成人脸表情克隆。为了提高克隆效果,构建了基于Ghost瓶颈的轻量级网络,并根据人脸肌肉运动规律与表情变化特征设计了一种新的人脸分区方式及权重,结合Wing Loss损失函数,对卷积神经网络模型进行训练。使用所提算法与其他算法在AFLW2000-3D、COFW-68数据集上进行对比实验,结果表明,所提算法提高了人脸关键点检测的准确率,能够有效解决视频三维人脸表情克隆的准确性与实时性问题。

基于弱监督学习的细节三维人脸重建

人脸细节特征(如皱纹、沟壑等)在表达情感信息和提高模型真实感上起着重要作用,然而目前大多数细节重建算法忽略了人脸细节的复杂特性,以单一方法提取细节,无法兼顾细节重建质量和鲁棒性。为此,本文提出了一个基于弱监督学习的重建算法,使用基于三维人脸形变模型的粗略模型和UV空间的位移贴图来表示细节人脸。为提升网络的细节提取能力,在细节生成部分将人脸细节分为表情相关细节和表情无关细节,并根据两种细节的不同特性分别设计细节生成网络。为进一步提升重建细节的质量,设计了一组针对细节重建的多层级损失函数。最后在大量无标签的二维图像中以弱监督方式学习,实现基于单张图像的细节三维人脸重建。大量实验结果表明,本文算法在鲁棒性和细节重建质量上均有较好的表现。

基于散斑结构光编码的三维人脸重建方法研究

三维人脸信息获取通过三维相机和三维人脸重建算法进行三维人脸建模。真实环境中三维重建方法往往存在匹配误差较高、表面粗糙等问题。针对三维人脸重建中的问题设计一套三维人脸重建算法用以提高三维重建效果,通过向人脸投射散斑图案增强人脸纹理,改进ZNCC算法生成平滑的三维人脸模型。通过仿真实验验证了该算法可以得到较高精度的平滑三维人脸模型。

BJUT-3D三维人脸数据库及其处理技术

BJUT-3D是目前国际上最大的中国人的三维人脸数据库,其中包括经过预处理的1200名中国人的三维人脸数据,这一数据资源对于三维人脸识别与建模方面的研究有重要意义.首先介绍了BJUT-3D数据库的数据获取条件、数据形式,并针对数据库建立过程中数据预处理技术进行了讨论.最后作为数据库的直接应用,进行了多姿态人脸识别和人脸姿态估计算法的研究.实验结果证实,该算法具有良好的性能.

具有真实感的三维人脸动画

具有真实感的三维人脸模型的构造和动画是计算机图形学领域中一个重要的研究课题.如何在三维人脸模型上实时地模拟人脸的运动,产生具有真实感的人脸表情和动作,是其中的一个难点.提出一种实时的三维人脸动画方法,该方法将人脸模型划分成若干个运动相对独立的功能区,然后使用提出的基于加权狄里克利自由变形DFFD(Dirichlet free-form deformation)和刚体运动模拟的混合技术模拟功能区的运动.同时,通过交叉的运动控制点模拟功能区之间运动的相互影响.在该方法中,人脸模型的运动通过移动控制点来驱动.为了简化人脸模型的驱动,提出了基于MPEG-4中脸部动画参数FAP(facial animation parameters)流和基于肌肉模型的两种高层驱动方法.这两种方法不但具有较高的真实感,而且具有良好的计算性能,能实时模拟真实人脸的表情和动作.

基于特征分块的三维人脸重建和识别

针对传统三维人脸重建算法效率低且难以满足实际应用的缺陷,提出一种基于特征分块的三维人脸重建算法,并将此算法应用到三维人脸识别中,实现了基于特征分块的加权三维人脸识别。首先,利用基于平面模板的非均匀重采样法对原始数据进行归一化;其次,采用主动形状模型(ASM)算法对三维人脸和二维人脸图像进行特征定位和特征分块;然后,利用基于分块主元分析(PCA)的稀疏形变模型算法实现每个人脸分块的三维重建;最后,实现了此算法在三维人脸识别中的应用。实验表明,此重建算法具有较高的精度和重建效率,还可以达到全局最优,并且可以提高三维人脸的识别率。

多视图三维人脸重建方法综述

在现实生活中,人脸蕴含了个体丰富的信息,在视觉感知中占有非常重要的地位,因此人脸在三维重建中是一个非常重要的对象,具有广泛的应用前景。三维人脸重建具有很高的研究价值和意义。目前有关三维人脸重建的研究大多是针对单张人脸图像,虽然单视图三维人脸重建已经在人脸识别、虚拟现实等领域有了广泛应用,但是它仍然存在很大弊端,比如单张图像重建出的模型准确性和精度不足,但是多张图像却可以提供更多的观测数据,从而可以提高人脸三维模型的精度和准确性。