一种基于单张图像的三维人脸表情迁移方法

三维人脸表情迁移过程中,一些细腻的表情难以捕捉和身份易发生混淆是较普遍的问题。文章提出一种基于单张图像的三维人脸表情迁移方法,通过在训练过程引入一种情绪一致性损失,可以鼓励方法捕捉到正确的表情信息。同时,方法对三维人脸的身份及表情信息进行解耦,以风格迁移的方式进行三维表情迁移,防止迁移过程中目标人物与源人物的身份信息发生混淆。实验表明,和当前主流方法相比,该方法捕捉到了更多的表情信息,可以更真实、自然的生成表情迁移后的三维人脸。

双模态及语义知识的三维人脸表情识别方法

目前,人脸表情识别的主要研究对象是二维图像,它所包含的信息有限,而且易受人脸姿态、光照等影响。其次,人脸表情识别方法大多是基于图像低层视觉特征,而人类对图像的理解是基于高层语义知识,这两者之间存在本质上的差异,即"语义鸿沟"。为此,在三维人脸表情图像和语义知识的基础上,创新地提出双模态及语义知识的三维人脸表情识别方法。该方法首先提出一种将三维的局部曲率和二维局部角点进行双模态融合的方法,自动提取准确的三维人脸表情低层视觉特征;然后,采用AHP和G1相结合计算高层语义知识向量;最后,采用K-NN算法将低层视觉特征和高层语义知识融合,缩小低层视觉特征和高层语义知识之间的"语义鸿沟",提高人脸表情的识别率。

基于自由形状变形的三维人脸表情控制

人脸表情控制是生物特征识别研究的重要内容,本文提出了一种基于MPEG-4中FAP、FAT标准进行三维人脸表情合成的方法。首先对人脸进行关键点定义和区域分割,然后使用面向表面的自由形状变形方法(SOFFD)生成人脸表情。在特定人脸表情生成过程中,使用了基表情的比例合成方法。实验表明,该方法可以有效地合成各种真实的人脸表情。

基于单张图像的三维人脸表情重建研究

三维人脸数据由于对光照和姿态变化不敏感,近年来受到研究人员的广泛关注。然而三维人脸表情数据的获取比较困难,大多数方法基于昂贵的实验室设备。为此进行了基于二维人脸表情图像重建三维人脸表情模型的研究,使用级联卷积神经网络将三维形变模型拟合到人脸图像上,同时从人脸三维空间合并三维信息来解决姿态问题。实验结果表明重建后的三维人脸可以保留表情细节,并且对不同姿态的人脸也具有较好的重建效果。

三维人脸表情获取及重建技术综述

人脸是人类重要的生物特征,逼真重建三维人脸面部表情有着广泛的应用,多年来一直受到研究人员的密切关注。目前,比较成熟的人脸三维模型获取大多还是依靠实验室昂贵的硬件系统和可控的光照环境,而学术界的研究热点已逐渐过渡到基于日常生活环境和低成本设备的研究。按照输入数据的来源,将现有的研究工作分为两大类:一是基于可控环境的三维人脸获取及重建技术;二是基于非可控环境的三维人脸获取及重建技术。以此为线索对当前技术和方法进行总结分类,并在此基础上探讨了当前研究存在的问题和未来的研究方向。

基于SOM的三维人脸表情聚类

人脸表情识别是以一种非接触式的方式来完成所需的识别工作的,对于实现自然、和谐的人机交互至关重要。基于二维的人脸表情识别,数据所含信息量有限,并且在光照、姿态变化的情况下,识别性能急剧下降。为了克服这些缺点,本文提出基于SOM网络的三维人脸表情聚类。

基于SOM网络的三维人脸表情识别

针对二维人脸表情数据所含信息量有限,在光照、姿态变化的情况下识别性能较差等缺点,提出了基于SOM网络的三维人脸表情识别方法.该方法用均值和方差来描述人脸表面的凸凹情况,以此作为进一步描述人脸表情变化的特征数据.仿真实验结果表明,采用SOM网络的分类效果和识别效果,均优于AdaBoost算法.

一类等距不变量及其在三维表情人脸识别中的应用

提出一种适用于三维人脸的等距不变量构造方法.从等距变换的定义和性质出发,选取曲面在等距变换下的最小不变几何基元构造不变核;按照到鼻尖测地距离的不同将三维人脸表面划分成多层次区域;在多层次区域上对不变核进行积分,得到等距不变量,并将其用于表情变化的三维人脸识别.实验结果表明,该方法综合考虑了多种曲面内在几何特征,抗噪性强,较Laplace-Beltrami算子等有较高的识别精度.

GPU加速的三维人脸真实表情合成

为了对输入的某用户中性表情的三维人脸合成出尽量接近该用户的、带所指定表情类型的三维人脸,提出一种三维人脸表情并行合成算法.使用基于主测地分析(PGA)和径向基函数(RBF)的学习方法建立人脸真实表情模型,并借助泊松方程变形实现表情的合成;由于采用GPU并行执行,因此能够有效地对三维人脸模型进行表情实时合成,且具有高度可并行计算的特性.在BU-3DFED数据库上的实验结果表明,使用GPU加速后,文中算法的执行速度是使用普通双核CPU执行速度的13倍,并达到近实时合成的性能.

基于单目RGB摄像机的三维人脸表情跟踪算法

利用单目摄像机对人脸表情进行三维跟踪有两个关键问题,一是从单幅图像中重建人脸的三维模型,二是建立不同三维模型之间稠密的对应关系。针对上述问题,提出一种有效的三维人脸表情跟踪算法。对输入的各帧人脸图像进行自动特征点检测,并根据2D特征点,利用Multilinear Model重建不同表情的三维模型。通过将三维模型重投影至图像空间,计算各帧图像间的Optic Flow与Sift Flow对应。根据图像间的对应关系,利用Laplacian网格变形对三维模型进行修正,建立不同表情之间三维的稠密对应。试验表明,该方法可以重建出较为真实的三维人脸表情模型,同时可以精确跟踪连续变化的三维表情序列。

人脸特征约束点的三维表情合成

针对目前很多三维表情合成算法计算量大、方法比较复杂、真实感不强的特点,结合人脸分布特征,提出了一种基于Delaunay三角剖分的三维表情合成新算法。该方法通过对人脸特征点集的快速三角剖分避免了病态三角网格,有效提高了合成后人脸表情的真实度,降低了算法复杂度。大量实际人脸表情合成的实验结果表明,该算法通过少量的特征点生成的三维人脸表情更加真实,可有效快捷地合成各种真实的人脸表情。

三维人脸姿态校正研究

提出一种鼻尖点提取方法:根据鼻尖点在人脸上的对称性,提取人脸对称轴上的特征点,并构建人脸的对称平面,对称平面与人脸网格的交线为人脸的中心侧影线,依据中心侧影线,提取鼻尖点。根据鼻尖点法向量、人脸对称平面法向量以及鼻尖点和鼻基点之间的方向向量进行姿态校正。该方法计算量小、鲁棒性强。

基于一种改进鼻尖点提取的三维人脸区域分割方法

提出了一种改进的鼻尖点提取方法:根据鼻尖的几何形状及人脸的对称性,提取人脸对称轴上的特征点,并构建人脸对称平面,通过对称平面与人脸网格的交线提取人脸的中心侧影线,最后提取鼻尖点;并以鼻尖点为中心点,提出测地距离进行人脸区域分割。在鼻尖点提取方面,该改进方法具有更高精确度;在人脸区域分割方面,分割速度更快,时间更稳定,更能真实的反应出三维人脸表情区域。

基于薄板样条变换的几何图像序列压缩方法

为了提高对几何图像序列的压缩效率,本文提出一种基于薄板样条函数(Thin Plate Spine,TPS)的有损压缩算法。在该压缩算法中,利用TPS变换可用于三维表面形变的特点,将TPS变换作为几何图像序列中相邻帧之间从前一帧到后一帧的预测器,通过存储TPS变换矩阵系数的方式编码预测帧,将该方法应用于一个三维人脸网格的几何图像序列,获得了较好的压缩效果。