基于弱监督学习的细节三维人脸重建

人脸细节特征(如皱纹、沟壑等)在表达情感信息和提高模型真实感上起着重要作用,然而目前大多数细节重建算法忽略了人脸细节的复杂特性,以单一方法提取细节,无法兼顾细节重建质量和鲁棒性。为此,本文提出了一个基于弱监督学习的重建算法,使用基于三维人脸形变模型的粗略模型和UV空间的位移贴图来表示细节人脸。为提升网络的细节提取能力,在细节生成部分将人脸细节分为表情相关细节和表情无关细节,并根据两种细节的不同特性分别设计细节生成网络。为进一步提升重建细节的质量,设计了一组针对细节重建的多层级损失函数。最后在大量无标签的二维图像中以弱监督方式学习,实现基于单张图像的细节三维人脸重建。大量实验结果表明,本文算法在鲁棒性和细节重建质量上均有较好的表现。