基于深度三维形变的单张3D人脸重建算法

三维形变模型(3DMM)作为人脸重建的重要方式,在3D建模、图像合成等领域有着广泛的应用.由于受训练数据类型、数量以及主成分等因素影响,3DMM存在过约束的现象,不能提供足够的灵活性来表示高频变形.本文将三维形变模型嵌入到深度神经网络中,为提升3D人脸重建的表示能力提供了新的思路.为了提升网络学习效率,本文构设了一种双通路神经网络,实现了在全局路径和局部路径之间的平衡.通过在学习目标和网络结构两方面改进非线性3DMM,提出了一种比线性或以往的非线性模型更能捕捉到更高层次细节的模型.算法对比与仿真实验表明,本文算法在3D人脸重建上的归一化平均误差更低,所生成的3D人脸模型鲁棒性好、重构准确,实现了较好的3D人脸重建性能.

基于卷积神经网络的单幅图像三维人脸重建

利用单幅二维图像进行三维人脸重建是图像处理研究领域的热点问题。受深度卷积神经网络(CNN)和三维形变模型(3DMM)的启发,提出一种采用CNN回归3DMM形状和表情参数的方法,进行三维人脸重建。在CNN模型VGG-16的基础上设计一种VGG-BN的改进网络模型,通过在每个卷积层后加入批归一化层,优化网络模型性能;并采用迁移学习方法,将预训练模型引入到VGG-BN网络的训练中。将改进的网络模型在300W-LP数据集上训练,在AFLW2000-3D数据集上测试,并和现有方法进行了对比分析。实验结果表明:改进的网络模型在人脸重建的准确性和泛化性方面都有一定的改善,重建人脸的形状和表情效果较好。

结合形变模型与图像修复的人脸姿态矫正

目的人脸姿态偏转是影响人脸识别准确率的一个重要因素,本文利用3维人脸重建中常用的3维形变模型以及深度卷积神经网络,提出一种用于多姿态人脸识别的人脸姿态矫正算法,在一定程度上提高了大姿态下人脸识别的准确率。方法对传统的3维形变模型拟合方法进行改进,利用人脸形状参数和表情参数对3维形变模型进行建模,针对面部不同区域的关键点赋予不同的权值,加权拟合3维形变模型,使得具有不同姿态和面部表情的人脸图像拟合效果更好。然后,对3维人脸模型进行姿态矫正并利用深度学习对人脸图像进行修复,修复不规则的人脸空洞区域,并使用最新的局部卷积技术同时在新的数据集上重新训练卷积神经网络,使得网络参数达到最优。结果在LFW(labeled faces in the wild)人脸数据库和Stirling ESRC(Economic Social Research Council)3维人脸数据库上,将本文算法与其他方法进行比较,实验结果表明,本文算法的人脸识别精度有一定程度的提高。在LFW数据库上,通过对具有任意姿态的人脸图像进行姿态矫正和修复后,本文方法达到了96.57%的人脸识别精确度。在Stirling ESRC数据库上,本文方法在人脸姿态为±22°的情况下,人脸识别准确率分别提高5.195%和2.265%;在人脸姿态为±45°情况下,人脸识别准确率分别提高5.875%和11.095%;平均人脸识别率分别提高5.53%和7.13%。对比实验结果表明,本文提出的人脸姿态矫正算法有效提高了人脸识别的准确率。结论本文提出的人脸姿态矫正算法,综合了3维形变模型和深度学习模型的优点,在各个人脸姿态角度下,均能使人脸识别准确率在一定程度上有所提高。