基于改进MobileNet V2的多视图三维人脸重建

针对多视图三维人脸重建时,由于图像特征提取能力有限而导致三维人脸模型重建效果不佳的问题,本文提出了一种基于改进MobileNet V2网络的三维人脸重建方法。首先在MobileNet V2网络中引入多路径结构,使不同子路径的特征能够进行交互,从而增强网络的表达能力;然后在通道维度上加入压缩激励(Squeeze and Excitation,SE)模块,在空间维度上加入空间分组增强(Spatial Group-wise Enhance,SGE)模块,从而有效提取人脸形状参数和表情参数;最后使用三维可形变模型(3D Morphable Model,3DMM),并根据形状参数和表情参数完成三维人脸重建。在300W-LP数据集上,与基于卷积神经网络(Convolutional Neural Network,CNN)的重建方法以及基于Visual Geometry Group Batch Normalization(VGG-BN)改进网络的重建方法进行对比实验,实验结果表明平均重建精度分别提升约0.46%和0.31%。

超球流形约束下的3DMM分步全局优化

通过综合运用人脸空间的超球流形约束、基于梯度的启发式全局优化、光照的球面谐波描述以及凸包可见点集的直接消隐方法,提出一种三维可形变模型的图像匹配方法.首先通过形状超球流形约束下的全局优化算法求解摄像机参数和形状参数,然后使用以上参数和凸包点集的直接消隐方法确定物像点对应关系,最后根据物像点对应关系由反射率超球流形约束下的全局优化算法求解光照参数和反射率参数.定量的对比实验结果表明,该方法无需借助分区域拟合、人为估计参数值、层次匹配策略或复杂的特征组合,即可由单幅图像恢复三维可形变模型(3DMM)的全部参数.