基于真实感三维头重建的人脸替换

传统的人脸替换技术需要输入的源图像中的人脸与待替换的目标图像中的人脸姿态相似,这限制了人脸替换技术的应用。该文提出一种基于特定三维头模型重建的人脸替换技术。首先,利用替换者的2张正交图像(1张正面图像和1张侧面图像)进行三维头重建。整个三维头重建过程分为人脸图像配准、特征点匹配、标准三维头形变和纹理贴图4个部分。形变部分利用了径向基函数对标准三维头进行形变以获得最终的特定三维头模型。通过建立替换者的真实感三维头模型,渲染出与任意目标图像姿态相一致的人脸图像。为了让渲染后的人脸图像与目标图像进行无缝纹理融合,还进行了色彩传递和基于多分辨率技术的边界融合。用此方法可将故事书中的任意角色替换成用户,以此提供个性化的图书。

匹配图像与3维模型特征点的真实感3维头重建

提出并实现一种基于两张正交图像和一个标准3维头模型,并利用2D图像特征点和3D模型特征点的匹配进行3维头模型重建的算法。首先,进行面部区域和头发区域的分割,利用色彩传递对输入图像进行颜色处理。对正面图像利用改进后的ASM(主动形状模型)模型进行特征点定位。改进局部最大曲率跟踪(LMCT)方法,更为鲁棒的定位了侧面特征点。在匹配图像特征点与标准3维头上预先定义的特征点的基础上,利用径向基函数进行标准头形变,获得特定人的3维头部形状模型。采用重建好的3维头作为桥梁,自动匹配输入图像,进行无缝纹理融合。最后,将所得纹理映射到形状模型上,获得对应输入图像的特定真实感3维头模型。