融合人脸图像深度和外观特征的BMI估计方法

身体质量指数(BMI)是人类健康重要指标。从2D正脸图像中估计3D人脸信息并提出一个端到端BMI估计框架,以进一步提高BMI估计性能。首先,计算人脸468个3D关键点,并根据关键点相对头部质心的深度绘制深度人脸图;其次,提取人脸图像的方向梯度直方图(HOG)并可视化以表示外观特征;最后,利用卷积神经网络(CNN)VGGNet、ResNet分别对深度人脸图和HOG进行特征提取,并使用Hadamard积融合2个骨干网络的特征以估计BMI。与目前已有方法的对比实验中,本文提出方法在2个公开数据集上的整体平均绝对误差(MAE)分别比最优结果低0.38和1。上述实验结果证明了本文提出的融合3D人脸图像深度和外观特征的BMI估计方法的有效性。

基于UV位置图的视频三维人脸表情克隆

为了解决三维人脸表情克隆时的准确性与实时性问题,提出了一种基于UV位置图的视频三维人脸表情克隆方法。首先逐帧读取视频进行人脸检测,然后裁剪出人脸区域,输入到位置图回归网络中得到UV位置图,最后根据UV位置图获得人脸关键点三维信息,驱动三维人脸模型产生变形,完成人脸表情克隆。为了提高克隆效果,构建了基于Ghost瓶颈的轻量级网络,并根据人脸肌肉运动规律与表情变化特征设计了一种新的人脸分区方式及权重,结合Wing Loss损失函数,对卷积神经网络模型进行训练。使用所提算法与其他算法在AFLW2000-3D、COFW-68数据集上进行对比实验,结果表明,所提算法提高了人脸关键点检测的准确率,能够有效解决视频三维人脸表情克隆的准确性与实时性问题。

计算机辅助颅面复原技术研究

颅面复原技术以头骨与面貌相互关系规律为科学依据,广泛应用于刑侦、考古等领域。本文综述了计算机辅助3D颅面复原技术中数据采集、颅面复原、复原后面部表情修饰等方法的进展情况。重点介绍以特征点及其软组织厚度为基础的颅面皮肤的复原技术,及曲面拟合方法的改进。最后,指出颅面复原后续工作的发展方向。

基于三维特征点模型的人脸表情识别算法

提出了一种基于三维特征点模型匹配的人脸表情识别算法.首先,以混合树结构建模不同姿态脸部特征组合,实现特征点定位,并建立脸部三维几何特征模型;然后,基于广义普鲁克分析原理对特征点模型进行归一化计算,并建立具有鲁棒性的匹配特征;最后,采用支持向量机实现表情的训练和识别.通过对BU-3DFE数据库中6种脸部表情的测试,表明该算法能够达到很好的识别效果.

激光扫描面部软组织三维数字化图像定点准确性和可重复性的研究

目的评价操作者在面部软组织数字化模型上进行虚拟定点的准确性和一致性。方法 3名操作者,使用在电脑屏幕上对面部软组织数字化模型虚拟定点,以及在受试者面部实体定点两种方法,分别对20名受试者的面部软组织标志点进行定点。通过比较两种方法定点结果的一致性,以及不同操作者定点之间的一致性,评价在激光扫描所得面部软组织数字化模型上虚拟定点的准确性和一致性。结果不同操作者之间的一致性检验表明,左右侧颧突点、左右侧眶下点、左侧鼻翼点和左右侧下颌角点的一致性小于0.9;数字化模型定点和实体定点相比,眉间点、鼻根点、鼻尖点、上唇突点和下唇突点,3名操作者两种定点方法之间差异的平均值≤2mm;左右侧鼻翼点,左右侧耳点和颏唇沟点,3名操作者两种定点方法之间差异的平均值>2mm且≤3mm;颏前点,左右侧颧突点,左右侧眶下点和左右侧下颌角点,3名操作者两种定点方法之间差异的平均值>3mm。结论在面部软组织数字化模型上进行虚拟定点时,对于颏前点,左右侧颧突点,左右侧眶下点和左右侧下颌角点,建议使用标记物辅助定位后,再进行扫描及测量。

基于特征点的颅面复原技术

介绍了用人工神经网络算法确定待复原颅面的软组织厚度及颅面特征点的方法。在计算机辅助颅面复原过程中,通常只能根据颅骨上少数特征点及其所在部位的法向软组织厚度的统计值进行运算。由于现有统计值指标涵盖的年龄较宽泛,导致复原结果缺乏个性。在测定待复原颅骨骨龄的基础上,通过神经网络训练,确定软组织厚度随年龄的变化规律,较精确地计算出与拟复原对象的骨龄相适应的特征点软组织厚度值,并用最小二乘法及曲面法线原理建立数学模型,计算出颅面特征点。最后用基于Delaunay三角剖分的wavelet插值法复原出面貌雏形。

基于关键点的由粗到精三维人脸特征点定位

提出了一个基于关键点由粗到精的三维人脸特征点定位算法,该算法将人脸特征点定位分为关键点检测和标记两个独立的子问题。为了更好地在三维人脸上提取关键点,该算法提出了一个关键点检测方法：1）使用深度图和监督下降算法得到三维人脸特征点的粗略位置,提取特征点粗略位置的邻域作为关键点区域;2）提出了一种结合多个局部描述子的方法,对关键点区域内人脸点集的子集进行筛选,提取出关键点。在特征点标记阶段,使用关键点集生成候选特征点组合,选择与特征点模型匹配程度最高的组合,将组合中的候选点标记为特征点。基于FRGC v2.0和Bosphorus数据集对算法进行了实验评估,并与一些经典方法的结果进行了对比分析。FRGC v2.0库上的特征点的平均误差为2.85-3.81 mm,总体检测成功率为96.5%,其中中性、温和以及极端表情下检测成功率分别为97.5%、97.0%和93.3%。Bosphorus库上3种姿态下的检测成功率分别是92%、95%和88%。实验结果表明,该算法具有较好的精度和效率,对表情和小幅度的姿态变化具有较好的鲁棒性。

单幅图像真实感虚拟试戴技术

提出了一种针对眼镜、帽子等头部饰品的单幅图像真实感虚拟试戴技术,其关键在于虚拟饰品的三维注册和虚实图像的合成.首先提出了一种将人脸关键点检测与刚体姿态估计相结合,求解单幅图像中人脸三维注册信息的算法.然后阐述了借助像素颜色混合和深度缓冲检测技术解决虚实图像合成中遮挡关系和模型材质问题的方法.在AFLW(Annotated Facial Landmarks in the Wild)人脸数据库上对三维注册算法进行了量化测评,结果表明该算法的精度满足虚拟试戴技术的要求.在较大角度姿态变化以及部分遮挡条件下的实验结果表明,提出的虚拟试戴技术快速准确,试戴效果自然逼真.

实时三维人脸特征点定位

为了能够自动、实时地标定三维人脸曲面上主要特征点的位置,如鼻尖点和内眼点等,提出一种实时定位三维人脸特征点的算法.首先设计了一种基于曲面划分、直方图统计的三维局部曲面描述子——球划分直方图描述子,并使用该描述子逐点提取三维曲面顶点的局部曲面信息;其次计算其相似度,以定位三维人脸曲面上的主要特征点;在采用GPU并行运算后,能够有效地对三维人脸特征点进行实时定位.在三维人脸数据库FRGC v1.0以及BU-3DFE中的实验结果表明,与其他算法相比,该算法在三维人脸曲面上具有较强的三维人脸特征点定位能力.

一种改进的三维局部约束模型初始化方法

三维局部约束模型(3D Constrained Local Model,CLM-Z)算法,综合利用灰度和深度信息检测三维人脸数据中的特征点(如眼角、鼻尖和嘴角),实现了较高的检测精度。CLM-Z方法一般使用人脸位置和平均三维人脸模型进行初始化。设计了四个实验定量地分析CLM-Z参数初始化对算法精度的影响:在BU-4DFE库上评估CLM-Z算法精度;通过平移人脸边界框扰动平移参数的初始值;通过缩放人脸边界框扰动尺度参数的初始值;通过给定绕y轴和z轴的旋转角扰动旋转参数的初始值。实验结果表明,CLM-Z算法可容忍平移扰动约为人脸宽的1/6,在(0.75,1.50)缩放范围内算法精度不会下降,可容忍y轴和z轴旋转角约20°。基于以上评估结果,进一步提出在纹理图像上检测特征点作为初始化,然后再进行CLM-Z迭代。在BU-4DFE数据库上的评估结果证明,该初始化方法能有效提升CLM-Z方法的特征点定位精度。