Fast Individual Facial Animation Framework Based on Motion Capture Data

Based upon motion capture,a semi-automatic technique for fast facial animation was implemented. While capturing the facial expressions from a performer,a camera was used to record her /his front face as a texture map. The radial basis function( RBF) technique was utilized to deform a generic facial model and the texture was remapped to generate a personalized face.Partitioning the personalized face into three regions and using the captured facial expression data,the RBF and Laplacian operator,and mean-value coordinates were implemented to deform each region respectively. With shape blending,the three regions were combined together to construct the final face model. Our results show that the technique is efficient in generating realistic facial animation.

基于微小运动的人脸活体检测算法

针对人脸识别过程中容易受到打印攻击、视频重放攻击的问题,提出一种利用微小运动的人脸活体检测算法。该算法对视频进行运动放大处理以增强微小运动;使用运动强度和运动方向描述微小运动,生成两种运动特征图并进行融合;使用基于注意力机制的VGG16网络进行真伪判别。在Replay-attack数据集上半错误率(HTER)为1.35%,在CASIA FASD数据集上等错误率(EER)为2.5%,证明了微小运动对人脸防伪的有效性。

一种基于生成对抗网络的人脸运动模糊去除方法

拍摄人像时,由于摄影器材震动或人物移动等原因,图像会出现运动模糊情况,严重影响了画面品质。而在影像跟踪或门禁识别等场景中,若画面出现运动模糊,可能导致目标无法识别,使得定位、辨认、追踪等任务失败。因此,去除运动模糊对于人脸识别应用有着至关重要的作用。文章针对人脸图像的运动模糊问题,提出一种基于生成对抗网络的人脸运动模糊去除方法,在编解码结构中引入多个跳跃连接,将卷积过程中提取的特征引入反卷积过程,同时通过全局跳跃连接,提高对特征信息的复用,并降低学习复杂度,最后调整损失函数权重,得到模糊图像到修复图像的端到端网络。实验结果表明,该方法在消除人脸运动模糊方面有较好的效果,对人脸的轮廓等细节的恢复也有很好的改善作用。

陈以国教授针刺治疗面肌痉挛经验

面肌痉挛迁延难愈,大幅降低了患者的生存质量。陈以国教授从事临床、科研、教育工作数十年,临床经验丰富,治疗面肌痉挛疗效显著。陈教授认为面肌痉挛是本虚标实之证,以肝阴不足、肝气失疏而致肝亢失制为本,经筋失濡为标。肝亢失制,风气外现贯穿该病始终,整体表现为面肌异常之“动”。“肝木偏亢,经筋失养”为其病机关键。治疗当遵滋肝阴疏肝气、肺金承制肝木、熄风动濡经筋。故陈教授基于《内经》独创“陈氏吊针”,结合基于圆运动独创的“腹三针”,明辨病机,谨遵辨证以论治,借助共同作用调动肺脏、恢复肝脏和经筋的生理功能治疗该病。附验案一则,以资佐证。

一种同步人脸运动跟踪与表情识别算法

针对单视频动态变化背景下的人脸表情识别问题,提出了一种同步人脸运动跟踪和表情识别算法,并在此基础上构建了一个实时系统.该系统达到了如下目标:首先在粒子滤波框架下结合在线外观模型和柱状几何模型进行人脸三维运动跟踪;接着基于生理知识来提取人脸表情的静态信息;然后基于流形学习来提取人脸表情的动态信息;最后在人脸运动跟踪过程中,结合人脸表情静态信息和动态信息来进行表情识别.实验结果表明,该系统在大姿态和丰富表情下具有较好的综合优势.

极低码率下的2D-3D人脸视频编解码

针对动态变化背景下的人脸视频编解码问题,该文提出了一种2D-3D混合编解码系统;具体包括:(1)基于多种观测信息,在线外观模型和粒子滤波的人脸三维运动跟踪;(2)结合参数模型与肌肉模型的3D人脸动画合成;(3)基于头发检测和3D头发模型的头发合成;(4)无缝地拼接前景的三维编解码结果和背景的二维编解码结果.在极低码率下,客观实验表明,该系统在编码效率和解码质量上有较好的综合优势.主观实验表明,该系统的解码结果在脸部具有较高的辨识度.

面向人机接口的多种输入驱动的三维虚拟人头

面向人机接口领域,文中提出了一个可由多种输入驱动的三维虚拟人头系统.该系统具有如下特性:(1)由视频、文本和语音多种输入驱动,增加了与人交互的多样性;(2)在粒子滤波框架下根据在线外观模型跟踪视频中的人脸三维运动,并且融合多种观测信息来降低在线外观模型的光照敏感性和个体相关性;(3)参数模型和肌肉模型相结合的三维人脸动画,在保持生理结构的基础上描述人脸运动,进而达到高真实感,同时大大降低了计算量;(4)在保持正确率的前提下,采用三音子模型降低了可视化协同发音模型的计算复杂度.对该虚拟人头的客观和主观测试验证了其在人机交互上的有效性.

一种鲁棒高精度的人脸三维运动跟踪算法

提出了一种在粒子滤波框架下的结合在线外观模型(online appearance model,OAM)和柱状人头模型(cylinder head model,CHM)的人脸三维运动跟踪方案,具体包括:1)融合多种观测信息来降低OAM的光照敏感性和个体相关性;2)针对OAM适合跟踪局部运动但在大姿态下会跟踪失败的问题,将OAM与适合于大姿态下全局运动跟踪的CHM结合起来,在当前帧将CHM匹配得到的全局运动参数作为OAM匹配的初始值,将OAM匹配得到的人脸运动参数作为下一帧CHM匹配的初始值;3)基于局部优化和改进重采样来改进粒子运动滤波策略.实验表明:该系统在大姿态、表情剧烈变化、遮挡和强光照下能得到较好的跟踪效果,且OAM+CHM的跟踪正确率高于OAM的24%,OAM+CHM的姿态跟踪范围大于OAM的11%.主观实验表明:由跟踪得到的人脸运动参数合成的虚拟人脸具有较高的辨识度.

面孔识别动态增益效应研究综述

近年来,研究者围绕动态面孔识别中的动态增益效应开展了一系列的研究。本文围绕面孔熟悉程度和面孔的活动类型两个方面对与动态增益效应有关的一系列动态面孔认知研究进行了总结,并对不同研究的差异进行了比较和分析。最后,对动态面孔认知规律、眼动模式和脑机制等研究方向上的发展进行了展望。

虚拟人面部行为的合成

虚拟人是虚拟现实环境中很重要的一部分，对于虚拟人行为的研究除了应从宏观上考虑虚拟人的群体行为属性之外，对个体行为用性的研究也非常重要．个体行为包括自然行为和意识行为．自然行为主要是和脸部、头部以及四肢运动有关的行为．而意识行为则包括与语言和心理活动相关联的表情、发声以及对应的唇动手势动作等．本文旨在研究与意识行为有关的虚拟人面部图像合成技术，讨论了标准人脸图像的参数合成方法，给出了特定人脸图像与标准人脸图像的映射以及面部表情图像和发音口型的合成方法．

基于线索引导的面部运动捕捉与数据虚拟重用方法

多数无标记面部表情运动捕捉方法仅捕捉面部表情运动的平面位置变化,而无纵深变化描述。针对这一问题,提出了基于线索引导的面部运动捕捉与数据虚拟重用方法。首先,使用单目视觉系统对人脸主体区域进行定位;然后,采用级联回归模型对人脸地标特征逐步求精,通过利用人脸特征的主动地标线索和地标特征的深度线索得到特征点在三维空间上的位置变换关系;最后,借助面部骨骼节点的数据表示实现面部表情运动重构。通过在线的实时面部表情运动捕捉实验效果可以看出,该方法不仅能够实现不同视角下对应地标特征的精确匹配,而且能够较好地将真实面部运动赋予虚拟角色。

工效虚拟人研究的最新进展

产品的人机工程设计是考虑到其未来操作者的生理、心理因素,应用工效学的理论与方法去解决如何方便使用、降低操作失误问题,以达到人与机器完美地结合。因此,工效虚拟人是产品人机交互设计与评价仿真中必不可少的技术手段。首先对其目前有关工效虚拟人的建模、运动控制、面部行为合成以及疲劳表达等方面的研究内容进行详细地分析。在此基础上,针对应用需求,论述了工效虚拟人的疲劳判定、动作规划等未来研究方向,最后,认为研究疲劳状态的判定经验方程,可作为工效虚拟人疲劳状态的判据。结合面部特征点的运动规律,实现面部疲劳表情显示。

三维扫描仪技术在用户界面设计中的研究

将三维扫描仪在虚拟产品建模中的应用引入到计算机视觉的研究之中,根据人体结构与骨架特征,构建了一种快速且比较准确的表情和行为特征采集方法,并在此基础上讨论了以用户为中心进行界面设置的方法,即将用户的日常表情与行为习惯进行统计与分析,实现了一种基于用户模型的自适应用户界面,其中三维扫描仪专指光栅投影照相式三维测量仪,计算机专指个人计算机。

面部运动录像分析法

目的 研究一种新的、客观评价面神经运动功能的方法即面部运动录像分析法(videomimicography ,VMG)。方法 受试者面部作 11个标记点 ,进行 5种面部运动 (皱额、闭眼、皱鼻、吹哨和微笑 ) ,使用数字式录像机进行录像。每个动作要求用最大的收缩强度重复 3次。选取 3个静息状态画面和 15个最大运动画面 (每个运动选 3个 ) ,在软件控制下输入计算机 ,进行图形测量。分析每一个运动时每侧面部 10个距离指标和 5个面积指标的变化。首先分析 10例健康人 ,找出每一运动的最佳评价指标。从这些最佳指标加权计算出一个综合指数。分析 4 8例面瘫患者 ,研究该综合指数与面瘫的House Brackmann分级的相关性。结果 正常组结果显示 :面积指标优于距离指标。每一运动有相应的最佳评价指标。面瘫患者组 :根据正常组得出的最佳指标加权计算得出VMG值 ,根据瘫痪侧的VMG值占健侧VMG值的百分率计算出VMG指数。VMG指数与面瘫的House Brackmann级数呈很好的线性相关 (r=- 0 92 8) ,并具有统计学意义 (P <0 0 0 1)。该实验在健康对照组和面瘫患者组均具有很好的重复性。结论 本方法具有客观、定量、重复性好和简便、易行的优点 ,对临床评价面神经运动功能具有实际意义。

基于非刚体运动光流算法的面部表情识别

本文讨论了基于光流法的面部表情识别。由于面部表情运动是一非刚体运动,容易产生形变,因此标准光流法估计不准确。为此,本文通过引入div-curl样条函数作为扩展光流约束方程的附加约束条件,推导了非刚体光流算法,并给出了一阶和二阶div-curl样条约束下光流的数值解。最后将该算法用于面部表情特征提取,构建了HMM与BP神经网络混合分类器。实验结果表明面部表情识别率得到显著提高。

一个聋哑人辅助教学系统

为促进聋哑人与正常人之间的交流，本文设计并实现了一个聋哑人辅助教学系统．该系统的功能是能够在文本的驱动下实时合成一个有表情，有口型，有手势动作的三维虚拟“图形人”．对于用户任意输入的一段文本，系统首先将其切分成词的序列，然后顺次驱动“图形人”根据当前词蕴涵的感情色彩做出相应的表情，同时作出该词发音时的相应口型并打出对应于当前词的哑语手势．本系统可以直接应用于聋哑人辅助教学．

时空人脸表情动画编辑

为了提高计算机合成人脸表情动画的后期制作效率,提出一种基于时空的人脸表情动画编辑方法.首先使用基于拉普拉斯的网格变形技术将用户的编辑效果在空间域传播到整个人脸模型,很好地保留了中性人脸模型的几何细节特征,从而提高合成表情的真实感;然后使用高斯函数将用户编辑效果在时间域传播到邻近表情序列,保持人脸表情动画的平滑过渡,所合成人脸表情动画与初始给定数据保持一致.该方法为用户提供了人脸表情动画编辑的局部控制,可由用户指定编辑的影响范围,使得编辑效果在指定范围内自然传播.实验结果表明,文中方法所合成人脸表情动画自然、真实,有效地提高了数据驱动人脸表情动画的编辑效率.

基于肤色与人脸运动相结合的自动表情识别算法研究

基于肤色与人脸运动相结合的自动表情,对其识别算法进行研究。通过RGB将图像转为YIQ颜色空间,在YIQ中第I维中进行图像数据的提取,在二值图像中将背景和肤色分割出来。采用Pareto优化算法进行人脸表情特征的选取,算法计算量少,构结简单,运行速度快,能对小角度人脸肤色、人脸面部表情变化、人脸旋转、人脸面部存在遮挡物等情况准确检测和跟踪。实验表明,对于人脸小角度转动,该算法能较好适应;对于人眼的状态,该算法不受影响;对于丰富的面部表情变化和不同的肤色均能更好地适应,具有一定的稳定性。

身体姿态和面部捕捉及虚拟角色动作迁移研究

针对虚拟人角色动作捕捉设备成本过高、识别准确率较低和操作过于繁琐的问题,提出了一种基于单目摄像头的运动捕捉系统及其实现方法。方法基于OpenPose算法获取每个人的2D实时运动关节点,进而通过一个线性回归神经网络将2D关节转换为3D关节点,可以实时采集多人运动的图像并计算各关节位置姿态,从而实现人体的运动捕捉以及向虚拟角色的迁移。还研究了一种面部捕捉算法,使用径向基函数的插值方式,将面部控制点信息转换为三维网格的实时变形动画效果。实验表明,上述方法操作简单、价格低廉、识别准确率高、运行稳定,可以用于影视特效和游戏娱乐素材制作,以及各种交互系统当中。

单侧面神经切除后面部运动特征定量分析

目的应用面部三维动态定量分析系统(3-Dimensional Analysis System for Facial Motion,3D-ASFM)对面神经部分切除术后的患者进行测量,探讨修复与未修复患者面部静态和动态指标的变化。方法14例面神经部分切除患者,分为神经修复组(9例)和未修复组(5例)。对所有患者进行半年以上跟踪随访,中位随访期13个月。所有患者术前及术后均进行面部运动主观评估(House-Brackmann分级和Sunnybrook评分)和面部三维动态测量。比较三种评估结果相关性。比较修复组与未修复组患者术前、术后各评估结果,对修复组患者各面部区域进行分析。结果3D-ASFM分析结果分别与House-Brackmann分级(H-BGS)、Sunnybrook评分(SFGS)进行秩相关分析,相关系数分别为-0.707(P<0.05)和0.798(P<0.05)。面瘫越严重,3D-ASFM与主观评价系统的相关性越差。术后H-BGS、SFGS总分均存在统计学差异(P<0.05),修复组好于未修复组,3D-ASFM总分在两组间无统计学差异(P>0.05),但鼻旁运动好于未修复者。修复组患者术前、术后H-BGS、SFGS、3D-ASFM总分均无统计学差异(P>0.05)。所有患者健侧动态指标中,上面部运动较术前减小,下面部运动较术前增加。结论面部三维动态定量分析结果与传统主观评价系统有较好的相关性。神经修复对面中部运动影响最大。面神经切除手术不仅造成同侧面部运动改变,也会影响对侧面部运动。