一种同步人脸运动跟踪与表情识别算法

针对单视频动态变化背景下的人脸表情识别问题,提出了一种同步人脸运动跟踪和表情识别算法,并在此基础上构建了一个实时系统.该系统达到了如下目标:首先在粒子滤波框架下结合在线外观模型和柱状几何模型进行人脸三维运动跟踪;接着基于生理知识来提取人脸表情的静态信息;然后基于流形学习来提取人脸表情的动态信息;最后在人脸运动跟踪过程中,结合人脸表情静态信息和动态信息来进行表情识别.实验结果表明,该系统在大姿态和丰富表情下具有较好的综合优势.

一种鲁棒高精度的人脸三维运动跟踪算法

提出了一种在粒子滤波框架下的结合在线外观模型(online appearance model,OAM)和柱状人头模型(cylinder head model,CHM)的人脸三维运动跟踪方案,具体包括:1)融合多种观测信息来降低OAM的光照敏感性和个体相关性;2)针对OAM适合跟踪局部运动但在大姿态下会跟踪失败的问题,将OAM与适合于大姿态下全局运动跟踪的CHM结合起来,在当前帧将CHM匹配得到的全局运动参数作为OAM匹配的初始值,将OAM匹配得到的人脸运动参数作为下一帧CHM匹配的初始值;3)基于局部优化和改进重采样来改进粒子运动滤波策略.实验表明:该系统在大姿态、表情剧烈变化、遮挡和强光照下能得到较好的跟踪效果,且OAM+CHM的跟踪正确率高于OAM的24%,OAM+CHM的姿态跟踪范围大于OAM的11%.主观实验表明:由跟踪得到的人脸运动参数合成的虚拟人脸具有较高的辨识度.

人脸表情运动跟踪与表情识别算法

对于人脸视频中的每一帧,提出一种静态人脸表情识别算法,人脸表情运动参数被提取出来后,根据表情生理知识来分类表情;为了应对知识的不足,提出一种静态表情识别和动态表情识别相结合的算法,以基于多类表情马尔可夫链和粒子滤波的统计框架结合生理知识来同时提取人脸表情运动和识别表情.实验证明了算法的有效性.

极低码率下的2D-3D人脸视频编解码

针对动态变化背景下的人脸视频编解码问题,该文提出了一种2D-3D混合编解码系统;具体包括:(1)基于多种观测信息,在线外观模型和粒子滤波的人脸三维运动跟踪;(2)结合参数模型与肌肉模型的3D人脸动画合成;(3)基于头发检测和3D头发模型的头发合成;(4)无缝地拼接前景的三维编解码结果和背景的二维编解码结果.在极低码率下,客观实验表明,该系统在编码效率和解码质量上有较好的综合优势.主观实验表明,该系统的解码结果在脸部具有较高的辨识度.

一种基于在线模型匹配与更新的人脸三维表情运动跟踪算法

提出一种基于在线模型匹配与更新的人脸三维表情运动跟踪算法.利用自适应的统计观测模型建立在线模型,自适应的状态转移模型结合改进的粒子滤波同时进行确定性搜索和随机化搜索,并且融合目标的多种测量信息减少光照和个体相关性的影响.利用所提出的算法既可以得到全局刚体运动参数,又可以得到局部柔性表情参数.实验证明了该算法的有效性.

面向人机接口的多种输入驱动的三维虚拟人头

面向人机接口领域,文中提出了一个可由多种输入驱动的三维虚拟人头系统.该系统具有如下特性:(1)由视频、文本和语音多种输入驱动,增加了与人交互的多样性;(2)在粒子滤波框架下根据在线外观模型跟踪视频中的人脸三维运动,并且融合多种观测信息来降低在线外观模型的光照敏感性和个体相关性;(3)参数模型和肌肉模型相结合的三维人脸动画,在保持生理结构的基础上描述人脸运动,进而达到高真实感,同时大大降低了计算量;(4)在保持正确率的前提下,采用三音子模型降低了可视化协同发音模型的计算复杂度.对该虚拟人头的客观和主观测试验证了其在人机交互上的有效性.