视觉驱动的语音合成系统中唇形轮廓的傅里叶描述

为了能够自动、快速地表示唇读系统中所必须的唇形轮廓特征,将傅里叶描述子用于唇形轮廓的描述和识别过程中,采用边界傅里叶变换的方法,得到非对称唇形模型中唇形轮廓的傅里叶描述子,用来刻画唇动过程中唇形轮廓的形状信息,并将傅里叶描述子φ作为唇形轮廓的特征向量,应用于基于隐马尔可夫模型(HMM)的视觉驱动语音合成系统。基于独立汉字发音的实验表明,单纯采用前15或20个傅里叶描述子就能够有效地刻画唇形轮廓描述,达到唇形识别的目的。

面向残疾人的汉语可视语音数据库

将人机交互领域中研究的唇读技术应用于康复工程之中,设计了一个基于视觉语言的语音合成系统。该系统特别针对后天致残,丧失语音能力的人设计,采用了一种特定条件下的汉语可视语音数据库。不同于现有的数据库,该数据库的设计具有以下特点:采用了非对称唇形轮廓模型,提取了嘴唇突出度的信息;针对汉语音节的特点,增强了汉字音节中信息变化过程;兼顾未来唇读技术的发展,以音节为基本元素,具有可扩充性。采用运动检测和数学形态学的办法提取唇动图像序列中的唇形区域,并从中提取非对称唇形轮廓模型特征参数,同时通过计算部分参数对时间的差分,来获得唇形轮廓的动态信息。基于隐马尔可夫模型的学习和识别实验表明,该数据库的设计方法合理,所选的唇动特征用能够将识别效果平均提高25%。