一种用于说话人头部动画的Viseme语音识别系统

Viseme是在语音驱动说话人头部动画中一种常用的为口形建立的音频 -视频模型。本文尝试建立viseme隐马尔可夫模型(HMM) ,用于驱动说话人头部的语音识别系统 ,称为前映射系统。为了得到更精确的模型以提高识别率 ,引入考虑发音口形上下文的Triseme模型。但是引入Triseme模型后 ,随着模型数量的急剧增加将导致训练数据的严重不足。本文使用决策树状态捆绑方法来缓解这一问题 ,同时引入了一种以口形相似度为基础的决策树视频问题设计方法。为了比较viseme系统的性能 ,本文也建立了一个以phoneme为基本HMM模型的语音识别系统。在评价准则上 ,使用了一种客观评价说话人头部动画的加权识别率。实验表明 ,以viseme为基本HMM模型的前映射系统可以为说话人头部提供更加合理的口形。