基于Viseme的连续语音识别系统及Talking Head

为实现听觉/视觉驱动的说话人头部动画,该文给出了一个基于viseme(说话时的基本嘴形单位)的连续语音识别系统。它训练viseme隐马尔可夫模型(HMM),识别语音为viseme图像序列。建模采用triseme的概念来考虑viseme的上下文相关性,但它需要超大量的训练数据。该文根据viseme图像及其相似度权值(VSW)定义视觉问题集,用来建立triseme决策树,以实现triseme的状态捆绑及HMM参数共享。为比较系统性能,基于phoneme(听觉领域的语音基本单位)的语音识别结果也被映射为viseme序列。在评价准则上,定义viseme图像相似度加权识别精度,更全面地考虑输出和参考图像序列的差别,并用嘴形圆度和VSW曲线中的突变点来评估所得viseme序列的平滑性。结果表明,基于viseme的语音识别系统能给出更平滑和合理的嘴形图像序列。

一种用于说话人头部动画的Viseme语音识别系统

Viseme是在语音驱动说话人头部动画中一种常用的为口形建立的音频 -视频模型。本文尝试建立viseme隐马尔可夫模型(HMM) ,用于驱动说话人头部的语音识别系统 ,称为前映射系统。为了得到更精确的模型以提高识别率 ,引入考虑发音口形上下文的Triseme模型。但是引入Triseme模型后 ,随着模型数量的急剧增加将导致训练数据的严重不足。本文使用决策树状态捆绑方法来缓解这一问题 ,同时引入了一种以口形相似度为基础的决策树视频问题设计方法。为了比较viseme系统的性能 ,本文也建立了一个以phoneme为基本HMM模型的语音识别系统。在评价准则上 ,使用了一种客观评价说话人头部动画的加权识别率。实验表明 ,以viseme为基本HMM模型的前映射系统可以为说话人头部提供更加合理的口形。

一种稳健的基于VisemicLDA的口形动态特征及听视觉语音识别

视觉特征提取是听视觉语音识别研究的热点问题。文章引入了一种稳健的基于Visemic LDA的口形动态特征,这种特征充分考虑了发音时口形轮廓的变化及视觉Viseme划分。文章同时提出了一利利用语音识别结果进行LDA训练数据自动标注的方法。这种方法免去了繁重的人工标注工作,避免了标注错误。实验表明,将'VisemicLDA视觉特征引入到听视觉语音识别中,可以大大地提高噪声条件下语音识别系统的识别率;将这种视觉特征与多数据流HMM结合之后,在信噪比为10dB的强噪声情况下,识别率仍可以达到80％以上。