基于BTSM和DBN模型的唇读和视素切分研究

为实现文本/语音驱动的说话人头部动画,提出基于贝叶斯切线形状模型的口形轮廓特征提取方法和基于动态贝叶斯网络(Dynamic Bayesian Network,DBN)模型的唇读系统。在描述词与它的组成视素关系的基础上,得到视素时间切分序列。为比较性能,音素DBN模型和HMM的音素识别结果被影射成视素序列。在评价准则上,提出绝对视素切分正确性和基于图像与嘴唇几何特征两种相对视素切分正确性的评价标准。实验表明,DBN模型识别性能优于HMM,而基于视素的DBN模型能为说话人头部动画提供最好的口形。

一种新的二维图像特征提取算法

本文在Bayesianshapemodel(BSM)算法的基础上提出了一种新的二维图像特征提取算法。新算法为形状矩阵定义了一种新的表示方法,并提出了一种根据物体形状某些点(轮廓点)的坐标来估计剩余点(控制点)的坐标的新的方法。实验结果表明,在与传统算法计算量等同的条件下,该算法在精确度方面获得了很大的提高。

基于BTSM-LDA的口形动态特征及多流异步音视频语音识别

引入一种基于贝叶斯切线形状模型（BTSM）的口形轮廓特征提取和基于线性判别分析（LDA）的视觉语音动态特征提取方法，该特征充分体现了口形特征变化的动态性，消除了直接口形轮廓几何特征的冗余。同时采用一种新颖的多流异步动态贝叶斯网络（MS—ADBN）模型来实现音视频的连续语音识别，该模型在词节点级别体现了音视频流的同步异步性。识别实验结果表明：采用LDA视觉语音动态特征的系统性能明显优于静态的口形轮廓几何特征，在语音信噪比为0～30dB的测试环境下，融合LDA视觉特征的MS—ADBN模型比多流异步HMM的平均识别率提高4．92％，说明MS—ADBN模型更好地表达了音视频流之间的异步关系。