基于BTSM和DBN模型的唇读和视素切分研究

为实现文本/语音驱动的说话人头部动画,提出基于贝叶斯切线形状模型的口形轮廓特征提取方法和基于动态贝叶斯网络(Dynamic Bayesian Network,DBN)模型的唇读系统。在描述词与它的组成视素关系的基础上,得到视素时间切分序列。为比较性能,音素DBN模型和HMM的音素识别结果被影射成视素序列。在评价准则上,提出绝对视素切分正确性和基于图像与嘴唇几何特征两种相对视素切分正确性的评价标准。实验表明,DBN模型识别性能优于HMM,而基于视素的DBN模型能为说话人头部动画提供最好的口形。

基于BTSM-LDA的口形动态特征及多流异步音视频语音识别

引入一种基于贝叶斯切线形状模型（BTSM）的口形轮廓特征提取和基于线性判别分析（LDA）的视觉语音动态特征提取方法，该特征充分体现了口形特征变化的动态性，消除了直接口形轮廓几何特征的冗余。同时采用一种新颖的多流异步动态贝叶斯网络（MS—ADBN）模型来实现音视频的连续语音识别，该模型在词节点级别体现了音视频流的同步异步性。识别实验结果表明：采用LDA视觉语音动态特征的系统性能明显优于静态的口形轮廓几何特征，在语音信噪比为0～30dB的测试环境下，融合LDA视觉特征的MS—ADBN模型比多流异步HMM的平均识别率提高4．92％，说明MS—ADBN模型更好地表达了音视频流之间的异步关系。

一种基于贝叶斯切线模型的人脸对齐算法

论述一种新的人脸对齐的算法——改进的贝叶斯切线模型。该算法从形状参数中分离出姿态参数和身份属性参数,对这2个参数分别处理,通过引入曲率半径作为该特征点搜索的像素个数实现动态搜索。实验表明,该算法可以弥补BTSM不能很好处理多姿态的人脸图像对齐的缺陷,提高搜索精度,减少搜索时间。