基于BTSM-LDA的口形动态特征及多流异步音视频语音识别

引入一种基于贝叶斯切线形状模型（BTSM）的口形轮廓特征提取和基于线性判别分析（LDA）的视觉语音动态特征提取方法，该特征充分体现了口形特征变化的动态性，消除了直接口形轮廓几何特征的冗余。同时采用一种新颖的多流异步动态贝叶斯网络（MS—ADBN）模型来实现音视频的连续语音识别，该模型在词节点级别体现了音视频流的同步异步性。识别实验结果表明：采用LDA视觉语音动态特征的系统性能明显优于静态的口形轮廓几何特征，在语音信噪比为0～30dB的测试环境下，融合LDA视觉特征的MS—ADBN模型比多流异步HMM的平均识别率提高4．92％，说明MS—ADBN模型更好地表达了音视频流之间的异步关系。

基于多流三音素DBN模型的音视频语音识别和音素切分

为实现音视频语音识别和同时对音频视频流进行准确的音素切分,该文提出一个新的多流异步三音素动态贝叶斯网络(MM-ADBN-TRI)模型,在词级别上描述了音频视频流的异步性,音频流和视频流都采用了词-三音素-状态-观测向量的层次结构,识别基元是三音素,描述了连续语音中的协同发音现象。实验结果表明:该模型在音视频语音识别和对音频视频流的音素切分方面,以及在确定音视频流的异步关系上,都具备较好的性能。