基于BTSM-LDA的口形动态特征及多流异步音视频语音识别

引入一种基于贝叶斯切线形状模型（BTSM）的口形轮廓特征提取和基于线性判别分析（LDA）的视觉语音动态特征提取方法，该特征充分体现了口形特征变化的动态性，消除了直接口形轮廓几何特征的冗余。同时采用一种新颖的多流异步动态贝叶斯网络（MS—ADBN）模型来实现音视频的连续语音识别，该模型在词节点级别体现了音视频流的同步异步性。识别实验结果表明：采用LDA视觉语音动态特征的系统性能明显优于静态的口形轮廓几何特征，在语音信噪比为0～30dB的测试环境下，融合LDA视觉特征的MS—ADBN模型比多流异步HMM的平均识别率提高4．92％，说明MS—ADBN模型更好地表达了音视频流之间的异步关系。