基于稀疏DBN和双向LSTM的视觉语音识别算法

Visual speech recognition algorithm based on improved sparse DBN and bidirectional LSTM

唇部视觉信息作为语音识别的辅助信息一直受到广泛关注,为更好的提取唇部视觉信息,提出一种基于稀疏深度信念网络(Deep Belief Network,DBN)和双向长短期记忆网络(Bidirectional Long Short-Term Memory,BiLSTM)的视觉语音识别算法。该算法通过在DBN的目标函数后引入混合的范数和范数来实现DBN的稀疏表示,以此稀疏DBN对唇部视觉信息进行稀疏瓶颈特征的提取,再将提取的瓶颈特征送入BiLSTM进行特征的学习分类。实验表明,该算法能有效的识别唇部视觉信息。