前馈序列记忆网络在语音识别中的应用综述

为了改进传统的语音识别方法,使其达到低时延、高识别率的目的,以前馈序列记忆网络(feed-forward sequential memory network,FSMN)为研究主线,对语音识别的发展历程,FSMN的各种变体及其相应的应用状况进行综述,结果表明FSMN在语言建模任务上,使用wiki 9数据集能使Perplexity值降到90,并且训练周期比RNN快2倍.未来语音识别的发展趋向于更高识别性能和更多语种.

一种基于前馈序列记忆神经网络的改进方法

针对具有时序性的信号的分析和建模,主流的RNN、LSTM由于反馈连接的影响,在学习效率和稳定上有所不足。本文基于标准的前馈神经网络,借鉴滤波器中的抽头延迟线结构,提出一种改进的前馈序列记忆神经网络FSMN(cFSMN)和深层cFSMN(Deep-cFSMN),实现时序的音视频信号快速建模,减少了反馈连接,具有更高的学习速率和更好的稳定性。

基于改进DFSMN的非特定人语音识别模型

深度前馈序列记忆网络(Deep Feedforward Sequential Memory Network,DFSMN)是一种识别准确率较高且在非特定人语音识别领域得到良好应用的声学模型,但存在参数冗余、模型训练困难的情况。针对此问题,提出一种基于改进DFSMN的非特定人语音识别模型。该模型改进了DFSMN记忆模块大小和模块之间的连接方式,并结合连接时序分类(Connectionist Temporal Classification,CTC)端到端语音识别框架。实验结果表明,在相同条件下,该改进模型的参数量较之前减少了约1/10,在不同数据集上与几种常见语音识别模型相比,其语音识别字符错误率均最低,在识别准确率和模型训练效率方面具有一定的优越性。

基于深度学习的闽南语语音识别

目前的智能家居语音控制仍以普通话为主,较难进行方言的识别。闽南语作为福建第一大方言,使用人数众多,将闽南语语音识别用于智能家居系统将有广阔前景。为了提高闽南语语音识别模型的性能,本文将cFSMN声学模型、DFSMN声学模型和MTL-DFSMN声学模型分别在闽南语语音语料库上进行验证,最终选择声学模型MTL-DFSMN用于闽南语语音识别。该模型能更精准识别用户的闽南语语音指令和满足智能家居系统的要求。

DFSMN-T:结合强语言模型Transformer的中文语音识别

自动语音识别系统由声学模型和语言模型两部分构成,但传统语言模型N-gram存在忽略词条语义相似性、参数过大等问题,限制了语音识别字符错误率的进一步降低。针对上述问题,提出一种新型的语音识别系统,以中文音节(拼音)作为中间字符,以深度前馈序列记忆神经网络DFSMN作为声学模型,执行语音转中文音节任务,进而将拼音转汉字理解成翻译任务,引入Transformer作为语言模型;同时提出一种减少Transformer计算复杂度的简易方法,在计算注意力权值时引入Hadamard矩阵进行滤波,对低于阈值的参数进行丢弃,使得模型解码速度更快。在Aishell-1、Thchs30等数据集上的实验表明,相较于DFSMN结合3-gram模型,基于DFSMN和改进Transformer的语音识别系统在最优模型上的字符错误率相对下降了3.2%,达到了11.8%的字符错误率;相较于BLSTM模型语音识别系统,其字符错误率相对下降了7.1%。

基于TDNN-FSMN的蒙古语语音识别技术研究

为了提高蒙古语语音识别性能,该文首先将时延神经网络融合前馈型序列记忆网络应用于蒙古语语音识别任务中,通过对长序列语音帧建模来充分挖掘上下文相关信息;此外研究了前馈型序列记忆网络"记忆"模块中历史信息和未来信息长度对模型的影响;最后分析了融合的网络结构中隐藏层个数及隐藏层节点数对声学模型性能的影响。实验结果表明,时延神经网络融合前馈型序列记忆网络相比深度神经网络、时延神经网络和前馈型序列记忆网络具有更好的性能,单词错误率与基线深度神经网络模型相比降低22.2%。