对数线性翻译模型的判别式训练综述

目前几乎所有的统计机器翻译系统都采用对数线性模型建模.判别式训练是基于对数线性翻译系统的一个重要组成部分,其任务就是优化对数线性模型的参数。到现在为止,有很多判别式训练方法可以用来训练翻译模型权重。从似然函数、错误率函数和可扩展方法三个方面,系统地阐述并分析了这些训练方法,旨在让更多的研究者更好地了解判别式训练方法的发展现状、为判别式训练的进一步发展起到推动作用。同时,还就判别式训练提出了两个值得进一步探讨的问题。

判别式训练方法在连续语音识别中的应用

文章探讨了判别式训练在大词汇量连续语音识别系统中的应用问题,介绍了判别式分析训练理论,对比分析了最大互信息准则、最小词错误准则和最小音素错误准则,同时与传统的最大似然训练规则进行了对比分析,提出了一种结合最大似然估计方法和判别式训练方法的模型训练方法,最后用实验证明了该算法能够有效提高声学模型的识别率。

基于DNN-HMM和RNN的维吾尔语语音识别

基于深层神经网络(DNN)的语音识别模型不仅在单个语言上表现出色,而且在多语言信息处理领域也表现出了优异的能力。随着语音数据量的增加,高斯混合模型(GMM)在有效提升大词汇量连续语音识别系统性能以及识别效果上被神经网络(NN)模型超越。文中采用Kaldi开源语音识别平台,结合RNN语言模型和DNN模型的三种损失函数,即最大互信息量(MMI)、最小贝叶斯风险(sMBR)和最小因素错误率(MPE),在维吾尔语语料库(THUYG-20公开语料库)测试数据上分别取得了16.73%,16.55%和15.95%的词错误率。相比高斯混合模型的词错误率分别降低了2.88%,3.06%和3.66%。深层神经网络在资源匮乏的少数民族语言以及多语言信息处理上有更强的能力。

隐子空间聚类算法的改进及其增量式算法

基于稀疏表示的隐子空间聚类(latent subspace clustering,LSC)算法,相对于传统的子空间聚类算法,具有更快的聚类速度,使其适用于更大的数据集,但是其存在字典训练具有随机性,占用内存过多等缺陷。参照LC-KSVD字典训练算法的思想,通过将一部分信号的标签信息添加进字典训练阶段,以此提高了字典的判别性,进而提出了聚类精度更好的ILSC(improved LSC)算法。但相比于LSC算法,ILSC算法在字典训练阶段的耗时却大幅增加,针对此缺陷,参照增量字典训练的思想,提出了ILSC算法的增量式聚类算法I2LSC(incremental ILSC),在确保聚类精度、NMI(normalized mutual information)、RI(Rand index)值高于LSC且与ILSC相当的同时,较之ILSC具有更快的运行速度。