I-vector聚类字典及注意力机制框架的说话人自适应

近些年来,语音识别任务中的说话人自适应技术在实际工程中得到广泛应用.基于i-vector的说话人自适应是其中最为重要的一种,但是提取i-vector需要用到整句话的信息,并不能用于线上的自适应.因此,本文设计了一种基于i-vector聚类字典及注意力机制的自适应框架,测试时能够在不提取i-vector和不进行二遍解码的前提下快速实现线上自适应,并且该框架具有灵活性优和可扩展性好的优点,能够方便的用于其他类型的自适应,如地域自适应和性别自适应.在Switchboard任务上,实验结果表明我们提出的框架在不同的声学模型上相对于基线均有性能提升,并且通过说话人识别任务进一步证明了该方法的合理性.

基于DNN处理的鲁棒性I-Vector说话人识别算法

提出了一种将基于深度神经网络(Deep Neural Network,DNN)特征映射的回归分析模型应用到身份认证矢量(identity vector,i-vector)/概率线性判别分析(Probabilistic Linear Discriminant Analysis,PLDA)说话人系统模型中的方法。DNN通过拟合含噪语音和纯净语音i-vector之间的非线性函数关系,得到纯净语音i-vector的近似表征,达到降低噪声对系统性能影响的目的。在TIMIT数据集上的实验验证了该方法的可行性和有效性。

基于多特征I-Vector的说话人识别算法

针对单一声学特征无法精准高效地辨识说话人身份的问题,提出了一种基于多特征I-Vector的说话人识别算法.该算法首先采集不同的声学特征并将其构成一个高维特征向量,然后通过主成分分析法有效地剔除高维特征向量的关联,确保各种特征之间正交化,最后采用概率线性判别分析进行建模和打分,并在一定程度上降低空间维度.在TIMIT语料库上利用Kaldi进行实验,算法运行结果表明,该算法较当前流行的基于I-Vector的单一梅尔频率倒谱系数和感知线性预测系数的特征系统在等错误率上分别提高了8.18%和1.71%,在模型训练时间上分别减少了60.4%和47.5%,具有更好的识别效果和效率.

基于I-Vector的多核学习SVM的说话人确认系统

自I-Vector(身份认证矢量)被提出以来,基于I-Vector的说话人确认系统迅速取代了基于GMM超矢量的系统并开始流行。I-Vector-SVM系统作为其中之一,在通常训练样本较少的说话人确认领域有着独特的优势,但其性能受核函数影响较大。因此,基于多核学习(Multiple Kernel Learning,MKL)思想,构建了基于I-Vector的多核学习SVM说话人确认系统,并与I-VectorSVM基线系统进行了性能比较。基于NIST语料库的实验表明,基于I-Vector的多核学习说话人确认系统相对于基线系统可取得一定的性能提升。

基于贝叶斯主成分分析的i-vector说话人确认方法

身份-矢量(identity-vector,i-vector)方法作为说话人确认领域中的主流方法之一,能够通过学习总变化空间来获取有效的低维说话人特征——i-vector特征.但是当开发集数据不充足时,会导致学习到的总变化空间模型误差较大;同时,还无法有效确认此时的总变化空间是否因为预先设置的维度过高而学到了冗余信息.为此,本文将贝叶斯主成分分析(Bayesian Principal Component Analysis,BPCA)引入总变化空间的学习过程中,利用其来为总变化空间引入更多的先验信息,从而对开发集数据中包含的信息进行补充,并在先验信息的约束下削弱总变化空间中无效维的影响.实验结果表明,当开发集数据不充足时,相比于传统的总变化空间学习方法,BPCA方法能够有效提升说话人确认系统的识别性能.

基于i-vector全局参数联合的说话人识别

以高斯通用背景模型(Gaussian mixture model-universal background model,GMM-UBM)和i-vector模型为主的说话人识别算法在实际应用中取得了不错的成绩,但i-vector说话人识别模型中存在没有充分考虑通用背景(universal background,UB)数据与训练数据耦合性的问题导致模型性能不佳。提出了基于i-vector全局参数联合(global parameter joint of identify vector,GPJ-IV)的说话人识别方法。该方法利用背景说话人特征训练得到说话人通用背景模型(universal background model,UBM),构建基于全局联合差异空间和联合信道补偿的GPJ-IV模型。通过实验测试并与传统方法进行对比,实验结果显示,所提出的GPJ-IV模型相比i-vector模型,等错误率(equal error rate,EER)和最小检测代价函数(minimum detection cost function,MinDCF)性能分别提升了58.99%和15.9%。

基于多特征i-vector的短语音说话人识别算法

当测试语音时长充足时,单一特征的信息量和区分性足够完成说话人识别任务,但是在测试语音很短的情况下,语音信号里缺乏充分的说话人信息,使得说话人识别性能急剧下降。针对短语音条件下的说话人信息不足的问题,提出一种基于多特征i-vector的短语音说话人识别算法。该算法首先提取不同的声学特征向量组合成一个高维特征向量,然后利用主成分分析(PCA)去除高维特征向量的相关性,使特征之间正交化,最后采用线性判别分析(LDA)挑选出最具区分性的特征,并且在一定程度上降低空间维度,从而实现更好的说话人识别性能。结合TIMIT语料库进行实验,同一时长的短语音(2 s)条件下,所提算法比基于i-vector的单一的梅尔频率倒谱系数(MFCC)、线性预测倒谱系数(LPCC)、感知对数面积比系数(PLAR)特征系统在等错误率(EER)上分别有相对72. 16%、69. 47%和73. 62%的下降。不同时长的短语音条件下,所提算法比基于i-vector的单一特征系统在EER和检测代价函数(DCF)上大致都有50%的降低。基于以上两种实验的结果充分表明了所提算法在短语音说话人识别系统中可以充分提取说话人的个性信息,有利地提高说话人识别性能。

基于i-vector和深度学习的说话人识别

为了提高说话人识别系统的性能,在研究基础上提出了一种将深度神经网络(Deep Neural Nerwork,DNN)模型成果与i-vector模型相结合的新方案。该方案通过有效的神经网络构建,准确地提取了说话人语音里的隐藏信息。尽管DNN模型可以帮助挖掘很多信息,但是i-vector特征并没有完全覆盖住声纹特征的所有维度。为此,在i-vector特征的基础上继续提取维数更高的i-supervector特征,有效地避免了信息的不必要损失。为证明提出方案的可行性,采用对TIMIT等语音数据库630个说话人的语音进行了训练、验证和测试。验证实验结果表明,在提取i-vector特征的基础上提取i-supervector特征的说话人识别同等错误率有30%的降低,是一种有效的识别方法。

基于总体变化子空间自适应的i-vector说话人识别系统研究

在说话人识别研究中,基于身份认证矢量(identity vector,i-vector)的子空间建模被证明是目前最前沿最有效的说话人建模技术,其中如何有效准确地估计总体变化子空间矩阵T成为影响系统性能好坏的关键问题.本文针对i-vector技术如何在新的应用环境下进行总体变化子空间矩阵T的自适应估计问题进行了研究,并提出了两种行之有效的自适应估计算法.在由美国国家标准技术局(American National Institute of Standard and Technology,NIST)组织的2008年说话人识别核心评测数据库以及自行采集的测试数据库上的实验结果显示,不论采用测试集数据本身还是与测试集较匹配的开发集数据,通过本文所提的自适应算法来更新总体变化子空间矩阵均可以使更新后的子空间更有利于新测试数据下的低维子空间描述,在新的测试环境下都更有利于说话人分类.此外实验结果还表明基于多子空间拼接的子空间自适应方法性能明显优于迭代自适应方法,而且两者的结合可达到最优的识别性能,且此时利用开发集数据进行自适应可以接近其利用测试集数据进行自适应得到的最优性能.

低资源条件下基于i-vector特征的LSTM递归神经网络语音识别系统

在低资源条件下,由于带标注训练数据较少,搭建的语音识别系统性能往往不甚理想。针对此问题,首先在声学模型上研究了长短时记忆(LSTM)递归神经网络,通过对长序列进行建模来充分挖掘上下文信息,并且引入线性投影层减小模型参数;然后研究了在特征空间中对说话人进行建模的技术,提取出能有效反映说话人和信道信息的身份认证矢量(i-vector);最后将上述研究结合构建了基于i-vector特征的LSTM递归神经网络系统。在Open KWS 2013标准数据集上进行实验,结果表明该技术相比于深度神经网络基线系统有相对10%的字节错误率降低。

用说话人相似度i-vector的非负值矩阵分解说话人聚类

基于贝叶斯或者全贝叶斯准则的说话人自动聚类或者识别方法,主要采取重复换算全发话语音段的相似量度,再组合相似性较大的语音片段实现说话人的聚类。这种方法中如果发话语音片段数越多,组合计算时间就越长,系统实时性变差,而且各说话人模型用GMM方法建立,发话语音时间短暂时GMM的信赖性降低,最终影响说话人聚类精度。针对上述问题,提出引用i-vector说话人相似度的非负值矩阵分解的高精度快速说话人聚类方法。

基于i-vector局部加权线性判别分析的说话人识别

基于i-vector的说话人识别系统通常采用LDA来消除训练和测试语音之间信道失配,不能保证样本在待识别语音近邻区域内具有最佳的分离度,这就使得目标说话人和其近邻间的得分差异较小,进而导致识别准确性下降。针对该问题,提出基于i-vector局部加权线性判别分析的说话人识别方法(LWLDA)。在计算类内和类间散度时,增加待识别语音近邻样本权重。在此基础上,通过提高待识别语音近邻域局部类间的分辨能力,尽可能减少因信道差异而产生的识别错误。在不同语音库上的实验结果表明:LWLDA在复杂信道环境下能够保持良好的鲁棒性;在交叉信道条件下的识别准确率比LDA平均提高3.6%。

利用i-vectors构建区分性话者模型的话者确认

对于电话手机语音的文本无关话者确认,运用联合因子分析构建话者信息子空间与信道信息子空间来进行失配信道补偿取得了较好的效果.然而研究表明,信道信息子空间仍然包含了可以用来区分话者的信息.因此,本文运用一种既包含话者信息又包含信道信息的全变量信息子空间来提取i-vectors低维特征矢量,再运用类内协方差规整进行失配信道补偿,最后用补偿后的i-vectors特征矢量构建支持向量机话者模型.在NIST08数据库上实验表明,本文所构建系统的性能在等误识率和最小检测代价函数上有相对近70%的提高.

语音识别中基于i-vector的说话人归一化研究

i-vector是反映说话人声学差异的一种重要特征,在目前的说话人识别和说话人验证中显示了有效性。将i-vector应用于语音识别中的说话人的声学特征归一化,对训练数据提取i-vector并利用LBG算法进行无监督聚类,然后对各类分别训练最大似然线性变换并使用说话人自适应训练来实现说话人的归一化。将变换后的特征用于训练和识别,实验表明该方法能够提高语音识别的性能。

基于i-vector说话人识别算法中训练时长研究

为了进一步提升i-vector说话人识别模型的系统性能,探讨了基于i-vector的说话人识别系统中训练时长、男女比例和高斯混合度对系统识别性能的影响。针对训练时长、男女比例和高斯混合度设置了一组实验,结合目前最流行的语音识别工具Kaldi进行验证,得出i-vector说话人识别算法的最佳参数,为以后的基于i-vector说话人识别算法研究提供数据依据。

说话人识别的不确定性i-vector分析

针对噪声环境中说话人识别性能不稳定问题,提出一种基于不确定性前端因子分析的说话人识别方法。通过不确定性估计改进传统的i-vector特征抽取方式,实现在噪声环境中性能稳定的说话人识别。实验结果表明,该方法具有较高的说话人识别准确率,是高鲁棒性的,可广泛用于语音识别任务。

基于改进信道补偿的I-vector说话人识别

说话人识别算法的准确率受多种因素影响,其中受到说话人语音信道影响较为明显,常用说话人识别方法通过使用MFCC提取说话人语音信息的特征参数,并通过端点检测技术处理说话人特征,建立说话人通用背景模型,即GMM-UBM模型。使用因子分析技术将模型中的语音特征高维超向量映射成固定长度低维矢量,得到身份认证矢量I-vector。利用信道补偿技术处理I-vector,可以提高识别准确率。文中提出一种改进的信道补偿技术,通过对身份认证矢量进行信道补偿和特征参数降维,在样本数较多的情况下,通过补充缺失类内类间信息,去除信道因子的影响,能够提高系统对说话人的区分度,并提高识别准确率。实验结果表明,改进的信道补偿算法和I-vector模型结合后,可以获得更好的识别准确率,较传统信道补偿技术准确率提高3%~5%。

基于改进的i-vector 的方言语种识别

经典的i-vector的提取方法利用方言特征在通用背景模型(Universal Background Model,UBM)的统计差异来构建全局差异空间,对方言语种的区分能力较弱。为此,提出了一种基于改进的i-vector的提取算法,利用方言特征在方言相关的高斯混合模型(Gaussian Mixture Model,GMM)上的统计差异来构建全局差异空间,提升i-vector对方言语种的区分能力。首先基于方言相关GMM分别构建全局差异空间;其次拼接各空间中提取到的i-vector并进行主成分分析(Principal Component Analysis,PCA)降维,得到改进的i-vector;最后采用高斯概率线性判别分析(Gaussian Probabilistic Linear Discriminant Analysis,GPLDA)模型进行建模和打分。实验表明,所提算法较经典i-vector算法能更有效地提升对方言语种的识别性能。

基于一维卷积神经网络和i-vector的孤立词语音识别

针对孤立词语音识别的任务,采用一维卷积神经网络(CNN)作为声学模型,利用卷积核在时间轴上的移动来反映语音信号的时变性,从而提高识别性能。然后引入了反映说话人特征的身份认证矢量i-vector,通过i-vector特征消除说话人差异对识别造成的影响,进一步提高识别性能。在实验室自建语音库上的实验表明,基于这两种方法的识别系统达到了91%的识别准确率。

基于改进i-vector的说话人感知训练方法研究

基于辨识向量(i-vector)的说话人感知训练方法使用MFCC作为输入特征对i-vector进行提取,但MFCC较差的特征鲁棒性会影响该训练方法的识别性能。为此,提出一种基于改进i-vector的说话人感知训练方法。设计基于SVD的低维特征提取方法,用其提取的特征替代MFCC对表征能力更优的i-vector进行提取。实验结果表明,在捷克语语料库中,相对于DNN-HMM语音识别系统与原始基于i-vector的说话人感知训练方法,该方法的识别性能分别提升了1.62%与1.52%,在WSJ语料库中,该方法识别性能分别提升了3.9%和1.48%。