基于改进的i-vector 的方言语种识别

经典的i-vector的提取方法利用方言特征在通用背景模型(Universal Background Model,UBM)的统计差异来构建全局差异空间,对方言语种的区分能力较弱。为此,提出了一种基于改进的i-vector的提取算法,利用方言特征在方言相关的高斯混合模型(Gaussian Mixture Model,GMM)上的统计差异来构建全局差异空间,提升i-vector对方言语种的区分能力。首先基于方言相关GMM分别构建全局差异空间;其次拼接各空间中提取到的i-vector并进行主成分分析(Principal Component Analysis,PCA)降维,得到改进的i-vector;最后采用高斯概率线性判别分析(Gaussian Probabilistic Linear Discriminant Analysis,GPLDA)模型进行建模和打分。实验表明,所提算法较经典i-vector算法能更有效地提升对方言语种的识别性能。

基于概率球面判别分析的说话人识别信道补偿算法

在说话人识别任务中,概率线性判别分析(PLDA)模型是目前常用的分类后端,但由于高斯PLDA模型分布假设不能准确拟合真实说话人特征分布,导致基于高斯分布假设长度归一化的信道补偿方法会破坏说话人特征类内分布的独立性,使得高斯PLDA不能充分利用上游任务提取特征所包含的说话人信息,从而影响识别结果。针对这一问题,提出基于概率球面判别分析的信道补偿算法(CC-PSDA),通过引入冯·米塞斯-费希尔(VMF)分布假设的概率球面判别分析模型(PSDA)和特征变换方法代替高斯分布假设的概率线性判别分析方法,以避免信道补偿对说话人特征类内分布独立性的影响。首先,为了使说话人特征符合VMF分布先验假设拟合后端分类模型,在特征级利用非线性转换对说话人特征进行分布变换。之后,利用基于VMF分布假设的PLDA模型不会破坏说话人特征的类内分布结构的特点,将变换后的说话人特征定义到特定维度的超球面,最大化特征类间距离。所提算法通过期望最大化(EM)算法进行求解,最终完成分类任务。实验结果表明,改进算法在三个测试集上的识别等错误率相较于对比模型PSDA、高斯PLDA均最低。由此可见,所提模型可以有效区分说话人特征,提高识别性能。

I-vector聚类字典及注意力机制框架的说话人自适应

近些年来,语音识别任务中的说话人自适应技术在实际工程中得到广泛应用.基于i-vector的说话人自适应是其中最为重要的一种,但是提取i-vector需要用到整句话的信息,并不能用于线上的自适应.因此,本文设计了一种基于i-vector聚类字典及注意力机制的自适应框架,测试时能够在不提取i-vector和不进行二遍解码的前提下快速实现线上自适应,并且该框架具有灵活性优和可扩展性好的优点,能够方便的用于其他类型的自适应,如地域自适应和性别自适应.在Switchboard任务上,实验结果表明我们提出的框架在不同的声学模型上相对于基线均有性能提升,并且通过说话人识别任务进一步证明了该方法的合理性.

基于DNN处理的鲁棒性I-Vector说话人识别算法

提出了一种将基于深度神经网络(Deep Neural Network,DNN)特征映射的回归分析模型应用到身份认证矢量(identity vector,i-vector)/概率线性判别分析(Probabilistic Linear Discriminant Analysis,PLDA)说话人系统模型中的方法。DNN通过拟合含噪语音和纯净语音i-vector之间的非线性函数关系,得到纯净语音i-vector的近似表征,达到降低噪声对系统性能影响的目的。在TIMIT数据集上的实验验证了该方法的可行性和有效性。

基于多特征I-Vector的说话人识别算法

针对单一声学特征无法精准高效地辨识说话人身份的问题,提出了一种基于多特征I-Vector的说话人识别算法.该算法首先采集不同的声学特征并将其构成一个高维特征向量,然后通过主成分分析法有效地剔除高维特征向量的关联,确保各种特征之间正交化,最后采用概率线性判别分析进行建模和打分,并在一定程度上降低空间维度.在TIMIT语料库上利用Kaldi进行实验,算法运行结果表明,该算法较当前流行的基于I-Vector的单一梅尔频率倒谱系数和感知线性预测系数的特征系统在等错误率上分别提高了8.18%和1.71%,在模型训练时间上分别减少了60.4%和47.5%,具有更好的识别效果和效率.

基于I-Vector的多核学习SVM的说话人确认系统

自I-Vector(身份认证矢量)被提出以来,基于I-Vector的说话人确认系统迅速取代了基于GMM超矢量的系统并开始流行。I-Vector-SVM系统作为其中之一,在通常训练样本较少的说话人确认领域有着独特的优势,但其性能受核函数影响较大。因此,基于多核学习(Multiple Kernel Learning,MKL)思想,构建了基于I-Vector的多核学习SVM说话人确认系统,并与I-VectorSVM基线系统进行了性能比较。基于NIST语料库的实验表明,基于I-Vector的多核学习说话人确认系统相对于基线系统可取得一定的性能提升。

基于贝叶斯主成分分析的i-vector说话人确认方法

身份-矢量(identity-vector,i-vector)方法作为说话人确认领域中的主流方法之一,能够通过学习总变化空间来获取有效的低维说话人特征——i-vector特征.但是当开发集数据不充足时,会导致学习到的总变化空间模型误差较大;同时,还无法有效确认此时的总变化空间是否因为预先设置的维度过高而学到了冗余信息.为此,本文将贝叶斯主成分分析(Bayesian Principal Component Analysis,BPCA)引入总变化空间的学习过程中,利用其来为总变化空间引入更多的先验信息,从而对开发集数据中包含的信息进行补充,并在先验信息的约束下削弱总变化空间中无效维的影响.实验结果表明,当开发集数据不充足时,相比于传统的总变化空间学习方法,BPCA方法能够有效提升说话人确认系统的识别性能.

基于i-vector全局参数联合的说话人识别

以高斯通用背景模型(Gaussian mixture model-universal background model,GMM-UBM)和i-vector模型为主的说话人识别算法在实际应用中取得了不错的成绩,但i-vector说话人识别模型中存在没有充分考虑通用背景(universal background,UB)数据与训练数据耦合性的问题导致模型性能不佳。提出了基于i-vector全局参数联合(global parameter joint of identify vector,GPJ-IV)的说话人识别方法。该方法利用背景说话人特征训练得到说话人通用背景模型(universal background model,UBM),构建基于全局联合差异空间和联合信道补偿的GPJ-IV模型。通过实验测试并与传统方法进行对比,实验结果显示,所提出的GPJ-IV模型相比i-vector模型,等错误率(equal error rate,EER)和最小检测代价函数(minimum detection cost function,MinDCF)性能分别提升了58.99%和15.9%。

基于多特征i-vector的短语音说话人识别算法

当测试语音时长充足时,单一特征的信息量和区分性足够完成说话人识别任务,但是在测试语音很短的情况下,语音信号里缺乏充分的说话人信息,使得说话人识别性能急剧下降。针对短语音条件下的说话人信息不足的问题,提出一种基于多特征i-vector的短语音说话人识别算法。该算法首先提取不同的声学特征向量组合成一个高维特征向量,然后利用主成分分析(PCA)去除高维特征向量的相关性,使特征之间正交化,最后采用线性判别分析(LDA)挑选出最具区分性的特征,并且在一定程度上降低空间维度,从而实现更好的说话人识别性能。结合TIMIT语料库进行实验,同一时长的短语音(2 s)条件下,所提算法比基于i-vector的单一的梅尔频率倒谱系数(MFCC)、线性预测倒谱系数(LPCC)、感知对数面积比系数(PLAR)特征系统在等错误率(EER)上分别有相对72. 16%、69. 47%和73. 62%的下降。不同时长的短语音条件下,所提算法比基于i-vector的单一特征系统在EER和检测代价函数(DCF)上大致都有50%的降低。基于以上两种实验的结果充分表明了所提算法在短语音说话人识别系统中可以充分提取说话人的个性信息,有利地提高说话人识别性能。

基于i-vector和深度学习的说话人识别

为了提高说话人识别系统的性能,在研究基础上提出了一种将深度神经网络(Deep Neural Nerwork,DNN)模型成果与i-vector模型相结合的新方案。该方案通过有效的神经网络构建,准确地提取了说话人语音里的隐藏信息。尽管DNN模型可以帮助挖掘很多信息,但是i-vector特征并没有完全覆盖住声纹特征的所有维度。为此,在i-vector特征的基础上继续提取维数更高的i-supervector特征,有效地避免了信息的不必要损失。为证明提出方案的可行性,采用对TIMIT等语音数据库630个说话人的语音进行了训练、验证和测试。验证实验结果表明,在提取i-vector特征的基础上提取i-supervector特征的说话人识别同等错误率有30%的降低,是一种有效的识别方法。

语音识别中基于i-vector的说话人归一化研究

i-vector是反映说话人声学差异的一种重要特征,在目前的说话人识别和说话人验证中显示了有效性。将i-vector应用于语音识别中的说话人的声学特征归一化,对训练数据提取i-vector并利用LBG算法进行无监督聚类,然后对各类分别训练最大似然线性变换并使用说话人自适应训练来实现说话人的归一化。将变换后的特征用于训练和识别,实验表明该方法能够提高语音识别的性能。

说话人识别的不确定性i-vector分析

针对噪声环境中说话人识别性能不稳定问题,提出一种基于不确定性前端因子分析的说话人识别方法。通过不确定性估计改进传统的i-vector特征抽取方式,实现在噪声环境中性能稳定的说话人识别。实验结果表明,该方法具有较高的说话人识别准确率,是高鲁棒性的,可广泛用于语音识别任务。

用说话人相似度i-vector的非负值矩阵分解说话人聚类

基于贝叶斯或者全贝叶斯准则的说话人自动聚类或者识别方法,主要采取重复换算全发话语音段的相似量度,再组合相似性较大的语音片段实现说话人的聚类。这种方法中如果发话语音片段数越多,组合计算时间就越长,系统实时性变差,而且各说话人模型用GMM方法建立,发话语音时间短暂时GMM的信赖性降低,最终影响说话人聚类精度。针对上述问题,提出引用i-vector说话人相似度的非负值矩阵分解的高精度快速说话人聚类方法。

基于改进信道补偿的I-vector说话人识别

说话人识别算法的准确率受多种因素影响,其中受到说话人语音信道影响较为明显,常用说话人识别方法通过使用MFCC提取说话人语音信息的特征参数,并通过端点检测技术处理说话人特征,建立说话人通用背景模型,即GMM-UBM模型。使用因子分析技术将模型中的语音特征高维超向量映射成固定长度低维矢量,得到身份认证矢量I-vector。利用信道补偿技术处理I-vector,可以提高识别准确率。文中提出一种改进的信道补偿技术,通过对身份认证矢量进行信道补偿和特征参数降维,在样本数较多的情况下,通过补充缺失类内类间信息,去除信道因子的影响,能够提高系统对说话人的区分度,并提高识别准确率。实验结果表明,改进的信道补偿算法和I-vector模型结合后,可以获得更好的识别准确率,较传统信道补偿技术准确率提高3%~5%。

基于一维卷积神经网络和i-vector的孤立词语音识别

针对孤立词语音识别的任务,采用一维卷积神经网络(CNN)作为声学模型,利用卷积核在时间轴上的移动来反映语音信号的时变性,从而提高识别性能。然后引入了反映说话人特征的身份认证矢量i-vector,通过i-vector特征消除说话人差异对识别造成的影响,进一步提高识别性能。在实验室自建语音库上的实验表明,基于这两种方法的识别系统达到了91%的识别准确率。

基于概率修正PLDA的说话人识别系统

为减弱注册语音与测试语音时长不一致对说话人识别性能的负面影响,提出一个概率修正PLDA建模方法.根据语音时长自适应改变传统PLDA模型中i-vector的概率分布函数,提高PLDA对每个说话人每段语音的时长表征能力,以增强说话人类别的区分度.为验证基于概率修正PLDA模型的有效性,进行了NIST SRE10 corecore测试集在3种不同时长的评测实验,以及NIST 2014 i-vector machine learning challenge测试任务.结果表明,相较于传统的PLDA训练模型,通过语音时长的约束提高了说话人识别性能.

基于深度神经网络的说话人信道自适应方法

针对说话人确认中的复杂信道环境干扰问题,提出一种基于深度神经网络的信道自适应方法。该方法首先在不同信道类型下训练得到音素信息相关的深度神经网络模型(deep neural networks,DNNs),将说话人语音的声学特征参数在这些DNNs上进行自适应,得到各信道类型下的深瓶颈特征(deep bottleneck feature,DBF)。然后将这些参数进行拼接并通过PCA降维,最后采用目前最有效的基于身份认证矢量(identity vector,i-vector)的建模技术对降维后的DBF进行建模,得到目标说话人模型和测试语音段的i-vector矢量用于最终说话人确认打分判决。在NIST SRE2010核心评测数据库上的实验结果表明,利用提出的方法能有效消除信道干扰对说话人确认的影响,在很大程度上提升了基于i-vector的说话人确认基线系统的性能。

基于T矩阵归一化PLDA的说话人确认

利用i-vector/PLDA模型进行说话人确认时,对于不定时间的语音,由于将长度归一化后的i-vector转化到PLDA模型时,伴随着不确定性的扭曲和缩放,影响识别率。本文通过对全变量空间矩阵T的列向量执行归一化,代替在PLDA模型上对i-vector进行长度归一化,避免因在i-vector上执行长度归一化,导致转移到PLDA模型上产生不良的扭曲。实验结果表明,该方法得到和长度归一化相似的效果,部分效果要优于长度归一化。

基于降噪自动编码器的语种特征补偿方法

在语种识别中,当训练语音与测试语音长度失配时,系统的识别性能会出现严重下降.基于降噪自动编码器(denoising auto-encoder, DAE)的方法对不同长度测试语音的语种特征进行补偿,把不同长度的语音特征都映射为固定长度的语音特征,一定程度上解决了长度失配和音素分配不平衡的问题.具体分为4个环节:1)语音信号经过分帧、变换得到底层声学特征;2)提取语音信号的原始i-vector,同时计算其音素向量;3)对原始i-vector和音素向量进行拼接,送入基于DAE的语种特征补偿处理单元得到补偿后的i-vector;4)将补偿后的i-vector和原始i-vector分别送入后端分类器得到2个分数向量,并将其在得分域融合后进行判决.在NIST-LRE07上的实验结果表明:所提出的语种特征补偿算法在各种测试语音时长上的识别性能均有提升.相比传统的语种识别系统,测试语音时长为30 s时性能相对提升3.16%,测试语音时长为10 s时性能相对提升2.90%.相比端到端语种识别系统,测试语音时长为3 s时性能相对提升3.21%.

声纹识别:一种无需接触、不惧遮挡的身份认证方式

声纹识别技术近年来在公安、金融和社保等领域被广泛应用,在2019-nCoV疫情下,由于其无需接触、不惧遮挡的特点再次被关注.声纹识别技术经过约半世纪的发展,已越来越成熟,相关标准陆续出台,产业发展也初具规模.