基于时域波形的半监督端到端虚假语音检测方法

现代语音合成和音色转换系统产生的虚假语音对自动说话人识别系统构成了严重威胁。大多数现有的虚假语音检测系统对在训练中已知的攻击类型表现良好,但对实际应用中的未知攻击类型检测效果显著降低。因此,结合最近提出的双路径Res2Net(DP-Res2Net),提出一种基于时域波形的半监督端到端虚假语音检测方法。首先,为了解决训练数据集和测试数据集两者数据分布差异较大的问题,采用半监督学习进行领域迁移;然后,对于特征工程,直接将时域采样点输入DP-Res2Net中,增加局部的多尺度信息,并充分利用音频片段之间的依赖性;最后,输入特征经过浅层卷积模块、特征融合模块、全局平均池化模块得到嵌入张量,用来判别自然语音与虚假伪造语音。在公开可用的ASVspoof 2021 Speech Deep Fake评估集和VCC数据集上评估了所提出方法的性能,实验结果表明它的等错误率(EER)为19.97%,与官方最优基线系统相比降低了10.8%。基于时域波形的半监督端到端检测虚假语音检测方法面对未知攻击时是有效的,且具有更高的泛化能力。

面向情感语音转换的韵律转换方法

面向情感语音转换,该文提出了一种韵律转换方法。该方法包含基频转换和时长转换两个部分,前者选择离散余弦变换(DCT)参数化基频,根据基频的层次结构特点,将基频分解为短语层和音节层两个层次,使用基于混合高斯模型(GMM)的转换方法对两个层次分别进行转换;后者使用基于分类回归树(CART)的方法以声韵母为基本单位对时长进行转换。一个包含三种基本情感的语料库用作训练和测试,客观评测以及主观评测实验结果显示该方法可有效进行情感韵律转换,其中悲伤情感在主观实验中达到了接近100%的正确率。

基于链接时序分类的日语语音识别

目前,端到端的语音识别系统因其简洁性和高效性成为大规模连续语音识别的发展趋势.本文将基于链接时序分类的端到端技术应用到日语语音识别上,考虑到日语中平假名、片假名和日语汉字多种书写形式的特性,通过在日语数据集上的实验,探讨了不同建模单元对识别性能的影响;进一步将音素信息应用到模型的初始网络训练中,改善语音识别系统性能,最终效果优于基于隐马尔可夫模型和双向长短时记忆网络的主流语音识别系统.

采用通用语音属性建模的说话人确认

本文提出采用通用语音属性的方法来进行自动语音识别的声学模型建模,并将其应用到说话人识别的全变量空间建模中.首先将发音方式和发音位置两种属性联合构成通用语音属性的基本单元用于声学建模,在此基础上采用深度学习算法建立语音识别的声学模型;用此声学模型来获得说话人识别的每帧声学特征对应的后验概率,将这个后验概率作为全变量空间分析的零阶统计量,在此基础上完成说话人识别中的i-vector建模及识别.在NIST 2012的说话人识别评测任务中,提出的算法能够取得与主流算法相当的识别水平.进一步,当我们把基于通用语音属性的DNN/i-vector系统与目前主流的系统进行得分域的融合,相对于最好的单系统,男声等错误率平均下降了12.1%,女声等错误率平均下降了14.4%.

基于端到端技术的藏语语音识别

现阶段基于链接时序分类技术的端到端的大规模连续语音识别成为研究热点,文中将其应用于藏语识别中,取得优于主流的双向长短时记忆网络性能.在基于端到端的语音识别中,不需要发音字典等语言学知识,识别性能无法得到保证.文中提出将已有的语言学知识结合至端到端的声学建模中,采用绑定的三音子作为建模单元,解决建模单元的稀疏性问题,大幅提高声学建模的区分度和鲁棒性.在藏语测试集上,通过实验证明文中方法提高基于链接时序分类技术的声学模型的识别率,并验证语言学知识和基于端到端声学建模技术结合的有效性.

融合潜在主题信息和卷积语义特征的文本主题分类

经典的概率主题模型通过词与词的共现挖掘文本的潜在主题信息,在文本聚类与分类任务上被广泛应用。近几年来,随着词向量和各种神经网络模型在自然语言处理上的成功应用,基于神经网络的文本分类方法开始成为研究主流,卷积神经网络(Convolutional Neural Network,CNN)已成为目前一种主流的文本分类模型。本文通过CNN和概率主题模型PLSA(Probabilistic Latent Semantic Analysis)、LDA(Latent Dirichlet Allocation)在文本主题分类上的效果对比,展示了CNN在此任务上的优越性。在此基础上,本文利用CNN模型提取文本的特征向量并将其命名为卷积语义特征。为了让文本特征向量更好地刻画文本的主题信息,本文将卷积语义特征和文本的潜在主题向量分别归一化以消除两者量级上的差异,然后将两者融合,从而得到一种更有效的文本特征表示。实验结果表明,相比于单独的概率主题模型或CNN模型,新的特征向量能显著地提升文本主题分类任务的F1值。

基于受限玻尔兹曼机的频谱建模与单元挑选语音合成方法

提出基于受限玻尔兹曼机的频谱建模与单元挑选语音合成方法.在模型训练阶段,采用受限玻尔兹曼机对包含丰富细节的频谱特征建模,如谱包络、短时幅度谱,取代传统的使用对角方差单高斯模型和梅尔倒谱特征的频谱建模方法,改善声学模型对于频谱特征的描述能力.在语音合成阶段,使用训练得到的受限玻尔兹曼机模型计算备选样本频谱特征的对数似然值,并通过分段线性映射构建单元挑选的目标代价函数.实验表明文中方法可有效提高合成语音的自然度.

渐进学习语音增强方法在语音识别中的应用

在语音识别实际应用中,带噪语音信噪比的复杂性会造成识别难度增大,导致语音识别系统性能下降.本文将渐进学习语音增强方法应用于语音识别,以取代传统语音识别中使用的基于深层神经网络的语音增强方法.本文使用渐进学习语音增强方法在识别模型前端进行降噪预处理,然后再作识别,以更好地提升语音信噪比,进而提高系统性能.首先使用渐进学习方法训练一个深层神经网络.然后,将语音经过这个渐进学习深层神经网络作增强.最后,将渐进学习深层神经网络增强后的语音经过语音识别模型作识别.通过实验验证,本文使用的渐进学习语音增强及识别方法,相对于传统语音增强及识别方法,在识别准确率上有10.28%的相对提升.

基于声道长度对齐的年龄语音转换

提出一种基于声道长度对齐的年龄语音转换方法.该方法包含频谱转换和基频转换两个方面,前者在频域依据声道因子和弯折函数对已进行基音标注过的每一帧语音的频谱进行弯折转换;后者对基频特征的转换采用线性变换方法.实验结果表明,通过对同一人不同年龄段的语音进行转换合成,由年龄较大语音向年龄较小语音转换时,转换合成得到的语音频谱平均距离得到明显减小,转换效果较好,而从年龄较小语音向年龄较大语音转换时,频谱平均距离减少较小,同时女性年龄语音转换的效果和自然度都好于男性.

自由表述口语语音评测后验概率估计改进方法

该文研究了两种用于改善深度神经网络声学建模框架下自由表述口语语音评测任务后验概率估计的方法:1)使用RNN语言模型对一遍解码N-best候选做语言模型得分重估计来获得更准确的识别结果以重新估计后验概率;2)借鉴多语种神经网络训练框架,提出将方言数据聚类状态加入解码神经网络输出节点,在后验概率估计中引入方言似然度得分以评估方言程度的新方法。实验表明,这两种方法估计出的后验概率与人工分相关度分别绝对提升了3.5%和1.0%,两种方法融合后相关度绝对提升4.9%;对于一个真实的评测任务,结合该文改进的后验概率评分特征,总体评分相关度绝对提升2.2%。

端到端维吾尔语语音识别研究

近几年来,基于端到端模型的语音识别系统因其相较于传统混合模型的结构简洁性和易于训练性而得到广泛的应用,并在汉语和英语等大语种上取得了显著的效果.本文将自注意力机制和链接时序分类损失代价函数相结合,将这种端到端模型应用到维吾尔语语音识别上.考虑到维吾尔语属于典型的黏着语,其丰富的构词形式使得维吾尔语的词汇量异常庞大,本文引入字节对编码算法进行建模单元的生成,从而获得合适的端到端建模输出单元.在King-ASR450维吾尔语数据集上,提出的算法明显优于基于隐马尔可夫模型的经典混合系统和基于双向长短时记忆网络的端到端模型,最终识别词准确率为91.35%.

基于WaveNet的语音合成声码器研究

近二十年来,统计参数语音合成方法发展迅速,声学建模与声码器是其中两个关键技术。声码器用于从语音波形中提取基频、频谱等声学特征,以及基于声学模型预测的声学特征,以重构语音波形,传统声码器基于源-滤波器思想设计。但是现阶段基于源-滤波器模型的声码器仍然制约着统计参数合成语音质量的进一步提升。本文介绍了一种基于神经网络的语音合成声码器。

深度神经网络在维吾尔语大词汇量连续语音识别中的应用

研究将深度神经网络有效地应用到维吾尔语大词汇量连续语音识别声学建模中的两种方法:深度神经网络与隐马尔可夫模型组成混合架构模型(Deep neural network hidden Markov model,DNNHMM),代替高斯混合模型进行状态输出概率的计算;深度神经网络作为前端的声学特征提取器提取瓶颈特征(Bottleneck features,BN),为传统的GMM-HMM(Gaussian mixture model-HMM)声学建模架构提供更有效的声学特征(BN-GMM-HMM)。实验结果表明,DNN-HMM模型和BN-GMM-HMM模型比GMM-HMM基线模型词错误率分别降低了8.84%和5.86%,两种方法都取得了较大的性能提升。

结合CNN不同层信息的全变量建模人脸特征表达学习方法

如何学习有效的人脸特征表达是人脸识别的关键性问题。现有基于卷积神经网络(Convolutional Neural Networks,CNN)的人脸深度特征表达学习方法大多在人脸图像经过了有效检测和校正的情况下,能够获得优异的性能,而在复杂场景下其推广性和鲁棒性受到极大限制。对此,本文提出了结合CNN不同层信息的全变量建模人脸特征表达学习方法,将提取的人脸局部深度特征中所包含的差异信息按照子空间进行建模,有效聚合局部深度特征的同时得到人脸在低维子空间的特征表达(i Vector)。在IJB-A(IARPA Janus Benchmark A)上的实验结果表明,与现有的深度特征表达相比,该方法学习得到的人脸iVector表达能够显著提升人脸识别系统的识别性能和计算效率。

基于解码多候选结果的半监督数据挑选的语音识别

基于资源稀少情况下的语音识别,提出针对大量无标注数据的半监督学习的挑选策略,应用到声学模型和语言模型建模.采用少量数据训练种子模型后,解码无标注数据.首先在解码的最佳候选结果中采用置信度与困惑度结合的方法挑选高可信的语句训练声学模型及语言模型.进一步对解码得到的格进行转化,得到多候选文本,用于语言模型训练.在日语识别任务上,相比基于置信度挑选数据的方法,文中方法在识别率上具有较大提升.

融合自动检错的单元挑选语音合成方法

提出了一种融合自动检错的单元挑选语音合成方法。本文方法旨在设计与主观听感更加一致的单元挑选准则,以提高合成语音的自然度。首先利用众包网络平台快速大量地收集测听人对于合成语音的主观评价数据,取代了传统的利用具备语言学知识的专家收集主观评价数据的方法;然后基于这些主观评价数据,提取对应语音的音节时长、单元代价以及声学参数距离等特征,构建基于支持向量机的合成错误检测器;在合成阶段,该检测器被用来对传统单元挑选输出的N条路径行重打分,以确定最优的单元挑选序列。倾向性测听结果表明本文方法可以有效地提高合成语音的自然度。

基于听感量化编码的神经网络语音合成方法研究

针对当前神经网络声学建模中数据混用困难的问题,文中提出了一种基于听感量化编码的神经网络语音合成方法。通过设计听感量化编码模型学习海量语音在音色、语种、情感上的不同差异表征,构建统一的多人数据混合训练的神经网络声学模型。在统一的听感量化编码声学模型内通过数据共享和迁移学习,可以显著降低合成系统搭建的数据量要求,并实现对合成语音的音色、语种、情感等属性的有效控制。提升了神经网络语音合成的质量和灵活性,一小时数据构建语音合成系统自然度可达到4.0MOS分,达到并超过普通说话人水平。

融合声学特征和深度特征的语音文档分类

传统的语音文档分类系统通常是基于语音识别系统所转录的文本实现的,识别错误会严重影响到这类系统的性能。尽管将语音和识别文本融合可以一定程度上减轻识别错误的影响,但大多数融合都是在表示向量层面融合,没有充分利用语音声学和语义信息之间的互补性。本文提出融合声学特征和深度特征的神经网络语音文档分类,在神经网络训练中,首先采用训练好的声学模型为每个语音文档提取包含语义信息的深度特征,然后将语音文档的声学特征和深度特征通过门控机制逐帧进行融合,融合后的特征用于语音文档分类。在语音新闻播报语料集上进行实验,本文提出的系统明显优于基于语音和文本融合的语音文档分类系统,最终的分类准确率达到97.27%。

基于深层神经网络的藏语识别

文中首次涉及藏语的自然对话风格大词汇电话连续语音识别问题.作为一种少数民族语言,藏语识别面临的最大的困难是数据稀疏问题.文中在基于深层神经网络(DNN)的声学模型建模中,针对数据稀疏的问题,提出采用大语种数据训练好的DNN作为目标模型的初始网络进行模型优化的策略.另外,由于藏语语音学的研究很不完善,人工生成决策树问题集的方式并不可行.针对该问题,文中利用数据驱动的方式自动生成决策树问题集,对三音子隐马尔可夫模型(HMM)进行状态绑定,从而减少需要估计的模型参数.在测试集上,基于混合高斯模型(GMM)声学建模的藏字识别率为30.86%.在基于DNN的声学模型建模中,采用三种大语种数据训练好的DNN网络作为初始网络,并在测试集上验证该方法的有效性,藏字识别正确率达到43.26%.

不平衡训练数据下的基于深度学习的文本分类

近几年来,随着词向量和各种神经网络模型在自然语言处理上的成功应用,基于神经网络的文本分类方法开始成为研究主流.但是当不同类别的训练数据不均衡时,训练得到的神经网络模型会由多数类所主导,分类结果往往倾向多数类,极大彩响了分类效果.针对这种情况,本文在卷积神经网络训练过程中,损失函数引入类别标签权重,强化少数类对模型参数的影响.在复旦大学文本分类数据集上进行测试,实验表明本文提出的方法相比于基线系统宏平均F1值提高了4.49%,较好地解决数据不平衡分类问题.