增强变分自编码器做非平行语料语音转换

提出一种增强变分自编码器进行非平行语料语音转换的新方法。源语音首先经过编码网络生成一个服从高斯分布的语音编码,解码网络将该语音编码重构为指定的目标语音,最后通过增强网络优化生成的目标语音。增强网络的一个输入对应一个输出的,这使得整体转换系统有较好的去噪能力。此外,本文还引入了循环训练方法以改善转换语音的目标倾向性。实验结果显示,与基准语音转换系统相比,本文提出的增强变分自编码器语音转换系统在跨性别语音转换上的客观评价指标谱失真上下降10. 3%,在主观评价指标相似度与清晰度方面同样有所改善。这一结果表明,本文提出的方法能够使转换语音具有良好目标倾向性,同时有较好的语音转换质量。

约束条件下的结构化高斯混合模型及非平行语料语音转换

提出一种约束条件下的结构化高斯混合模型及非平行语料语音转换方法.从源与目标说话人的原始非平行语料中提取出少量相同音节,在结构化高斯混合模型的训练过程中,利用这些相同音节包含的语义信息及声学特征对应关系对K均值聚类中心进行约束,并在(Expectation Maximum,EM)迭代过程中对语音帧属于模型分量的后验概率进行修正,得到基于约束的结构化高斯混合模型(Structured Gaussian Mixture Model with Constraint condition,CSGMM).再利用全局声学结构(Acoustic Universal Structure,AUS)原理对源和目标说话人的约束结构化高斯混合模型的高斯分布进行匹配对准,推导出短时谱转换函数.主观和客观评价实验结果表明,使用该方法得到的转换后语音在谱失真,目标倾向性和语音质量等方面均优于传统的结构化模型语音转换方法,转换语音的平均谱失真仅为0.52,说话人正确识别率达到95.25%,目标语音倾向性指标ABX平均为0.82,性能更加接近于基于平行语料的语音转换方法.

基于Style-CycleGAN-VC的非平行语料下的语音转换

非平行语料下的语音转换(Voice Conversion,VC)是指在非平行语音数据集的情况下改变源语音特征到目标语音特征的映射技术。由于非平行数据的缺陷,所以当前研究多集中于平行语料下的语音转换,而有关非平行语料的研究提出的模型架构存在局限性,在特定说话人下进行训练得到的模型无法适用于任意说话人下的语音转换,且转化效果有待提高。对此,借鉴两种生成式对抗网络(Generative Adversarial Network,GAN)的变体StyleGAN和CycleGAN的结构特点,对生成器网络的层重新设计,添加辅助特征提取神经网络,提出一种称为Style-CycleGAN-VC的新模型,实现了非平行语料下任意说话人之间的任意语音转换。实验表明,与CycleGAN-VC模型相比,该模型对训练的特定说话人的语音转换效果有所提高,对任意说话人的语音转换效果与其相近。

基于非平行语料的双语词典构建

在进行跨语言自然语言处理时,缺少双语资源是非常棘手的问题,而这在语言资源匮乏的场景下是非常普遍的.此时,利用好非平行语料中蕴含的翻译知识变得更为重要.由于语料不平行,从中获取翻译知识意味着小数据、无监督学习,因此极具挑战,而取得的结果通常是双语词典的形式.这既是人工智能领域重要的学术问题,也在语言资源匮乏场景有着巨大的应用价值.本文针对前人研究中存在的问题,介绍一系列工作,从各个角度探索如何更好地利用非平行语料构建双语词典.

基于Web数据的特定领域双语词典抽取

双语词典是跨语言检索以及机器翻译等自然语言处理应用的基础资源。本文提出了一种从非平行语料中抽取特定领域双语词典的算法。首先给出了算法的基本假设并回顾了相关的研究方法,然后详细给出了利用词间关系矩阵法从特定领域非平行语料中抽取双语词典的过程,最后通过大量实验分析了种子词选择对词典抽取结果的影响,实验结果表明种子词的数量和频率对词典抽取结果有积极作用。