面向风格多样化的多对多语音情感转换

针对现有基于生成对抗网络的语音情感转换仍然存在情感分离不明显,且转换后的语音情感缺乏多样性问题,提出了一种面向风格多样化的多对多语音情感转换方法。该方法基于一个双生成器结构的生成对抗网络模型,通过对不同生成器的中间编码进行一致性损失约束确保语音内容和说话人特征具有一致性,以提升转换后语音情感与目标情感的相似性。此外,该方法通过情感映射网络和情感特征编码器为生成器提供同类情感的多样化情感表征。实验结果表明,所提情感语音转换方法得到的语音情感更接近目标情感,且情感样式更加丰富。

基于多领域条件生成的语音情感转换

语音情感转换是在不改变话者声纹、语义的情况下,将一种情感语音转换成另一种情感语音的技术,本质是实现语音的风格迁移。主流的风格迁移技术有对抗生成技术(如CycleGAN,StarGAN)和实例规一化技术(如IN,CIN)。CIN相对于IN添加了均值方差选择性模块,具有更强的风格迁移能力。提出了将StarGAN和CIN结合的语音情感转换模型CIN-StarGAN,将CIN模块嵌入到StarGAN生成器。在ESD数据集上的实验结果表明,CINStarGAN比基于CycleGAN的情感转换模型收敛速度快28%,具有较好的风格转换能力。在多领域情感转换方法上具有潜在研究价值。

维吾尔语情感语音韵律转换研究

面向维吾尔语情感语音转换,提出一种韵律建模转换方法。该方法结合了维吾尔语韵律特点及语言特点,首次利用离散余弦变换(DCT)分别参数化维吾尔语音节和韵律短语的情感基频。采用高斯混合模型(GMM)训练中性-情感基频联合特征,同时合成中性语速情感语音和情感语速情感语音,主观评测结果显示情感语速更有助于表达情感效果。主客观实验结果显示转换方法可有效进行维吾尔语情感韵律转换,三种情感下,音节和韵律短语的结果均达到75%以上,韵律短语的转换效果要稍优于音节。

层次韵律特征对语音情感转换的影响分析

针对传统以音节为单位的情感语音转换方法不能有效反映韵律的动态变化特征问题,分析音节、韵律词、语句三个层次的韵律特征在不同情感下的变换规律。根据情感语音的层次韵律变换特点,在音节层韵律转换的前提下,结合韵律词和语句级别的韵律变化特征对音节的韵律特征进行修正,实现语音的情感转换。实验结果表明,对于开心、生气和悲伤三种情感语音的转换,采用层次韵律转换的方法可以有效提高情感语音合成的质量。

基于非负矩阵分解的情感语音基频转换研究

为解决情感语音基频转换过程中基频建模的间断性问题,提高生成语音的情感自然度,利用非负矩阵分解(NMF)技术,提出带有参数控制的情感语音基频转换方法。选择连续小波变换参数化基频并对语音韵律结构中的各层级进行独立建模,采用NMF将基频特征数据分解为基范例及其对应的权重,将目标基范例替换待转换语音基范例并重建目标语音基频。此外,引入激活度调整因子作为参数控制对现有模型进行优化。实验结果表明,在小数据库语料中,该方法在基频重建误差与情感力度方面都显示出优势,且能够有效地将中性语音转换为情感语音。

语音情感转换技术综述

随着情感信息处理的研究不断深入,语音信号中的情感转换越来越受到人们的重视。与传统的信息处理技术不同,语音的情感转换是用机器来实现理解和认识。本文首先探讨了情感的分类;接着,将语音情感转换系统分为:特征提取、参数转换和语音合成,并从特征提取和参数转换两方面进行了阐述,分析了相关的理论及算法,对各方法的优缺点进行了比较。最后,对语音情感转换研究方向进行了讨论。