虚拟教师情感合成模型的研究

情感建模是当前的研究热点,但目前对于教师教学情感建模的研究并不多,情绪心理学中的情绪评价理论以及情绪的动机理论给教师教学情感建模提供了理论基础。虚拟教师情感状态的变化是对外部刺激的认知评价、内部需要、个性特征共同作用的结果,在外部刺激、内部需要、个性特征的影响下,考虑各个基本情感之间的相互影响,并考虑情感本身的衰减和饱和特性,可构建虚拟教师的教学情感合成模型。该模型的可计算性能够在开源的三维分布式虚拟环境OpenSim中加以验证。

情感语音合成中的语义及韵律特征嵌入方法

针对当前的情感语音合成方法存在合成音频容易忽略文本语义信息的问题,在文本编码器中引入BERT预训练模型,辅助编码器捕获文本语义特征,并提出了语义及韵律特征嵌入方法。缅甸语情感语料的缺乏导致模型难以合成高质量情感语音,因此,文中通过微调各个网络模块参数的方法探索缅甸语情感语音合成模型的训练方法。实验结果表明,文中提出的特征嵌入方法以及训练方法在情感语料缺乏情况下仍能合成出高质量的情感语音,平均情感意见得分分别为4.16与4.18。

情感语音合成综述

作为语音领域一个重要的研究方向,语音合成致力于将文本转化为语音。随着深度学习技术的快速发展,语音合成的目的早已不仅仅是合成一段“能听懂”的音频这么简单,情感的加入往往能使语音变得更加具有表现力。基于此,情感语音合成在语音中加入不同的情感并对情感进行调控,以生成灵活且准确的情感语音。从情感语音合成中的几个关键科学问题出发,分别对近几年来基于情感迁移、情感强度控制和情绪混合的发展进行了总结分析,并介绍了情感语音合成的相关数据集和评价指标,最后对情感语音合成进行了展望。

基于条件变分自编码器的端到端情感语音合成方法

情感语音合成作为语音合成的一个重要分支,在人机交互领域得到了广泛的关注。如何获得更好的情感嵌入并有效地将其引入到语音合成声学模型中是目前主要存在的问题。表达性语音合成往往从参考音频中获得风格嵌入,但只能学习到风格的平均表示,无法合成显著的情感语音。该文提出一种基于条件变分自编码器的端到端情感语音合成方法(Conditional Duration-Tacotron,CD-Tacotron),该方法在Tacotron2模型的基础上进行改进,引入条件变分自编码器从语音信号中解耦学习情感信息,并将其作为条件因子,然后通过使用情感标签将其编码为向量后与其他风格信息拼接,最终通过声谱预测网络合成情感语音。在ESD数据集上的主观和客观实验表明,与目前主流的方法GST-Tacotron和VAE-Tacotron相比,该文提出的方法可以生成更具表现力的情感语音。

汉语儿童情感语声合成

情感语声合成技术对于人机交互具有重要的意义。面对儿童情感语声合成所需汉语语声数据资源缺乏以及模型训练时长较长等问题,该文提出利用迁移学习实现汉语儿童情感语声合成的方法。首先基于汉语语声数据库训练深度学习模型实现中文语声端到端合成模型,再使用高质量大样本的中文情感语料库完成情感语声合成模型,最后利用自行采样的小样本汉语儿童情感语料对模型进行迁移学习实现低资源的语声合成。客观实验结果中梅尔倒谱失真指标为4.91,主观听辨实验指标分别为3.61和4.17。通过实验对比表明,该文的方法在情感语声合成技术的应用上具有良好的性能表现,并且优于现有先进的低资源情感语声合成方法。

基于迁移学习双阶段训练的情感语音克隆技术

为解决传统基于SV2TTS架构的语音克隆系统合成语音缺乏丰富表达能力的问题,提出一种基于迁移学习双阶段训练说话人编码器的情感语音克隆方法。在说话人识别技术基础上,利用迁移学习,对说话人编码器进行音色克隆训练;在情感克隆训练阶段,采用情感语音数据集对其参数进行微调,提取具有情感信息的说话人特征。将此特征作为合成器的输入对梅尔谱的生成过程进行调节,通过声码器将此梅尔谱转换为具有目标说话人信息的情感语音。主客观分析结果表明,该方法所生成的克隆语音的情感相似度更高,音色相似度也有一定改善。

韵律参数和频谱包络修改相结合的情感语音合成技术研究

情感语音合成可以增强合成语音的表现力、人情味,是近年来的新兴课题。除了韵律特征之外,音质类和发声器官类参数对情感语音的表达也有着至关重要的影响,而通常的研究大多都是基于规则或者预先为某种情感设计的滤波器来进行这两类参数的修改。本文提出了通过频谱包络综合地调整音质类和发声器官类参数来合成情感语音的方法,并通过实验验证了这一方法的有效性。另外,实验结果也显示了当韵律参数和频谱包络同时得到修改时,相对于单独修改某类参数可以获得更好的情感合成效果。

基于韵律特征参数的情感语音合成算法研究

为了合成更为自然的情感语音,提出了基于语音信号声学韵律参数及时域基音同步叠加算法的情感语音合成系统。实验通过对情感语音数据库中生气、无聊、高兴和悲伤4种情感的韵律参数分析,建立4种情感模板,采用波形拼接语音合成技术,运用时域基音同步叠加算法合成含有目标感情色彩的语音信号。实验结果表明,运用波形拼接算法,调节自然状态下语音信号的韵律特征参数,可合成较理想的情感语音。合成的目标情感语音具有明显的感情色彩,其主观情感类别判别正确率较高。

情感语音合成的研究

介绍了语音信号中的情感语音合成的方法,通过分析情感语句的语调,得到了喜、怒、惊、悲4种情感不同的变调规律,对不同的情感类型确定相应的基音频率变化规律、能量变化规律、元音的变异规律和无声时延比例变化规则。对于待合成的语音,首先进行文本扫描,再叠加相应情感的语调变化规则,利用PSOLA算法进行情感语音合成,获得了较好效果。

情感语音合成中韵律参数的基频研究

在语音合成技术的研究中,情感语音合成是当前研究的热点.在众多研究因素中,建立恰当的韵律模型和选取好的韵律参数是研究的关键,它们描述的正确与否,直接影响到情感语音合成的输出效果.为了攻克提高情感语音自然度这一难点,对影响情感语音合成技术韵律参数进行了分析,建立了基于关联规则的情感语音韵律基频模型.本文通过研究关联规则、改进数据挖掘Apriori算法并由此来获得韵律参数中基频变化规则,并为情感语音合成的选音提供指导和帮助.

基于HMM的可训练情感语音合成研究

研究了基于HMM的英语语音合成系统,并通过分析情感语句的语调,得到高兴、生气、悲伤、平静四种不同情感类型的基音频率、能量和时长的变化规律。将基于HMM的可训练语音合成方法应用到英语情感语音合成,对基于HMM所合成的平静语音,叠加相应情感的语调变化规则,通过修改韵律特征参数合成出带有情感的语音。从所合成情感语句的效果来看,合成语音整体稳定流畅、情感特征明显,且合成系统可以快速构成。

基于情感基音模板的情感语音合成

为了合成能够模拟表达说话人的情感状态的语音,提出一种基于情感基音模板的情感语音合成方法。该方法分别建立高兴、愤怒、悲伤和中立4种不同情感下的韵母基音模板库,建立4种声调模型,统计分析语音库中情感语音的韵律特征参数,运用基音同步叠加算法(PSOLA)合成含情感色彩的语音。实验以音节为合成单位,根据情感特征参数的统计分析结果调节合成语音的韵律特征,合成各种情感的语音。仿真实验结果表明:用情感基音模板合成的目标情感语音具有目标情感的音质色彩,再通过韵律参数调节,可合成较理想的情感语音。该方法可用于增加语音合成系统的智能化,提高人机交互的能力。

一种融合多通道CycleGAN和Mixup的情感语音合成方法

现有的循环一致性生成对抗网络(CycleGAN)提供了一个双向情感语料转化的突破,但是真实目标和转换后的语音之间仍然存在很大的差距。为了缩小这一差距,提出融合多通道CycleGAN和Mixup的情感语音合成方法,包含三个阶段:多通道CycleGAN、基于Mixup的损失估计和基于Mixup的有效情感区域加重。其中,设计门控单元GTLU和音频显著性区域的图像表达方法,结合基于改进GTLU的全局CycleGAN和基于显著性区域的局部CycleGAN构成了第一个阶段中的多通道CycleGAN,基于Mixup方法设计了损失的计算方法和情感区域的不同加重程度计算。结合多项流行的语音合成方法,在IEMOCAP情感语料库上实施了多组生成情感语料的对比实验,利用双向三层长短期记忆网络(LSTM)模型作为验证模型,实验结果证明,所提出的情感语音合成方法获得的语音,其平均意见得分(MOS)和语音情感识别精度(UA)均有不同程度的提升,分别获得3.4%和2.7%的改善,在主观评价和客观实验上均优于现有的GANs模型,从而确保该模型生成语音具备高可靠性和良好的自然度。

基于PSOLA与DCT的情感语音合成方法

情感语音合成可以增强语音的表现力,为使合成的情感语音更自然,提出一种结合时域基音同步叠加(PSOLA)和离散余弦变换(DCT)的情感语音合成方法。根据情感语音数据库中的高兴、悲伤、中性语音进行韵律参数分析归纳情感规则,调整中性语音各音节的基音频率、能量和时长。使用DCT方法对基音标记过的语音段进行基音频率的调整,并利用PSOLA算法修改基音频率使其逼近目标情感语音的基频。实验结果表明,该方法比单独使用PSOLA算法合成的情感语音更具情感色彩,其主观情感的识别率更高,合成的情感语音质量更好。

人脸语音动画中基于PSOLA的情感语音合成系统

提出一种基于时域基音同步叠加TD-PSOLA算法的情感语音合成系统。根据情感语音库分析总结情感规则,在此基础上利用TD-PSOLA算法对中性语音的韵律参数进行改变,并提出一种能够对基频曲线尾部形状改变的方法,使句子表达出丰富的情感。实验表明,合成出的语音具有明显的情感色彩,证明了该系统能以简单明了的方式实现情感语音的合成,有助于提高人脸语音动画表达的丰富性和生动性。

利用说话人自适应实现基于DNN的情感语音合成

为了提高情感语音合成的质量,提出一种采用多个说话人的情感训练语料,利用说话人自适应实现基于深度神经网络的情感语音合成方法。该方法应用文本分析获得语音对应的文本上下文相关标注,并采用WORLD声码器提取情感语音的声学特征;采用文本的上下文相关标注和语音的声学特征训练获得与说话人无关的深度神经网络平均音模型,用目标说话人的目标情感的训练语音和说话人自适应变换获得与目标情感的说话人相关的深度神经网络模型,利用该模型合成目标情感语音。主观评测表明,与传统的基于隐马尔科夫模型的方法比较,该方法合成的情感语音的主观评分更高。客观实验表明,合成的情感语音频谱更接近原始语音。所以,该方法能够提高合成情感语音的自然度和情感度。

汉语情感语音合成的研究

本文探讨了一种汉语情感语音合成的方案。首先,根据汉语韵律的分层特点,采用SFC基频时长韵律模型,从语料库中提取出反映汉语情感特征的基频参数和时长参数曲线;然后,采用STRAIGHT语音分析与合成算法,用提取出的反映情感特征的韵律参数控制合成过程,从而合成出带有情感的汉语语音。

情感语音合成技术或对声纹鉴定准确性产生影响

声纹鉴定运用语言学、计算机科学等知识,对涉案语音和样本语音进行听觉辨识,同时运用频谱图进行综合分析,判断二者是否由同一音源发出,或者判断声音性质。声纹鉴定结果可以为侦查和诉讼活动提供线索或证据。深度学习可以促进情感语音合成技术的发展,而情感语音合成技术的发展水平越高,合成语音与人声的差异就越小,声纹鉴定的难度就越大。文章旨在研究深度学习以及情感语音合成技术发展的发展状况,以此分析其可能对声纹鉴定准确性产生影响的因素。

情感语音合成综述

情感语音合成作为一个新兴的语音合成方向,糅合生理学、心理学、语言学和信息科学等各学科知识,可以应用于文本阅读、信息查询发布和计算机辅助教学等领域,能够很好地将语音的口语分析、情感分析与计算机技术有机融合,为实现以人为本,具有个性化特征的语音合成系统奠定基础。目前的情感语音合成工作可分为基于规则合成和基于波形拼接合成两类。情感语音合成研究分为情感分析和语音合成两个部分。其中,情感分析的主要工作是收集不同情感的语音数据、提取声学特征,分析声学特征与情感联系;语音合成的主要工作是建立情感转换模型,利用情感转换模型实现合成。

基于多情感说话人自适应的情感语音合成研究

提出了一种基于多情感自适应的情感语音合成方法,其创新点在于,通过SAT过程从多个说话人的情感语音语料中获得情感语音的平均音模型,对目标说话人的情感数据进行自适应变换,构建目标情感的声学参数模型,从而达到合成出目标说话人的情感语音的效果.实验表明,本方提出的方法能够获得自然度和情感相似度均较好的合成情感语音.