融合跨说话人韵律迁移的多语种文本到波形生成

在多语种语音合成任务中,由于单人多语种数据稀缺,让一个音色同时支持多种语言合成变得非常困难。不同于已有方法仅在声学模型中解耦音色和发音,提出一种融合跨说话人韵律迁移的端到端多语种语音合成方法,采用两级层级条件变分自编码器直接建模从文本到波形的生成过程,并解耦了音色、发音和韵律等信息。该方法通过迁移目标语种已有说话人的韵律风格来改善跨语种合成的韵律。实验表明,所提模型在跨语种语音生成上获得了3.91和4.01的自然度和相似度平均意见得分,相比基线跨语种合成字错误率降低到5.85%。韵律迁移以及消融实验也进一步证明了该方法的有效性。