基于分离对比学习的个性化语音合成

个性化语音合成是指根据目标说话人的参考语音,合成具有目标说话人风格的语音。参考语音同时依赖于目标说话人风格和语音中的文本内容。现有方法将参考语音作为一个整体进行对比分析,但是在说话人风格和语言内容两方面没有进行分离对比分析,导致了合成语音受到语言内容的干扰,而偏离目标说话人风格的问题。设计了一种风格与内容分离的对比损失,用于个性化语音合成模型。该模型包括风格-内容分离对比模块、说话人模块、语音解码器模块。风格-内容分离对比模块将查询参考语音中的风格和内容视为正例,并使用风格-内容分离的负例。该分离负例能够促使查询的风格和其他参考语音中的内容分离,同时能够促使查询的内容与其他参考语音中的风格分离。风格内容分离对比模块用于学习兼顾风格-内容的语音特征。说话人模块学习说话人身份特征,并用于引导说话人风格学习。语音解码器模块融合风格-内容的语音特征和说话人身份特征,用于提高对持续时间、音高、能量这些说话人风格的描述能力。在VCTK和LibriTTS两个数据集上的实验表明,该方法提高了合成语音的说话人相似度,合成语音的质量优于现有方法。