基于多领域条件生成的语音情感转换

语音情感转换是在不改变话者声纹、语义的情况下,将一种情感语音转换成另一种情感语音的技术,本质是实现语音的风格迁移。主流的风格迁移技术有对抗生成技术(如CycleGAN,StarGAN)和实例规一化技术(如IN,CIN)。CIN相对于IN添加了均值方差选择性模块,具有更强的风格迁移能力。提出了将StarGAN和CIN结合的语音情感转换模型CIN-StarGAN,将CIN模块嵌入到StarGAN生成器。在ESD数据集上的实验结果表明,CINStarGAN比基于CycleGAN的情感转换模型收敛速度快28%,具有较好的风格转换能力。在多领域情感转换方法上具有潜在研究价值。

基于条件流的人脸正面化生成对抗模型

根据侧面人脸合成正面人脸一直是计算机视觉领域中的一个难题。对此设计基于条件流的人脸正面化生成对抗网络模型。采用Glow模型作为生成网络实现高效的推理和合成;采用条件实例归一化层(CIN)来控制正面人脸的生成;采用变分判别器瓶颈(VDB),以潜在变量对身份进行判别,生成身份一致的正面人脸。在Multi PIE数据集上进行实验,实验分析表明,该网络模型可以生成更具真实性和多样性的正面人脸图片。