注意力机制对生成对抗网络语音增强迁移学习模型的影响

基于深度学习的语音增强模型对训练集外语言语音和噪声进行降噪时,性能明显下降。为了解决这一问题,提出一种引入注意力机制的生成对抗网络(Generative Adversarial Network,GAN)语音增强迁移学习模型。在生成对抗语音增强模型的判别模型中引入注意力机制,以高资源场景下的大量语音数据训练得到的语音增强模型为基础增强模型,结合低资源场景下的少量语音训练数据,对基础增强模型进行权重迁移,提升低资源场景下语音增强模型的增强效果。实验结果表明,采用注意力机制的生成对抗语音增强迁移学习模型,对低资源场景下的带噪语音和集外噪声可以进行有效的降噪。