风格前缀引导下的无监督文本风格迁移

传统的深度学习方法为了完成不同的无监督文本风格迁移(text style transfer, TST)任务,需要独立训练和保存多个完整的模型。针对存在的问题:需要大量存储空间来存储不同的模型导致存储成本过高以及由于每个模型都是独立的,很难对它们进行模块化封装和复用,从而限制了模型的可重用性和可扩展性,受前缀调优技术的启发,提出风格前缀引导下的无监督风格迁移模型,该模型在语言模型的激活层前添加风格前缀,并通过注意力机制捕捉风格前缀的特征来引导风格迁移。保持预训练语言模型参数冻结,只优化和存储风格前缀的参数,从而节省了分别存储多个语言模型的开销。此外,多个任务共享同一个语言模型,提高了模型的可重用性和可扩展性。对两个常见的风格迁移任务进行实验,结果表明,无监督风格迁移模型大部分指标优于现有的基线模型,验证了该方法的有效性。