融合对抗训练的中文GPT对话模型研究

在已清洗的中文会话数据集中进行预训练时存在对话模型泛化能力降低、微调后评价指标偏低的问题,为此采用对抗训练的方法,提出一种融合对抗训练的中文GPT对话模型。在微调过程中使用投影梯度下降法进行训练,使用Focal损失函数加快训练速度。实验结果表明,融合对抗训练后,在有噪声的数据集微调和测试中,该模型与基线模型相比具有较强的抗干扰和泛化能力。