基于预训练模型和联合调参的改进训练算法

一、引言 诸如BERT和Open-GPT等预训练语言模型的引入,为NLP研究和工业界带来了巨大的进步,这些模型的贡献可以分为两个方面.首先,经过预训练的语言模型使建模人员可以利用少量数据获得合理的准确性,这种策略与经典的深度学习方法相反,经典的深度学习方法需要大量的数据才能达到可比的结果.其次,对于许多NLP任务,例如SQuAD,CoQA,命名实体识别,Glue,机器翻译,预训练的模型如果给定合理数量的标记数据,可以创造新的State-of-the-art记录.