预训练语言模型及其应用

预训练语言模型(pre-trained languages model,PTLM)在自然语言处理(natural language processing,NLP)领域取得了令人瞩目的成功,并由此引发了下游任务从监督学习到预训练-微调范式的转变。在此之后,一系列预训练模型的创新研究涌现出来。本文系统性、全面的回顾了自然语言处理的代表性工作和最新进展,并按照类别系统性的介绍了自然语言处理领域的预训练模型。首先我们简要介绍了预训练模型,以及不同的模型特点和框架。之后,我们介绍并分析了预训练模型的影响和挑战以及下游任务中的应用。最后,我们简要总结并阐述了预训练模型未来的研究方向。