提示学习研究综述

经过微调的预训练语言模型在各领域任务中均取得了显著的性能。但是,预训练和微调之间在训练数据和目标函数方面存在着巨大差距,阻碍了预训练语言模型对下游任务的有效适应。提示学习的提出缩小了预训练和微调之间的差距,并可以很好地应用到小样本甚至零样本场景中。提示学习的核心思想是将提示模板插入到原始输入中,将下游任务数据转化为自然语言的形式输入到预训练模型中,输出预测结果,然后通过语言表达器将输出映射到相应的标签。系统地梳理了当前提示学习的相关工作,根据提示学习的实现步骤,从提示模板和语言表达器构建两个阶段介绍该类方法的研究进展。将基于提示模板的方法细分为人工构建、自动构建、引入外部知识构建提示和思维提示方法4种;将基于语言表达器的方法细分为人工构建的表达器、基于搜索的表达器、软表达器和引入外部知识构建表达器的方法4种。总结了提示学习在自然语言处理、计算机视觉和多模态领域的主要应用,并对提示学习相关实验进行了分析。最后,概述了提示学习的现状和挑战,展望了提示学习的未来发展方向。