基于大语言模型的垂直领域问答系统研究

垂直领域的任务型对话系统的构建存在缺乏标注数据、泛化性能差、无法冷启动的问题。最近,随着ChatGPT等大型语言模型的提出,自然语言处理领域有了很多新的进展。然而,对在探索大语言模型应用在垂直领域的任务型对话系统构建中的涌现能力的研究还较少。本文针对垂直领域任务型对话系统的构建难题,提出了基于大规模语言模型的意图和词槽识别方法,具体来说有三点:(1)微调大语言模型以提高意图和词槽识别性能;(2)采用多轮交互方式提升识别效果;(3)基于大模型生成训练数据进行数据增强。这些方法的综合应用,能够为垂直领域对话机器人的构建提供一个高效解决方案,减少对人工标注数据的依赖,提升对话机器人在few-shot和zero-shot情况下的准确性。