利用外部知识辅助和多步推理的选择题型机器阅读理解模型

选择题型机器阅读理解的答案候选项往往不是直接从文章中抽取的文本片段,而是对文章内容中相关片段的归纳总结、文本改写或知识推理,因此选择题型机器阅读理解的问题通常需要从给定的文本中甚至需要利用外部知识辅助进行答案推理.目前选择题型机器阅读理解模型大多数方法是采用深度学习方法,利用注意力机制对文章、问题和候选项这三者的信息进行细致交互,从而得到融合三者信息的表示进而用于答案的预测.这种方式只能利用给定的文本进行回答,缺乏融入外部知识辅助,因而无法处理需外部知识辅助推理的问题.为了解决需外部知识辅助推理的问题,本文提出了一个采用外部知识辅助多步推理的选择题型机器阅读理解模型,该模型首先利用注意力机制对文章、问题和候选项及与这三者相关的外部知识进行信息交互建模,然后采用多步推理机制对信息交互建模结果进行多步推理并预测答案.本文在2018年国际语义测评竞赛(SemEval)中任务11的数据集MCScript上进行对比实验,实验结果表明本文提出的方法有助于提高需要外部知识辅助的选择题型问题的准确率.

基于大语言模型的复杂任务自主规划处理框架

随着深度学习和自然语言处理技术的进步,大语言模型(Large language models, LLMs)展现出巨大潜力.尽管如此,它们在处理复杂任务时仍存在局限性,特别是在任务需要结合规划及外部工具调用的场合.面向这一挑战,提出国内首个以军事游戏为背景的中文的复杂任务规划与执行数据集(Complex task planning and execution dataset, CTPaE),以及一个基于LLMs的自主复杂任务规划(Complex task planning, CTP)处理框架AutoPlan.该框架可以对复杂任务进行自主规划得到元任务序列,并使用递进式ReAct提示(Progressive ReAct prompting, PRP)方法对已规划的元任务逐步执行.该框架的有效性通过在CTPaE上的实验及与其他经典算法的比较分析得到了验证.项目地址:https://github.com/LDLINGLINGLING/AutoPlan.