融合问题分类与RoBERTa的答案选择方法

【目的】为解决现有预训练模型在答案选择任务中对问答句之间的语义交互信息利用不足、模型进行微调时精度不稳定等问题,提出融合问题分类与RoBERTa模型的答案选择方法。【方法】提出保留原实体语义的EAT标注方法并结合多句联合建模的RoBERTa模型构建答案选择模型。此外,通过两段微调过程,对模型进行迁移学习,提高模型微调过程的精度稳定性。【结果】在WiKiQA数据集上,本文方法在P@1、MAP和MRR三个指标分别达到0.843、0.896、0.903;在TrecQA数据集上,上述三个指标分别达到0.955、0.944、0.974。同时,该方法提升了模型精度收敛过程的稳定性。【局限】对于“缩写(ABBR)”和“描述(DESC)”这两种类型的复杂问题,使用命名实体识别工具无法抽取答案句中的关键实体,导致不能利用这两种分类信息增强问答句语义信息交互建模。【结论】将保留原实体语义的融合问题分类信息方法与迁移-自适应策略引入多句建模RoBERTa模型,可以有效提升模型表现并改善模型的鲁棒性。