语义图支持的阅读理解型问题的自动生成

问题自动生成是人工智能领域的一项技术,其目标是根据输入的文本模拟人类的能力,自动生成相关问题。目前的问题自动生成研究主要基于通用数据集生成问题,缺乏专门针对教育领域的问题生成研究。为此,专注于面向中学生的问题自动生成进行研究。构建一个专门为问题生成模型训练需求而设计的数据集RACE4QG,以满足中学生教育领域的独特需求;开发一个端到端的问题自动生成模型,该模型训练于数据集RACE4Q,并采用改进型“编码器-解码器”方案,编码器主要采用两层双向门控循环单元,其输入为单词和答案标记的嵌入表示,编码器的隐藏层采用门控自注意力机制获得“文章和答案”的联合表示后,再输入到解码器生成问题。试验结果显示,该模型优于最优基线模型,3个评价指标BLEU-4、ROUGE-L和METEOR分别提高了3.61%、1.66%和1.44%。

基于RetNet的建筑市政自然语言问题生成

目前大部分问题生成模型基于Transformer结构,但随着文本长度增加,Transformer的KV缓存机制导致GPU占用线性增加、吞吐量降低,增加推理成本。为解决此问题,采用RetNet模型构建RetNet-Bert问题生成模型。该模型使用多尺度保持机制替代多头注意力机制,具有并行和循环的双重形式,提高了推断效率。实验证明,RetNet-Bert在长序列建模上表现更佳,同时实现了训练并行性、低成本部署和高效推理,在建筑市政信息生成问题上具有高可行性和有效性,达到了较高水准。

面向问答领域的数据增强方法

针对当前自动问答数据增强方法需要大量外部数据的问题,提出一个面向问答模型缺陷的数据增强方法。首先,在训练集上训练好问答模型、问题生成模型以及问答匹配模型;然后,获取问答模型在训练集上预测的所有答案,并选取其中预测错误的答案;再后,使用问题生成模型对这些答案生成相应问题;最后,通过问答匹配模型对生成的问答对进行过滤,保留其中质量较高的数据作为最终的增强数据。该方法不需要额外的数据与领域知识,同时能够针对模型构造特定数据,耗费较少的训练代价就能使模型性能提升。实验结果表明,所提出的数据增强方法对R-Net,Bert-Base以及Luke均有效,与其他数据增强方法相比,在较少的增强数据规模下,问答模型获得更好的性能提升。