以BERT为代表的自然语言预训练模型由于缺少专业领域知识支持导致准确度受到限制,知识增强型BERT模型通过引入外部专业知识有效改善了模型在不同领域下游任务中的知识缺失问题,取得了比BERT模型更高的准确率.但是,知识增强型BERT由于引...以BERT为代表的自然语言预训练模型由于缺少专业领域知识支持导致准确度受到限制,知识增强型BERT模型通过引入外部专业知识有效改善了模型在不同领域下游任务中的知识缺失问题,取得了比BERT模型更高的准确率.但是,知识增强型BERT由于引入大规模外部知识,导致计算资源需求和训练时间急剧攀升.针对此问题,提出一种基于语料关联生成(corpus association generation, CAG)的知识增强方法,通过实体名词识别将输入文本语料拆解为顺序序列的字词集合与实体名词集合,字词集合通过实体名词与外部知识三元组进行语义关联;然后,基于语义关联进一步拼接生成蕴含外部知识的强相关性语料;最后,利用BERT模型结构将蕴含外部知识的强关联语料注入至下游任务进行知识增强.该方法可有效避免引入额外模型结构而导致的模型复杂度提升,从而有效降低模型训练计算量.以LCQMC、XNLI等6个公开数据集进行实验分析,结果表明在下游任务中知识引入阶段与训练计算阶段的平均耗时比K-BERT分别降低53.5%与37.4%.展开更多
文摘以BERT为代表的自然语言预训练模型由于缺少专业领域知识支持导致准确度受到限制,知识增强型BERT模型通过引入外部专业知识有效改善了模型在不同领域下游任务中的知识缺失问题,取得了比BERT模型更高的准确率.但是,知识增强型BERT由于引入大规模外部知识,导致计算资源需求和训练时间急剧攀升.针对此问题,提出一种基于语料关联生成(corpus association generation, CAG)的知识增强方法,通过实体名词识别将输入文本语料拆解为顺序序列的字词集合与实体名词集合,字词集合通过实体名词与外部知识三元组进行语义关联;然后,基于语义关联进一步拼接生成蕴含外部知识的强相关性语料;最后,利用BERT模型结构将蕴含外部知识的强关联语料注入至下游任务进行知识增强.该方法可有效避免引入额外模型结构而导致的模型复杂度提升,从而有效降低模型训练计算量.以LCQMC、XNLI等6个公开数据集进行实验分析,结果表明在下游任务中知识引入阶段与训练计算阶段的平均耗时比K-BERT分别降低53.5%与37.4%.