基于知识蒸馏的企业命名实体识别模型

BERT词嵌入模型能够解决简单命名实体识别模型预测精度低的问题,但基于BERT类的复杂词嵌入模型具有计算复杂度高、模型预测时间过长等缺陷。针对该问题,构建基于知识蒸馏的命名实体识别模型,将BERT+CRF模型作为教师模型,获取较高的命名实体识别精度,并基于模型结构相似原则将BiGRU+CRF作为学生模型,在学生模型训练的过程中进行知识蒸馏。知识蒸馏根据教师模型Softmax层和学生模型Softmax层输出的标注概率矩阵分别作为教师模型的知识和学生模型的知识,通过均方损失函数计算教师模型知识与学生模型知识之间的差距,将获得的结果作为软标签误差,将学生模型预测的标签结果与真实标签之间的误差作为硬标签误差,总误差为软标签误差与硬标签误差的加权和,通过误差反向传播进行模型的训练,在减小总误差的同时缩小教师模型知识与学生模型知识之间的差距,使学生模型预测精度接近教师模型。最终使用学生模型进行预测,在接近教师模型预测精度的同时保证相对较短的预测时间。在DuIE2.0数据集上的实验结果表明,该命名实体识别模型在F1值损失2.6%的情况下,可使模型参数规模缩小93.7%,从而缩短了65.2%的运算时间。

基于Att-BiGRU的演化关系抽取方法研究

针对传统方法在通用性、特征提取和事件所在上下文的深层语义等方面存在的问题,本文提出了一种基于注意力的双向门控循环单元(At tent ion Bidi rect iona l Gated Recur rent Uni t,At t-BiGRU)演化关系抽取模型。通过注意力机制与BiGRU的结合,来突出和强调指定词组对句子整体的一个贡献度,从而加强演化关系抽取中的关键词汇的语义和信息,最终提高事件抽取的准确性。实验结果表明,该模型用于突发事件演化关系抽取中抽取的演化关系的Precision、Recall和F_(1)值都取得了较高的值,相较于现有的一些方法有很大的提升。