基于对比学习与梯度惩罚的实体关系联合抽取模型

针对使用全局指针网络进行实体关系抽取时特征信息不明显的实体关系类型数据稀疏问题,以及数据中存在的类别不平衡和错误标注问题,提出一种基于对比学习和梯度惩罚方法并使用改进的RoBERTa预训练模型的实体关系联合抽取模型,在阿里天池中文医疗信息处理评测基准数据集CBLUE2.0上进行实验的结果表明,该模型相比全局指针网络效果更优,能更有效完成复杂数据的实体关系抽取.

一种结合关系增强融合模型的舆情关系抽取方法

针对舆情信息关系种类繁多、状态空间巨大,以及舆情信息关系抽取任务中出现的关系重叠和单一模型不能完全识别出全部三元组的问题,提出一种结合关系增强的融合模型进行舆情关系抽取的方法。首先,对从中文互联网上获取的舆情信息进行初步处理,得到初步的关系表;其次,对获得的关系表引入实体类型进行关系表增强;最后,将增强关系表作为先验特征输入融合模型,提升关系分类准确性,结合两个模型的识别结果解决单一模型不能完全识别出全部三元组的问题。实验结果表明,该方法相较于单一未使用关系增强的模型,F1值提升了5.4%。

基于知识增强的中文电子病历命名实体识别

针对中文电子病历中医疗嵌套实体难以处理的问题,本文基于RoBERTa-wwm-ext-large预训练模型提出一种知识增强的中文电子病历命名实体识别模型ERBEGP.RoBERTa-wwm-ext-large采用的全词掩码策略能够获得词级别的语义表示,更适用于中文文本.首先结合知识图谱,使模型学习到了大量的医疗实体名词,进一步提高模型对电子病历实体识别的准确性.然后通过BiLSTM对电子病历输入序列编码,能够更好捕获病历的中上下语义信息.最后利用全局指针网络模型EGP(efficient GlobalPointer)同时考虑实体的头部和尾部的特征信息来预测嵌套实体,更加有效地解决中文电子病历命名实体识别任务中嵌套实体难以处理的问题.在CBLUE中的4个数据集上本文方法均取得了更好的识别效果,证明了ERBEGP模型的有效性.