基于BERT的医疗电子病历命名实体识别

针对中文医疗电子病历命名实体识别中,传统的字或词向量无法很好地表示上下文语义以及传统RNN并行计算能力不足等问题,提出了一个基于BERT的医疗电子病历命名实体识别模型。该模型中的BERT预训练语言模型可以更好地表示电子病历句子中的上下文语义,迭代膨胀卷积神经网络(IDCNN)对局部实体的卷积编码有更好的识别效果,多头注意力(MHA)多次计算每个字和所有字的注意力概率以获取电子病历句子的长距离依赖。实验结果表明,BERT-IDCNN-MHA-CRF模型能够较好地识别电子病历中的医疗实体,模型的精确率、召回率和F1值相比于基线模型分别提高了1.80%,0.41%,1.11%。

基于深度学习多模型融合的医疗命名实体识别

针对医疗命名实体识别中单一模型获取文本语义特征不足的问题,提出基于深度学习多模型融合的医疗命名实体识别方法。提出一种基于变异系数的加权投票算法,构建基于BERT(Bidirectional Encoder Representations from Transformers)-MNER、IDCNN(Iterated Dilated Convolution Neural Networks)-MNER、GAT(Graph Attention Networks)-MNER的融合模型,然后提出一种基于历史信息的实体纠错算法优化融合结果。以2019年全国知识图谱与语义计算大会(CCKS2019)中文电子病历医疗实体识别语料作为实验数据,实验结果表明,该方法获得了较好的识别效果,精确率、召回率和F1值分别达到89.56%、82.77%和86.03%。

基于伪标签置信选择的半监督医疗事件抽取

医疗事件抽取是构建医疗知识图谱的重要基础.针对医疗领域有标签数据匮乏的问题,构建基于Transformer编码器、BiLSTM和注意力机制的医疗事件联合抽取模型,并提出一种用于选择高置信度数据的伪标签置信选择算法.首先,训练医疗事件联合抽取模型对无标签数据进行预测产生伪标签数据;然后,通过计算伪标签一致概率P来选择高置信度的伪标签数据,将其加入原有数据中重新训练联合抽取模型;最后,使用更新的医疗事件联合抽取模型对电子病历中肿瘤原发部位、病灶大小和转移部位事件进行抽取,并使用多数投票得到最终的抽取结果.以2020年全国知识图谱与语义计算大会(CCKS2020)中面向中文电子病历的医疗事件抽取任务语料作为实验数据,实验结果表明,本文提出方法获得了较好的医疗事件抽取结果.

基于多任务学习的短文本实体链接方法

实体链接是明确文本中实体指称的重要手段,也是构建知识图谱的关键技术,在智能问答、信息检索等领域中具有重要作用,但由于短文本的上下文语境不丰富、表达不正式、语法结构不完整等特点,现有的短文本实体链接方法准确率较低。提出一种新的短文本实体链接方法,将多任务学习方法引入短文本实体链接过程中,从而增强短文本实体链接方法的效果。在此基础上,构建多任务学习模型,将短文本实体链接作为主任务,并引入实体分类作为辅助任务,促使模型学习到更加通用的底层表达,提高模型的泛化能力,优化模型在短文本实体链接任务中的表现。在CCKS2020测评任务2提供的数据集上的实验结果表明,辅助任务的引入能够缓解短文本实体链接过程中信息不充分的问题,且该多任务学习模型的F值为0.894 9,优于基于BERT编码器的单任务实体链接模型。

基于注意力机制的包装命名实体识别

目的为了解决包装行业相关文本命名实体识别困难问题,提出在BiLSTM(Bidirectional Long Short-Term Memory)神经网络中加入注意力机制(Attention)和字词联合特征,构建一种基于注意力机制的BiLSTM深度学习模型(简称Attention-BiLSTM),以识别包装命名实体。方法首先构建包装领域词典匹配包装语料中词语的类别特征,同时将包装语料转换为字特征和词特征联合的向量特征,并且在过程中加入POS(词性)信息。然后将以上特征联合馈送到BiLSTM网络,以获取文本的全局特征,并利用注意力机制获取局部特征。最后根据文本的全局特征和局部特征使用CRF(Conditional Random Field)解码整个句子的最优标注序列。结果通过对《中国包装网》新闻数据集的实验,获得了85.6%的F值。结论所提方法在包装命名实体识别中优于传统方法。

基于门控多层次注意机制的事件主体抽取

传统事件主体抽取方法着重依赖句子级信息进行抽取,不能完全解决事件的模糊性问题。提出一种基于门控多层次注意机制的ELMo-BiGRU深度学习模型对事件主体抽取进行研究。使用ELMo预训练模型生成上下文相关的动态词向量,在一定程度上缓解一词多义的问题;为了处理句子中存在事件模糊性的问题,采用门控多层次注意力机制动态融合每个词的句子级信息和文档级信息。实验结果表明,该方法的抽取效果明显优于传统抽取方法,可以有效解决事件主体抽取的问题。

基于BERT和TextRank关键词提取的实体链接方法

提出一种基于BERT(bidirectional encoder representations from transformers)和TextRank关键词提取的实体链接方法。将BERT预训练语言模型引入实体链接任务,进行实体指称上下文和候选实体相关信息的关联度分析,通过提升语义分析的效果来增强实体链接的结果。采用TextRank关键词提取技术增强目标实体综合描述信息的主题信息,增强文本相似度度量的准确性,从而优化模型效果。使用CCKS2019评测任务二的数据集对模型效果进行验证,实验结果表明,所提方法的实体链接效果明显优于其他实体链接方法,能有效解决实体链接问题。

基于SoftLexicon的医疗实体识别模型

为了解决在中文电子病历命名实体识别任务中,基于字符粒度NER方法对序列信息遗漏的问题,以及引入外部词典资源方法所带来的运算效率问题,提出一种基于SoftLexicon的医疗实体识别模型。首先,将输入序列中的每个字符映射到一个稠密向量中;接下来,引入外部词典资源,为每个字符构造SoftLexicon特征,并将其添加到对应的字向量表示中;然后,将这些增强的字符表示放入Bi-LSTM和CRF层,以获得最终的识别结果。该模型既能有效捕捉句子序列中字符的特征,提取上下文之间的依赖关系,又能实现标签预测的顺序性。以CCKS-2020医疗命名实体识别评测任务提供的电子病历数据作为实验数据集,实验结果表明,与基于字符粒度的传统NER方法相比,所提方法在实体识别性能和效率上都显著提高。