面向淋巴水肿疾病的电子病历命名实体识别应用研究

目的/意义探讨人工智能技术应用于淋巴水肿患者电子病历非结构化文本数据的关键实体识别问题。方法/过程阐述样本稀缺背景下模型微调训练的解决方案,选取首都医科大学附属北京世纪坛医院淋巴外科既往收治患者594例为研究对象,依据临床医生标注的15种关键实体类别,微调GlobalPointer模型的预测层,借助其全局指针识别嵌套和非嵌套的关键实体。分析实验结果的准确性和临床应用可行性。结果/结论微调后模型总体精准率、召回率和Macro_F1均值分别为0.795、0.641和0.697,为淋巴水肿电子病历数据精准挖掘奠定基础。

基于多头注意力的中文电子病历命名实体识别

针对中文电子病历中复杂医疗实体的识别问题,提出一种联合特征与多头注意力相结合的实体识别方法。该方法使用字符、词性和词典组成的联合特征,利用BiLSTM和多头注意力分别提取句子的全局特征和局部特征,利用CRF结合所有特征完成实体标签的预测。实验结果表明,该方法F1值达89.16%,其中治疗和疾病两类实体分别达到94.76%和95.56%。

基于BERT和领域词典融合的中文电子病历命名实体识别

医疗数据挖掘的起始环节为CNER(中文电子病历命名实体识别),将相关实体(解剖部位、药品、影像检查等)识别出非结构化文本是其目标所在。基于CNER准确性提升需要,论文设计了BERT-BiLSTM-CRF模型融合领域词典技术,该技术能将上下文语义关系全面结合,一词多义问题同样可以迎刃而解,获取电子病历句子的长距离依赖。CNER采用BERT-BiLSTM-CRF模型融合领域词典技术时的F1值已经被实验结果所证实,对知识图谱的构建、临床决策支持系统和病历质控系统等的研究有着重要意义。

基于BERT的电子病历命名实体识别

电子病历是保存、管理、传输病人医疗记录的重要资源,是医生诊治疾病的重要文本记录。通过电子病历命名实体识别(NER)技术能够高效、智能地从电子病历中抽取症状、疾病、药名等诊疗信息,有利于结构化电子病历,使之能够使用机器学习等技术进行诊疗规律挖掘。为了高效识别电子病历中的命名实体,提出一种融合对抗训练(FGM)的基于BERT与双向长短期记忆网络(BILSTM)的命名实体识别方法(BERT-BILSTM-CRF-FGM,BBCF),对2017全国知识图谱与语义计算大会(CCKS2017)提供的中文电子病历语料做修正等预处理后,采用BBCF模型识别该语料中5种实体的平均F1值为92.84%,比基于膨胀卷积网络的BERT模型(BERT-IDCNN-CRF)和基于BILSTM的条件随机场模型(BILSTM-CRF)有更高的F1值和更快的收敛速度,能够更加高效地结构化电子病历文本。

中文电子病历命名实体识别算法BLF-MarkBERT

随着深度学习技术的发展,中文命名实体识别在各个领域取得了显著进展,特别是在中文电子病历领域,它成为了医学信息管理领域的重要任务。中文电子病历命名实体识别从电子病历中自动识别和分类命名实体,提高了医学信息管理效率和临床决策支持,促进了医学智能信息化发展。为进一步提升效果,对MarkBERT方法进行研究,在其基础上改进并实现了一种融合双向长短时记忆网络和解码方式的深度学习模型BLF-MarkBERT。在CCKS2019数据集上的实验结果表明,BLF-MarkBERT在准确率P、召回率R和F1分数这三个评估指标上均优于对比算法,表明了该模型的优越性。

基于RBBEGP的中文电子病历命名实体识别研究

针对中文电子病历中嵌套命名实体较多以及中英文字词表达差异所导致的传统命名实体识别模型识别准确率低的问题,文章提出了一种基于RoBERTa-wwm-ext-BiGRU-EGP的命名实体识别模型RBBEGP。预训练模型RoBERTawwm-ext将输入的中文电子病历文本序列转化为动态向量,BiGRU对词向量的双向时序特征信息进行提取以结合上下文语义,最后通过全局指针网络(Efficient Global Pointer,EGP)判断并输出最为可靠的序列作为命名实体的类别。实验结果表明,文章提出的RBBEGP模型在CCKS2019中文电子病历数据集上的精确率、召回率、F1值分别达到了83.36%、83.25%和83.30%,相较于BERT-BiLSTM-CRF等主流模型有所提高。

中文电子病历命名实体识别方法研究

目的/意义探索基于中文电子病历的命名实体识别方法在构建医学知识图谱和相关应用推广方面的技术可行性。方法/过程采用真实医疗电子病历数据对词嵌入表示模型进行精化,构建医学术语专有嵌入表示,并利用卷积神经网络等多模型提取局部语义特征,实现基于堆叠注意网络的中文医疗命名实体识别。结果/结论堆叠注意网络模型F1值达到91.5%,较其他模型具备更强的医疗命名实体识别性能。进一步解决中文医疗命名实体识别难点,在实现全局语义特征全面深入提取的同时降低时间成本。

基于RoBERTa-WWM模型的中文电子病历命名实体识别研究

在应对中文电子病历文本分析时,面临着一词多义、识别不完整等挑战。为此,构建了RoBERTa-WWM模型与BiLSTM-CRF模块相结合的深度学习框架。首先,将经过预训练的RoBERTa-WWM语言模型与Transformer层产生的语义特征进行深度融合,以捕获文本的复杂语境信息。接着,将融合后的语义表示输入至BiLSTM以及CRF模块,进一步细化了实体的辨识范围与准确性。最后,在CCKS2019数据集上进行了实证分析,F1值高达82.94%。这一数据有力地证实了RoBERTa-WWM-BiLSTM-CRF模型在中文电子病历命名实体的识别工作上的优越性能。

电子病历命名实体识别和实体关系抽取研究综述

电子病历(Electronic medical records,EMR)产生于临床治疗过程,其中命名实体和实体关系反映了患者健康状况,包含了大量与患者健康状况密切相关的医疗知识,因而对它们的识别和抽取是信息抽取研究在医疗领域的重要扩展.本文首先讨论了电子病历文本的语言特点和结构特点,然后在梳理了命名实体识别和实体关系抽取研究一般思路的基础上,分析了电子病历命名实体识别、实体修饰识别和实体关系抽取研究的具体任务和对应任务的主要研究方法.本文还介绍了相关的共享评测任务和标注语料库以及医疗领域几个重要的词典和知识库等资源.最后对这一研究领域仍需解决的问题和未来的发展方向作了展望.

结合注意力机制的BERT-BiGRU-CRF中文电子病历命名实体识别

为了改善中文电子病历命名实体识别模型的性能,本文提出了基于BERT、双向门控循环单元(Bidirectional Gate Recurrent Unit,BiGRU)与条件随机场CRF相结合的中文电子病历命名实体识别模型,并在此基础上引入了注意力机制.利用BERT(Bidirectional Encoder Representation from Transformers)预训练模型得到结合语境信息的动态字向量,通过双向门控循环单元(Bidirectional Gate Recurrent Unit,BiGRU)提取全局语义特征,利用注意力机制获得增强语义特征,最后通过CRF(Conditional Random Field)解码输出概率最大的全局最优标签序列.利用含有解剖部位、手术、疾病和诊断、药物、实验室检验、影像检查6类实体的CCKS19中文电子病历数据集训练模型.对比实验表明了本文提出的命名实体识别模型的有效性,本文模型在CCKS19数据集上获得了84.11%的F1值。

基于BERT的中文电子病历命名实体识别

针对中文电子病历命名实体识别过程中实体特征利用率低,语义表示不充分等问题,提出一种基于BERT语言模型的命名实体识别方法。运用Char-CNN学习字符的多种特征,将特征加入BERT预训练生成的词向量中,获得融合领域信息和汉字特征的词向量表示,将词向量输入迭代扩张卷积神经网络中进行特征抽取,引入注意力机制加强实体特征的关注度,通过CRF解码标注命名实体。实验结果表明,该方法在CCKS17中取得91.64%的F1值,识别性能优于现有方法。

基于主动学习的中文电子病历命名实体识别研究

目的:开展基于主动学习的中文电子病历命名实体识别研究,旨在优化机器学习模型,并降低标注成本。方法:分析比较信息熵、语料长度以及随机查询3种不同算法,采用CCKS 2018 CNER评测语料,识别病历文本中的解剖部位、手术、药物、独立症状、症状描述5类实体。结果:在字数成本节约方面,基于熵的方法相比基于长度的方法节省了41%的字数;在语料成本节约方面,基于熵的算法相比随机抽样节省了46%的语料。结论:基于信息熵的主动学习方法通过选择待选标注集中最不确定的语料进行标注,可显著减少对标注语料的依赖,降低人工标注成本。

基于IDCNN+CRF和注意力机制的电子病历命名实体识别方法及模型稳定性研究

目的:基于膨胀卷积+条件随机场(IDCNN+CRF)和注意力机制进行电子病历的实体识别,观察识别效果及模型的稳定性。方法:电子病历实体识别的实体抽取环节采用IDCNN+CRF架构,实体对齐环节采用Seq2Seq+注意力机制的翻译框架。与其他算法模型比较,观察所构建模型对电子病历实体的识别效果;逐步增加电子病历数量,分析对模型性能的提升效果。结果:IDCNN+CRF+注意力模型对于电子病历实体识别的准确率为97.17%,精确率为95.75%,召回率为95.06%,F_(β)值为95.51%,优于Bi-LSTM+CRF、CRF、HMM等其他模型;在电子病历增加15篇后F_(β)-score值趋于平稳。结论:基于IDCNN+CRF和注意力机制构建的模型具有良好的电子病历实体关系识别效果,且模型稳定性优异,为后续电子病历命名实体结构化提供了一种稳定可行的方案。

融合文字与标签的电子病历命名实体识别

准确的命名实体识别是结构化电子病历的基础,对于电子病历规范化编写有着重要的作用,而现今的分词工具对于专业的医疗术语无法做到完全正确的区分,使得结构化电子病历难以实现.针对医疗实体识别中出现的问题,本文提出了一种在命名实体识别领域中改进的BiLSTM-CRF深度学习模型.模型将文字和标签结合作为输入,在多头注意力机制中使模型关注更多的有用信息,BiLSTM对输入进行特征提取,得到每个文字在所有标签上的概率,CRF在训练过程中学习到数据集中的约束,进行解码时可以提高结果的准确率.实验使用人工标注的1000份电子病历作为数据集,使用BIO标注方式.从测试集的结果来看,相对于传统的BiLSTM-CRF模型,该模型在实体类别上的F1值提升了3%–11%,验证了该模型在医疗命名实体识别中的有效性.

融合HowNet的中文电子病历命名实体识别

中文电子病历中存在大量非结构化的文本信息,其中的医学命名实体识别是生物医学领域知识组织和服务的基础。文章首先分析了中文电子病历特征的词语、词性、语素和词的组成等语法特征,以及HowNet语义特征;然后,运用CRF模型,提出了基于CRF医学命名实体的识别方案;最后,实验表明融合HowNet的中文电子病历命名实体识别方法具有较好的效果。

基于RoBERTa与字词融合的电子病历命名实体识别方法研究

为了提高所抽取电子病历文本中语义信息的准确性,提出基于RoBERTa与字词融合的电子病历命名实体识别算法.采用预训练模型RoBERTa得到充分考虑上下文信息的字向量;然后对文本进行分词处理,再通过Word2Vec得到词向量;最后将两者进行融合传入双向长短记忆神经网络BiLSTM中进行训练,经过条件随机场CRF进行预测输出.在电子病历数据集上进行的对比实验表明,在采用3个评价指标的情况下,文中算法均明显优于经典的电子病历命名实体识别方法.

基于多特征融合的中文电子病历命名实体识别

中文电子病历命名实体识别对于医学知识库的构建和临床决策作用关键。针对中文电子病历结构化实体识别困难的问题,提出一种多特征融合的中文电子病历命名实体识别方法。该方法基于条件随机场,通过逐一融合语言符号、词性、关键词、词典、词聚类等多种特征,采用递增式学习策略验证其有效性,在最优特征组合下识别出疾病、症状、检查和治疗4类实体。实验结果表明,该方法识别准确率达到90.99%,有效满足了应用需求。

结合神经文本生成的FLAT模型的中文电子病历命名实体识别

随着医疗信息化的发展,电子病历命名实体识别受到了广泛关注。电子病历中包含大量的专业词汇,而专业词汇的切分错误会使命名实体识别效果不佳。FLAT模型在引入词边界信息时能有效避免分词错误信息的传播,提高命名实体识别效果,但FALT模型依赖于高质量的词典信息。针对这一问题,提出了结合神经文本生成的FLAT模型,使用神经文本生成方法生成大量新病历文本,通过提出的评分函数筛选通顺的文本训练词向量作为FLAT模型的词典信息。实验表明:结合神经文本生成的FLAT模型在CCKS2017数据集上取得了95.32%的F1分数,比BiLSTM CRF模型提高了1.16%,比BERT CRF模型提高了0.89%;在CCKS2019数据集上取得了85.87%的F1分数,比BiLSTM CRF模型提高了5.19%,比BERT CRF模型提高了1.34%。

融合多特征和迭代扩张卷积的中文电子病历命名实体识别

针对中文电子病历命名实体识别过程中文本语义表示不充分、特征抽取效率低等缺陷,提出一种融合多特征和迭代扩张卷积的命名实体识别方法。该方法首先构建基于卷积神经网络(CNN)的字嵌入算法,将生成的字向量与词向量等外部特征信息融合后送入迭代扩张卷积神经网络(IDCNN)中进行特征抽取,引入注意力机制加强序列间依赖关系,最后通过CRF解码最优标签序列。该方法在CCKS2017中文电子病历数据集中取得了91.36%的F1值,识别性能优于现有方法,同时验证了融合多特征的语义表示对中文实体识别有一定性能提升。

结合自注意力的BiLSTM-CRF的电子病历命名实体识别

为弥补现有方法不能很好捕获电子病历实体之间的长距离依赖关系的缺陷,提出一种结合自注意力的BiLSTM-CRF的命名实体识别方法。将输入文本转成神经网络可识别的数值形式;经过BiLSTM网络并结合自注意力计算得到每个字的输出特征向量;通过CRF层找到句子最适合的输出标签序列,从而确定命名实体。采用CCKS2018数据集进行实验,结果表明,改进的命名实体识别方法对电子病历具有一定的适应性,且与现有的方法相比,测试集的准确率提高了6.50~9.25个百分点。