基于预训练模型的医疗命名实体识别

文中针对生物医学实体识别中存在的边界识别不准确和鲁棒性差的问题,提出了一种融合了预训练语言模型BERT与跨度标签网络的命名实体识别模型。该模型利用BERT获取文本的上下文信息,并结合跨度标签网络进行实体分类及边界判定,显著提升了实体识别的准确性。为增强模型的鲁棒性,引入对抗训练策略,通过迭代训练正常样本与对抗样本,以优化模型参数。基于CCKS2019评测数据集的实验表明,应用对抗训练方法后,其精准率、召回率及F1值均有所提升,验证了对抗训练能对提高模型的预测能力和鲁棒性的有效性。

基于RoBERTa和对抗训练的中文医疗命名实体识别

BERT(Bidirectional Encoder Representations from Transformers)和神经网络模型相结合的方法目前已被广泛应用于中文医疗命名实体识别领域。但BERT在中文中是以字为粒度切分的,没有考虑到中文分词。而神经网络模型往往局部不稳定,即使微小的扰动也可能误导它们,导致模型的鲁棒性差。为了解决这两个问题,提出了一种基于RoBERTa(A Robustly OptimizedBERTPre-trainingApproach)和对抗训练的中文医疗命名实体识别模型(ATRBC)。首先,使用RoBERTa-wwm-ext-large(ARobustlyOptimizedBERTPre-training Approach-whole word masking-extended data-large)预训练模型得到输入文本的初始向量表示;其次,在初始向量表示上添加一些扰动来生成对抗样本;最后,将初始向量表示和对抗样本一同依次输入双向长短期记忆网络和条件随机场中,得到最终的预测结果。在CCKS 2019数据集上的实验结果表明,AT-RBC模型的F1值达到了88.96%;在Resume数据集上的实验结果表明,AT-RBC模型的F1值也达到了97.14%,证明了该模型的有效性。

基于神经网络的医疗命名实体抽取研究

随着互联网技术的快速发展和信息化时代的到来,人们对数据的需求越来越大。如何从海量文本中快速、准确地获取有用信息成为了一个亟待解决的问题。作为一种重要的自然语言处理方法,命名实体识别(NER)在很多领域都有广泛应用,如机器翻译、自动问答系统等。但是由于医学文献本身专业性较强,且存在大量的半结构化或非结构化文本,使得传统的NER模型很难直接用于医学领域。因此,文章针对医学文本特点,提出了一种基于BiLSTM-CRF的医疗命名实体抽取算法,并通过实验证明了该方法能够有效提高医疗命名实体识别率。重点分析了BiLSTM-CRF模型原理及其优势所在;然后,将BiLSTM-CRF模型与改进后的BiLSTM模型相结合,构建出一种新的双向长短期记忆网络模型——BiLSTM-CRF+BiLSTM模型;最后,利用上述模型进行训练,实现了医疗命名实体抽取。

基于新词发现和Lattice-LSTM的中文医疗命名实体识别

在医疗命名实体识别中,由于存在大量医学专业术语和语料中语言不规范的原因,识别的准确率不高。为了识别未登录的医学术语和应对语言不规范问题,提出一种基于N-grams新词发现的Lattice-LSTM的多粒度命名实体识别模型。在医疗对话语料中使用N-grams算法提取新词并构造一个医疗相关的词典,通过Lattice-LSTM模型将输入的字符和所有能在词典匹配的单词一起编码,其中门结构能够使模型选择最相关的字符和单词。Lattice-LSTM能够利用发现的新词信息识别未登录的医学术语,从而得到更好的实验识别结果。

融合嵌入字词特征的中文医疗命名实体识别

针对中文医疗文献中的中文词边界模糊、分词歧义导致传统深度学习方法难以获取词汇语义信息的问题,提出了一种融合嵌入字词特征的中文医疗命名实体识别模型。首先,针对词向量缺失边界特征的问题,将词向量与词性、词边界特征拼接融合,结合注意力机制捕获字符间潜在的依赖权重等特征和增强词汇向量;其次,将通过BERT模型获得的字符向量与增强词汇向量拼接融合作为嵌入的基础上,利用BiLSTM模型提取上下文语义信息特征;最后通过CRF模型进行序列解码。利用瑞金医院标准化代谢性疾病管理中心(MMC)的糖尿病标注数据集对融合嵌入字词特征的中文医疗命名实体识别模型进行实验,获得了较好的结果。

中文在线健康社区中的医疗命名实体识别方法研究

医疗命名实体识别在网络非结构化健康文本的知识发现中至关重要。目前的方法存在难以识别网络上不规范的名称和需要人工标注等问题,且往往没有考虑医疗领域的特点。结合中文一体化医学语言系统和网络拓展词典构建的医疗领域词典,并使用基于语义规则的方法,本文提出一种基于LDA和CRF的混合模型识别在线医疗命名实体。与两种基准方法的比较表明了该方法在网络健康社区文本中医疗命名实体识别的有效性。