基于BERT-BiLSTM-CRF模型的油气领域命名实体识别

针对油气领域知识图谱构建过程中命名实体识别使用传统方法存在实体特征信息提取不准确、识别效率低的问题,提出了一种基于BERT-BiLSTM-CRF模型的命名实体识别研究方法。该方法首先利用BERT(bidirectional encoder representations from transformers)预训练模型得到输入序列语义的词向量;然后将训练后的词向量输入双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)模型进一步获取上下文特征;最后根据条件随机场(conditional random fields,CRF)的标注规则和序列解码能力输出最大概率序列标注结果,构建油气领域命名实体识别模型框架。将BERT-BiLSTM-CRF模型与其他2种命名实体识别模型(BiLSTM-CRF、BiLSTM-Attention-CRF)在包括3万多条文本语料数据、4类实体的自建数据集上进行了对比实验。实验结果表明,BERT-BiLSTM-CRF模型的准确率(P)、召回率(R)和F_(1)值分别达到91.3%、94.5%和92.9%,实体识别效果优于其他2种模型。

基于BERT-BiLSTM-CRF党建领域命名实体识别

党建领域知识图谱构建过程中使用传统的命名实体识别方法时,存在实体边界不清、实体词性多义等问题,导致存在识别准确率和效率低的问题。为此,本文提出一种融合树形概率和领域词典的BERT-BiLSTM-CRF实体识别模型。该模型在BERT中嵌入领域词典进行文本向量化表示;利用BiLSTM获取上下文语义特征;将树形概率应用到CRF层的转移概率计算中提高分词准确率。与基准模型在MSRA和自构建的语料库上进行实验对比,实验结果表明本模型在F1值、召回率、精确率3个指标上都能取得较好的效果。

基于BERT-BiLSTM-CRF模型的地理实体命名实体识别

互联网中存在大量的与地理信息相关的信息,其中文本信息是这些信息的重要组成部分。针对构建地理实体库过程中依赖人工制定规则、信息提取不充分等问题,本文通过利用爬虫技术获取百度百科文本信息并构建地理实体语料库,端到端的深度学习模型BERT-BiLSTM-CRF模型对自建的地理实体语料库进行了命名实体识别(NER),模型在传统的BiLSTM-CRF模型上加入了BERT预训练模型,使得模型可以更好地结合文本上下文及语义信息。结果表明,该模型相比于BiLSTM-CRF模型和BiLSTM模型在地理实体命名实体识别中取得了更好的结果,且对进一步构建地理实体知识图谱、知识库等具有重要意义。

基于BERT-BILSTM-CRF模型的电力行业事故文本智能分析

为解决电力行业事故报告文本较长、语义复杂,难以进行有效文本识别问题,提出1种以BERT作为底层的预训练模型,并设计1种双重注意力机制编码器,结合BILSTM-CRF深度挖掘事故文本语义特征,从而实现文本智能分析。首先构建电力词典,通过对BERT预训练,进行BIO标注,然后引入BILSTM-CRF模型实现对文本标签智能分类,最后将该模型与现行其他4种深度学习模型进行对比。研究结果表明:该模型智能识别精确率、召回率及F 1值(查准率)均达到约97%,较其他4种模型中效果最好的模型分别提高0.02,0.03,0.02。研究结果可为电力行业事故报告文本分析提供1种新思路。

融合汉字部首的BERT-BiLSTM-CRF中医医案命名实体识别模型

目的/意义研究提取中医医案中医疗术语的方法,实现医案自动结构化,为医案知识发现提供结构化数据。方法/过程提出一种BERT结合长短期记忆人工神经网络、条件随机场和部首特征的深度学习命名实体识别模型,在BERT词向量中嵌入汉字部首,采用双向长短期记忆人工神经网络提取实体特征,使用条件随机场进行序列预测。将人工标注的400份共计5万余字的医案按照3∶1划分为训练集和测试集,使用该模型识别中医医案中的身体部位、药物、症状、疾病4类命名实体。结果/结论该模型在测试集F 1值为84.81%,优于其他未嵌入部首的模型,表明该模型能够更有效地识别中医医案中的命名实体,更好地结构化医案。

基于BERT-BiLSTM-CRF的中文地址解析方法

中文地址解析是地址匹配的重要环节,广泛应用于地址检索、地理编码和地址信息识别等方面。但传统地址解析方法存在覆盖度有限、人工参与过多和泛化能力较差等问题。为发挥深度学习模型在深层结构上自动学习上下文特征的优势,提出一种基于BERT-BiLSTM-CRF深度学习模型的中文地址解析方法:依据中文地址要素多级分类体系,扩展BIOES标注方法并进行地址语料标注;基于预训练语言模型,构建融合BERT、BiLSTM和CRF的综合深度学习模型,通过BERT预训练语言模型获取富含语义信息的字符向量,弥补静态词向量特异性缺失的问题,提高复杂地址要素的提取能力。以2019年深圳市地址数据为例进行模型性能评估,该方法对于多数中文地址要素的解析准确率达90%以上;相比IDCNN-CRF和BiLSTM-CRF等深度学习模型,该方法对只具有小规模地址语料时的地址解析效果更优,且在解析多种地址要素类型时能保持良好的性能。

基于BERT-BiLSTM-CRF的电力集控安全隐患数据处理

为了提高电力集控系统安全隐患数据处理的效果,提出一种基于来自变换器的双向编码器表示-双向长短期记忆网络-条件随机场(Bidirectional Encoder Representations from Transformers-Bidirectional Long Short Term Memory-Conditional Random Fields,BERT-BiLSTM-CRF)的电力集控安全隐患数据处理方法。构建电力集控隐患数据检测模型,应用改进长短时记忆网络(Long Short Term Memory,LSTM)来构建电力集控安全隐患数据修复网络,实现电力集控安全隐患数据处理。实验结果表明,采用所提方法能够更好地完成电力集控安全隐患数据检测与修复,应用效果较好。

基于知识图谱与BERT-BiLSTM-CRF模型的中文电子病历实体识别研究

目的:提出一种基于医疗知识图谱的BERT-BiLSTM-CRF命名实体识别模型(MKG-BERT-BiLC),用于解决BERT类语言模型在处理医疗电子病历命名实体识别任务时,由于缺乏一定医疗领域背景知识而导致无法充分发挥其作用的问题。方法:将医疗知识图谱中的三元组信息集成到BERT-BiLSTM-CRF模型中,可实现为模型配备相应的医疗领域知识,进而增强模型的语言表征能力。结果:利用现有公开数据集进行实验,融入知识图谱后BERT-BiLSTM-CRF模型的识别精确率、召回率和F1值均有显著提升,优于现有NER模型。结论:MKG-BERT-BiLC模型能够更好地识别电子病历中的命名实体,具有一定的实用价值。

基于Bert-BiLSTM-CRF的标讯信息提取实现

面对海量的标讯信息规模及复杂的数据结构,如何高效地挖掘潜在的数据价值,是能否有效实现招投标领域大数据应用的关键。本文通过大量数据标注,借助Bert-BiLSTM-CRF机器学习算法,对标讯信息的关键字段实现自动提取,有效实现标讯信息的结构化和价值化。

基于BERT-BiLSTM-CRF的SPECT诊断文本病灶提取研究

随着医学成像技术的不断进步,有价值的数据越来越多,但是当前还无法充分利用这些数据,从而会造成资源浪费。基于此,笔者将SPECT诊断报告作为研究对象,将数据进行预处理后传入构建的BERT-BiLSTM-CRF框架,旨在实现诊断报告中病灶的自动提取。实验结果表明,该方法能够有效完成核医学诊断文本的疾病表征自动提取,获得的精确度、召回率和F1-Score分别为92.21、94.14和93.17。

基于BERT-BiLSTM-CRF模型的中文实体识别

命名实体识别是自然语言处理的一项关键技术.基于深度学习的方法已被广泛应用到中文实体识别研究中.大多数深度学习模型的预处理主要注重词和字符的特征抽取,却忽略词上下文的语义信息,使其无法表征一词多义,因而实体识别性能有待进一步提高.为解决该问题,本文提出了一种基于BERT-BiLSTM-CRF模型的研究方法.首先通过BERT模型预处理生成基于上下文信息的词向量,其次将训练出来的词向量输入BiLSTM-CRF模型做进一步训练处理.实验结果表明,该模型在MSRA语料和人民日报语料库上都达到相当不错的结果,F1值分别为94.65%和95.67%.

基于Bert-BiLSTM-CRF模型的电子病历隐私信息识别方法

随着电子病历数据开放共享的需求越来越大,电子病历去隐私性问题亟需解决。利用自然语言处理技术,提出一种基于Bert-BiLSTM-CRF模型的电子病历隐私信息识别方法。采用某三甲中医院的电子病历作为数据来源,结合当前公开的数据集进行训练,得到正确率为94.02%、召回率为94.25%、F1为93.98%的中医电子病历隐私信息识别模型。与其他传统模型进行对比实验表明,Bert-BiLSTM-CRF模型能有效识别并保护电子病历中的隐私数据,有助于医疗数据的开放共享。

基于Bert-BiLSTM-CRF的中医文本命名实体识别

命名实体识别是中医智能化发展的基石。针对中医文本数据挖掘中实体识别困难的问题,构建了基于Bert-BiLSTM-CRF的命名实体识别模型。通过Bert模型在字向量的构建过程中融入注意力机制,利用BiLSTM进行特征提取,并将特征输入CRF模型之中完成最终的训练。实验选取《伤寒论》作为训练集以及测试集,划分症状、疾病名称、方剂、中药名、时间5类实体。测试集上的结果表明,该模型的准确率为96.94%,召回率为93.14%,F值为95%,命名实体识别精度较高,可以将该模型用于实际问题中。

采用BERT-BiLSTM-CRF模型的中文位置语义解析

针对利用当前神经网络模型进行中文位置语义解析存在多义词解析效果差、泛化能力差等问题,提出一种基于BERT-BiLSTM-CRF模型的中文位置语义解析方法。首先利用BERT预训练模型对中文位置信息进行预训练,获取所有层中的上下文信息,增强中文位置信息的语义表征能力,然后通过BiLSTM模型提取向量特征信息,最后通过CRF模型进行解码,获取全局最优标注序列。实验结果表明,在不同数量和区域的中文位置信息数据集基础上,BERT-BiLSTM-CRF模型在所有测试集上分词准确率与F1值都优于目前常用的神经网络模型,最高分别可达到93.91%和93.96%。利用BERT-BiLSTM-CRF模型对中文位置信息进行语义解析,不仅有效提高了中文位置信息解析与多义词解析的准确率,而且具有更好的泛化能力。

面向技术识别的专利实体抽取--以类脑智能领域为例

[研究目的]专利实体抽取是基于专利文本的技术识别的基础。目前专利实体抽取任务面临自动化程度和准确率较低等问题,该研究从两方面对此进行改进:一是建立特定领域的高质量专利语料库,二是将先进的算法模型运用到专利实体抽取中。[研究方法]定义了包含13种实体类型的细粒度信息体系,并据此对921篇类脑智能专利的标题和摘要进行人工标注,此后运用Bert-BiLSTM-CRF模型,融合深度学习和机器学习对类脑智能专利实体进行识别。[研究结论]模型在总体上获得0.8的准确率、召回率和F1值,不同类型实体的识别效果具有差异。为了验证模型的性能,设计了几个对比实验。结果显示,微调数据和增加训练规模可以提高模型性能,本模型性能优于同时期一些经典模型。

基于BERT和领域词典融合的中文电子病历命名实体识别

医疗数据挖掘的起始环节为CNER(中文电子病历命名实体识别),将相关实体(解剖部位、药品、影像检查等)识别出非结构化文本是其目标所在。基于CNER准确性提升需要,论文设计了BERT-BiLSTM-CRF模型融合领域词典技术,该技术能将上下文语义关系全面结合,一词多义问题同样可以迎刃而解,获取电子病历句子的长距离依赖。CNER采用BERT-BiLSTM-CRF模型融合领域词典技术时的F1值已经被实验结果所证实,对知识图谱的构建、临床决策支持系统和病历质控系统等的研究有着重要意义。

基于深度学习的农业科技政策知识抽取方法研究

【应用背景】农业科技政策对科技进步和农业生产发展具有重要影响,不同政府部门发布的政策具有针对概念实体的关联性。【目的】针对农业科技政策命名实体识别及关系抽取高度依赖人工设计特征耗时耗力的问题,提出一种基于BERT-BiLSTM-CRF模型的农业科技政策知识抽取方法。【方法】针对领域语料特征,提出一种新标注模式,对三元组直接建模,替代传统的联合抽取或分别建模,将实体关系识别转化为序列标注问题,实验选取政策文本共19,779个句子、376,721个字符,针对政策、行业等8类实体和引用、发布等10种关系进行识别。【结果】使用的BERT-BiLSTM-CRF模型在语料集上准确率为81.61%、召回率为85.34%、F1值为83.47%,实验结果表明,该方法能够有效抽取农业科技政策实体及关系,效果优于其他经典模型。

基于BERT的命名实体识别

在中文命名实体识别任务中,将字向量化表示是重要的步骤,然而传统的词向量表示方法只能将字映射为单一向量,无法表征字的多义性。对此引入了BERT预训练语言模型,BERT模型可以增强字的语义表示,根据其上下文动态生成语义向量。而针对BERT微调训练对计算机性能要求较高的问题,采用了固定参数嵌入的方式对BERT进行应用,并搭建了BERT-BiLSTM-CRF模型。实验结果表明,基于BERT的命名实体识别模型在MSRA数据集上的F1-Score指标达到94.48%。优于传统机器学习模型和其他基于深度学习模型的方法。研究结果表明,BERT模型在命名实体识别任务中具有很好的应用前景。

基于知识图谱的多源信息融合事故处理系统

目前交通事故处理存在效率低、保险申请复杂、缺乏统一的事故数据共享平台等一系列问题。本文设计了一个基于知识图谱的多源信息融合事故处理系统,将智能问答模块运用于交通事故处理中,系统可服务于警察、保险、医疗和当事人四个角色的人员,根据交通事故处理流程赋予权限,设计交通事故处理知识图谱,并采用模块化的方式进行开发。利用BERT-BiLSTM-CRF模型构建问答模块,针对问答模块的医疗问答、赔偿推荐功能,通过相应的数据进行训练,采用召回率R、精准率P、F1三种评价指标,选择评价结果最好的模型导入系统后端构建智能问答模块。在系统推广使用中,用户对医疗问答功能非常满意,事故当事人采用推荐赔偿价格的比例超过80%。

面向物流标书关键信息的自动提取方法

物流标书信息识别是物流企业精准获取商业情报的一项重要手段。物流招标公告作为情报来源,存在文本不规范、领域标签不足、抽取难度大等问题,因此目前尚缺乏对物流标书领域命名实体识别的研究。为准确识别物流标书中的有效信息,该研究以中国物流招标网和物通网获取的物流招标公告作为实验数据集,构建了物流标书领域命名实体识别语料库,并提出一种融合BERT预训练的BiLSTM-CRF深度学习模型,以实现对招标公司、运输地点和运输项目三类实体的识别。实验结果表明,论文所提模型不但具有较优的实体识别准确度,同时还具备了较强的稳定性。