基于BERT-CRF模型的火灾事故案例实体识别研究

为实现火灾事故调查档案的关键信息抽取,提出一种基于BERT-CRF模型的文本命名实体识别方法。通过对161篇事故报告进行实体标注及数据增强,构建了火灾事故文本语料集;基于BERT预训练模型,对语料集中的句子序列进行双向特征提取,深度挖掘事故文本上下文的语义信息;结合CRF模型,充分考虑标签转移规则,对关键实体进行预测。试验表明:本文方法在火灾事故案例实体识别任务中的精确率、召回率以及F1值分别为76.36%、86.19%、80.97%,优于BERT和BERT-BiLSTM-CRF模型,且训练时长较BERT-BiLSTMCRF模型缩短61 s。本文方法可为火灾调查知识库、案卷编制等下游系统提供准确的实体构建服务。

基于BERT-CRF与对抗训练的水利领域命名实体识别

在水利领域中,传统的命名实体识别方法存在有效性差、精度不高、无法解决一词多义和缺乏水利领域语料等问题。基于此,利用BERT语言模型对自建水利文本语料进行训练,并引入FreeLB对抗训练模型增强模型的泛化能力,最后通过条件随机场(CRF)来得到水利实体识别方法。实验结果表明,相对于其他模型,本文提出的FreeLB-BERT-CRF模型对水利领域文本实体识别效果更好。

面向技术识别的专利实体抽取--以类脑智能领域为例

[研究目的]专利实体抽取是基于专利文本的技术识别的基础。目前专利实体抽取任务面临自动化程度和准确率较低等问题,该研究从两方面对此进行改进:一是建立特定领域的高质量专利语料库,二是将先进的算法模型运用到专利实体抽取中。[研究方法]定义了包含13种实体类型的细粒度信息体系,并据此对921篇类脑智能专利的标题和摘要进行人工标注,此后运用Bert-BiLSTM-CRF模型,融合深度学习和机器学习对类脑智能专利实体进行识别。[研究结论]模型在总体上获得0.8的准确率、召回率和F1值,不同类型实体的识别效果具有差异。为了验证模型的性能,设计了几个对比实验。结果显示,微调数据和增加训练规模可以提高模型性能,本模型性能优于同时期一些经典模型。

基于专利实体语义表示的技术主题演化路径识别

[研究目的]从专利实体抽取和语义表示角度,识别语义相同但表达方式不同的专利实体,更准确地发现技术主题演化路径,更好地辅助科技创新和管理决策。[研究方法]提出一种基于专利实体语义表示的技术主题演化路径识别方法。首先,构建BERT-BiLSTM-CRF模型自动抽取专利实体,利用表示学习方法研究专利实体的语义向量表示。其次,基于K-means算法对实体向量进行聚类,识别技术主题。最后,基于实体语义相似度,识别语义相同但表达不同的专利实体,进而基于相同实体数量设计知识流入和知识流出指标,根据主题之间的知识流入和流出比例共同识别分裂、发展、融合等演化关系,构建技术主题演化路径。[研究结论]实证研究表明,该方法能有效识别语义相同但表达不同的专利实体,进而更加准确地识别主题间演化关系,构建技术主题演化路径。

面向物流标书关键信息的自动提取方法

物流标书信息识别是物流企业精准获取商业情报的一项重要手段。物流招标公告作为情报来源,存在文本不规范、领域标签不足、抽取难度大等问题,因此目前尚缺乏对物流标书领域命名实体识别的研究。为准确识别物流标书中的有效信息,该研究以中国物流招标网和物通网获取的物流招标公告作为实验数据集,构建了物流标书领域命名实体识别语料库,并提出一种融合BERT预训练的BiLSTM-CRF深度学习模型,以实现对招标公司、运输地点和运输项目三类实体的识别。实验结果表明,论文所提模型不但具有较优的实体识别准确度,同时还具备了较强的稳定性。

融合多尺度CNN和CRF的通用细粒度事件检测

事件检测是自然语言处理领域中事件抽取的主要任务之一,它旨在从众多非结构化信息中自动提取出结构化的关键信息.现有的方法存在特征提取不全面、特征分布不均等情况.为了提高事件检测的准确率,提出了一种融合BERT预训练模型与多尺度CNN的神经网络模型(BMCC,BERT+Multi-scale CNN+CRF).首先通过BERT(Bidirectional Encoder Representations from Transformers)预训练模型来进行词向量的嵌入,并利用其双向训练的Transformer机制来提取序列的状态特征;其次使用不同尺度的卷积核在多个卷积通道中进行卷积训练,以此来提取不同视野的语义信息,丰富其语义表征.最后将BIO机制融入到条件随机场(CRF)来对序列进行标注,实现事件的检测.实验结果表明,所提出的模型在MAVEN数据集上的F1值为65.17%,表现了该模型的良好性能.

融合BERT模型与词汇增强的中医命名实体识别模型

现有的中医命名实体识别相关研究较少,基本都是基于中文病例做相关研究,在传统中医编写的病例文本中表现不佳。针对中医案例中命名实体密集且边界模糊难以划分的特点,提出了一种融合词汇增强和预训练模型的中医命名实体识别方法LEBERT-BILSTM-CRF。该方法从词汇增强和预训练模型融合的角度进行优化,将词汇信息输入到BERT模型中进行特征学习,达到划分词类边界和区分词类属性的目的,提高中医医案命名实体识别的精度。实验结果表明,在文中构建的中医病例数据集上针对10个实体进行命名实体识别时,提出的基于LEBERT-BILSTM-CRF的中医案例命名实体识别模型综合准确率、召回率、F1分别为88.69%,87.4%,88.1%,高于BERT-CRF,LEBERT-CRF等常用命名实体识别模型。

基于BERT和领域词典融合的中文电子病历命名实体识别

医疗数据挖掘的起始环节为CNER(中文电子病历命名实体识别),将相关实体(解剖部位、药品、影像检查等)识别出非结构化文本是其目标所在。基于CNER准确性提升需要,论文设计了BERT-BiLSTM-CRF模型融合领域词典技术,该技术能将上下文语义关系全面结合,一词多义问题同样可以迎刃而解,获取电子病历句子的长距离依赖。CNER采用BERT-BiLSTM-CRF模型融合领域词典技术时的F1值已经被实验结果所证实,对知识图谱的构建、临床决策支持系统和病历质控系统等的研究有着重要意义。

基于BERT特征融合与膨胀卷积的汉语副词框架语义角色标注

汉语框架语义角色标注对汉语框架语义分析具有重要作用。目前汉语框架语义角色标注任务主要针对动词框架,但是汉语没有丰富的形态变化,很多语法意义都是通过虚词来表现的,其中副词研究是现代汉语虚词研究的重要部分,因此该文从副词角度出发构建了汉语副词框架及数据集,且对框架下的词元按照语义强弱进行了等级划分。目前的语义角色标注模型大多基于BiLSTM网络模型,该模型虽然可以很好地获取全局信息,但容易忽略句子局部特征,且无法并行训练。针对上述问题,该文提出了基于BERT特征融合与膨胀卷积的语义角色标注模型,该模型包括四层:BERT层用于表达句子的丰富语义信息,Attention层对BERT获取的每一层信息进行动态权重融合,膨胀卷积(IDCNN)层进行特征提取,CRF层修正预测标签。该模型在三个副词框架数据集上表现良好,F1值均达到了82%以上。此外,将该模型应用于CFN数据集上,F1值达到88.29%,较基线模型提升了4%以上。

融合词典信息和句子语义的中文命名实体识别

受益于深度学习技术的蓬勃发展,命名实体识别任务的性能也得到了进一步的提升。然而,基于深度学习网络的模型的优秀性能严重依赖于大量的标注样本的支持,在缺少标注样本的小数据集上难以充分挖掘深层次信息,导致识别效果不佳。基于以上问题,本文提出一种融合词典信息和句子语义的中文命名实体识别模型LS-NER。首先,将字符在词典中匹配到的潜在词作为先验词汇信息供模型学习,应对中文分词问题。然后,将用于计算文本相似度的带有语义信息的句子嵌入并应用到命名实体识别任务中,帮助模型从相似的句子中寻找相似实体。最后,设计基于注意力机制思想的特征融合方式,使模型能够充分学习句子嵌入带来的语义信息。实验结果表明,本文模型在小数据集Resume和Weibo上应用均达到了不错的性能,在未增加其他外部信息的前提下,句子语义能帮助模型学习到更深层次的特征,比未添加句子信息的模型的F1分数分别高出0.15个百分点和2.26个百分点。

基于BERT-BiLSTM-CRF模型的油气领域命名实体识别

针对油气领域知识图谱构建过程中命名实体识别使用传统方法存在实体特征信息提取不准确、识别效率低的问题,提出了一种基于BERT-BiLSTM-CRF模型的命名实体识别研究方法。该方法首先利用BERT(bidirectional encoder representations from transformers)预训练模型得到输入序列语义的词向量;然后将训练后的词向量输入双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)模型进一步获取上下文特征;最后根据条件随机场(conditional random fields,CRF)的标注规则和序列解码能力输出最大概率序列标注结果,构建油气领域命名实体识别模型框架。将BERT-BiLSTM-CRF模型与其他2种命名实体识别模型(BiLSTM-CRF、BiLSTM-Attention-CRF)在包括3万多条文本语料数据、4类实体的自建数据集上进行了对比实验。实验结果表明,BERT-BiLSTM-CRF模型的准确率(P)、召回率(R)和F_(1)值分别达到91.3%、94.5%和92.9%,实体识别效果优于其他2种模型。

储气库站场天然气泄漏及火灾事故应急知识图谱构建

针对消防、应急处置过程中快速进行决策支持和方案制定的难点,提出储气库站场天然气泄漏及火灾事故的应急模型,该模型应用知识图谱作为风险表征手段,利用双向编码表示转换器(BERT)和双向长短时记忆模型条件随机场算法(BiLSTM-CRF),实现对文本信息的实体识别和关系抽取。利用Neo4j图数据库构建储气库站场天然气泄漏及火灾事故的应急知识图谱。结果表明:相较于传统的应急处置、消防策略研究方法,本文提出的储气库站场天然气泄漏及火灾事故应急模型不仅可以实现对储气库站场天然气泄漏及火灾事故的早期应急处置,还能够识别事故的风险传播路径,为消防应急指挥和应急决策提供支持。

基于深度学习的农业科技政策知识抽取方法研究

【应用背景】农业科技政策对科技进步和农业生产发展具有重要影响,不同政府部门发布的政策具有针对概念实体的关联性。【目的】针对农业科技政策命名实体识别及关系抽取高度依赖人工设计特征耗时耗力的问题,提出一种基于BERT-BiLSTM-CRF模型的农业科技政策知识抽取方法。【方法】针对领域语料特征,提出一种新标注模式,对三元组直接建模,替代传统的联合抽取或分别建模,将实体关系识别转化为序列标注问题,实验选取政策文本共19,779个句子、376,721个字符,针对政策、行业等8类实体和引用、发布等10种关系进行识别。【结果】使用的BERT-BiLSTM-CRF模型在语料集上准确率为81.61%、召回率为85.34%、F1值为83.47%,实验结果表明,该方法能够有效抽取农业科技政策实体及关系,效果优于其他经典模型。

基于多特征融合嵌入与DCNN的临床命名实体识别模型研究

针对目前最先进的临床命名实体识别(Cinical Named Entity Recognition,CNER)模型未能充分挖掘文本的全局信息和语义特征,以及未能解决文本中的字符替换等问题,改进了传统的单词嵌入模型,并在此基础上提出了一种结合深度卷积神经网络和双向短时记忆条件随机场(DCNN-BiLSTM-CRF)的临床文本命名实体识别方法。改进的单词嵌入模型融合词根、拼音和字符本身意义,使用了来自Transformers的双向编码器表示,使单词嵌入向量具有汉字和临床文本的特点,该方法通过在临床命名实体识别任务中引入深度卷积神经网络(Deep Convolutional Neural Networks,DCNN),解决了CNN预测时丢失部分信息无法找回的问题。通过使用DCNN,本文模型能够更有效地捕获全局信息、获取字符之间的权重关系和多层次语义特征信息,从而提高了临床命名实体识别的准确性。在数据集CCKS2017和CCKS2018上分别进行实验,实验结果表明,与基准模型相比,该模型F1值分别改善了0.48%,0.68%,0.6%,0.58%,0.04%和1.43%,2.36%,3.31%,1.11%,0.17%。为了进一步验证本文的模型,进行了两种消融实验。结果表明,在两个数据集CCKS2017和CCKS2018上本文模型对比变体模型M1,F1值分别改善了0.79%和0.84%;对比变体模型M2,F1值分别改善了0.53%和0.64%。这些实验结果证明了本文所提算法的可行性。

基于知识图谱的多源信息融合事故处理系统

目前交通事故处理存在效率低、保险申请复杂、缺乏统一的事故数据共享平台等一系列问题。本文设计了一个基于知识图谱的多源信息融合事故处理系统,将智能问答模块运用于交通事故处理中,系统可服务于警察、保险、医疗和当事人四个角色的人员,根据交通事故处理流程赋予权限,设计交通事故处理知识图谱,并采用模块化的方式进行开发。利用BERT-BiLSTM-CRF模型构建问答模块,针对问答模块的医疗问答、赔偿推荐功能,通过相应的数据进行训练,采用召回率R、精准率P、F1三种评价指标,选择评价结果最好的模型导入系统后端构建智能问答模块。在系统推广使用中,用户对医疗问答功能非常满意,事故当事人采用推荐赔偿价格的比例超过80%。

基于BERT的命名实体识别

在中文命名实体识别任务中,将字向量化表示是重要的步骤,然而传统的词向量表示方法只能将字映射为单一向量,无法表征字的多义性。对此引入了BERT预训练语言模型,BERT模型可以增强字的语义表示,根据其上下文动态生成语义向量。而针对BERT微调训练对计算机性能要求较高的问题,采用了固定参数嵌入的方式对BERT进行应用,并搭建了BERT-BiLSTM-CRF模型。实验结果表明,基于BERT的命名实体识别模型在MSRA数据集上的F1-Score指标达到94.48%。优于传统机器学习模型和其他基于深度学习模型的方法。研究结果表明,BERT模型在命名实体识别任务中具有很好的应用前景。

基于BERT-BiLSTM-CRF党建领域命名实体识别

党建领域知识图谱构建过程中使用传统的命名实体识别方法时,存在实体边界不清、实体词性多义等问题,导致存在识别准确率和效率低的问题。为此,本文提出一种融合树形概率和领域词典的BERT-BiLSTM-CRF实体识别模型。该模型在BERT中嵌入领域词典进行文本向量化表示;利用BiLSTM获取上下文语义特征;将树形概率应用到CRF层的转移概率计算中提高分词准确率。与基准模型在MSRA和自构建的语料库上进行实验对比,实验结果表明本模型在F1值、召回率、精确率3个指标上都能取得较好的效果。

基于深度学习的地理知识图谱构建方法研究

地理知识图谱是提供地理知识服务的关键技术,实现其自动化构建对发展地理人工智能应用具有非常重要的意义。为解决地理知识图谱自动化构建的问题,提出了一种基于BiLSTM-CRF网络提取地理实体和Bert-BiGRU-Attention网络提取方位关系构建领域地理知识图谱的方法。实验结果表明,基于该方法所自动构建的领域地理知识图谱地理实体及其方位信息较为完整,召回率和精确率较高,能够满足知识图谱构建需求,可充分表达现实世界中地理实体及其复杂的方位关系。

基于司法裁判文本的法律要素抽取方法

随着全国法院信息化建设的不断发展,积累了大规模的司法裁判文书数据,如何从法律文书数据中抽取出准确的法律要素是保障法院信息化建设的重要前提。本研究主要基于盗窃罪案件法律文书数据,采用深度学习方法构建了BERT+BiLSTM+CRF融合语言模型以解决法律文书的关键要素抽取问题。利用BERT语言模型解决文本特征表示中的一词多义问题,使用BiLSTM神经网络充分学习上下文信息的特点,采用CRF机器学习方法提取全局最优标注序列,并搭建可视化界面提供案件要素提取服务。结果表明,从整体来看,通过数据增强后所构建的BERT+BiLSTM+CRF融合语言模型面向盗窃罪案件的综合评价指标F1_score值达到了90.6%;从单个要素的抽取结果来看,该模型面向盗窃罪案件的十个法律要素的综合评价指标的F1_score值均在81.8%以上;从最佳预测性能所分布的法律要素占比来看,该模型达到最优预测性能的法律要素量达到了50%,明显优于其他模型。这说明本研究所构建的BERT+BiLSTM+CRF融合语言模型可以有效解决法律文书的关键要素抽取问题,可为全国法院信息化建设提供一定的理论依据和有效技术支撑。

基于命名实体识别的施工限速命令关键信息提取及应用

调度命令是铁路运输调度指挥的核心,是对行车工作、作业方式和安全注意事项进行约束的必要手段。施工限速命令的内容是纯文本形式或半结构化形式,人工解析工作量大、效率低下,对命令进行信息整合和内容分析存在不足。构建BERT、BiLSTM和CRF模型,对施工限速命令的非结构化内容进行命名实体识别,提取命令内容的关键信息,实现命令的信息整合与分析。以施工限速命令中“邻线限速命令”为例对模型进行试验,在实体识别结果的基础上对限速命令内容进行分析,推算出列车限速的里程范围以及受影响的列车数量,可有效分析施工对邻线的影响程度。应用结果表明:基于BERT-BiLSTM-CRF模型的命名实体识别,为命令内容分析提供了强有力的数据支持,为铁路运输调度管理提供了指挥和决策辅助。