结合字形特征与迭代学习的金融领域命名实体识别

针对中文金融文本领域的命名实体识别,该文从汉字自身特点出发,设计了结合字形特征、迭代学习以及双向长短时记忆网络和条件随机场的神经网络模型。该模型是一种完全端到端且不涉及任何特征工程的模型,其将汉字的五笔表示进行编码以进行信息增强,同时利用迭代学习的策略不断对模型整体预测结果进行改进。由于现有的命名实体识别研究在金融领域缺乏高质量的有标注的语料库资源,所以该文构建了一个大规模的金融领域命名实体语料库HITSZ-Finance,共计31210个文本句,包含4类实体。该文在语料库HITSZ-Finance上进行了一系列实验,实验结果均表明模型的有效性。

因果关系表示增强的跨领域命名实体识别

跨领域命名实体识别在现实应用中,尤其在目标领域数据稀缺的小样本场景中具有重要价值。然而,现有方法主要是通过特征表示或模型参数共享实现的跨领域实体能力迁移,未充分考虑由于样本选择偏差而引起的虚假相关性问题。为了解决跨领域中的虚假相关性问题,提出一种因果关系表示增强的跨领域命名实体识别模型,将源域的语义特征表示与目标域的语义特征表示进行融合,生成一种增强的上下文语义特征表示。通过结构因果模型捕捉增强后的特征变量与标签之间的因果关系。在目标域中应用因果干预和反事实推断策略,提取存在的直接因果效应,从而进一步缓解特征与标签之间的虚假相关性问题。该方法在公共数据集上进行了实验,实验结果得到了显著提高。

融合知识的文博领域低资源命名实体识别方法研究

文物数据的实体嵌套问题明显,实体边界不唯一,且文博领域已标注数据极度缺乏,导致该领域命名实体识别性能较低。针对这些问题,构建一个可用于文物命名实体识别的数据集FewRlicsData,提出一种融合知识的文博领域低资源命名实体识别方法RelicsNER。该方法将类别描述信息的语义知识融入文物文本中,使用基于跨度的方式进行解码,用于改善实体嵌套问题,并采用边界平滑的方式缓解跨度识别模型的过度自信问题。与基线模型相比,该方法在FewRlicsData数据集上的F1值有所提升,在文博领域命名实体识别任务中取得较好的性能。在公开数据集OntoNotes 4.0上的实验结果证明该方法具有较好的泛化性,同时在数据集OntoNotes 4.0和MSRA上进行小规模数据实验,性能均高于基线模型,说明所提方法适用于低资源场景。

融合领域词典嵌入的航空不安全事件命名实体识别

针对航空不安全事件领域命名实体识别任务,以航空安全信息周报为数据源,分析并构建航空不安全事件命名实体识别数据集和领域词典。为解决传统命名实体识别模型对于捕获领域实体边界性能较差的问题,基于BERT(bidirectional encoder representations from transformers)预训练语言模型提出融合领域词典嵌入的领域语义信息增强的方法。在自建数据集上进行多次对比实验,结果表明:所提出的方法可以进一步提升实体边界的识别率,相较于传统的双向长短期记忆网络-条件随机场(bi-directional long short term memory-conditional random field,BiLSTM-CRF)命名实体识别模型,性能提升约5%。

教育领域下多维度特征命名实体识别方法

信息技术的发展与进步促使“互联网+教育”成为目前教育领域的研究热点,教育教学的各个环节都在向智能化的方向发展。中学数学的命名实体识别(NER)任务的研究,可为后续构建中学数学学科知识图谱及自动问答等任务奠定基础,进而满足中学生个性化知识获取的需求,助力新型智能化教育体系的构建。目前中学数学知识语义复杂,其NER和研究数据较少,且在当前主流模型特征提取任务中容易忽略掉部分局部特征。为解决该领域的实体识别困难问题,以自建的中学数学知识语料库为研究对象,提出一种融合多头注意力的多维度特征NER方法。该方法首先采用BERT进行文本表征预训练得到词向量,接着引入对抗训练对每个嵌入向量进行扰动,将得到的对抗样本和嵌入向量传送到多维度特征提取层进行特征提取,再将输出的特征进行拼接,通过多头注意力机制进行动态融合,最终经过条件随机场(CRF)修正后输出。实验结果表明,该方法在自建Educ数据集上的识别准确率、召回率以及F1值分别达到96.68%、97.71%和97.19%,证明了该方法在中学数学知识实体识别上的有效性。

基于BERT和领域词典融合的中文电子病历命名实体识别

医疗数据挖掘的起始环节为CNER(中文电子病历命名实体识别),将相关实体(解剖部位、药品、影像检查等)识别出非结构化文本是其目标所在。基于CNER准确性提升需要,论文设计了BERT-BiLSTM-CRF模型融合领域词典技术,该技术能将上下文语义关系全面结合,一词多义问题同样可以迎刃而解,获取电子病历句子的长距离依赖。CNER采用BERT-BiLSTM-CRF模型融合领域词典技术时的F1值已经被实验结果所证实,对知识图谱的构建、临床决策支持系统和病历质控系统等的研究有着重要意义。

面向联合收割机故障领域的命名实体识别研究

联合收割机作为一种机械化设备不可避免地会出现机械故障,为快速地找出并解决机械故障,提出一种面向联合收割机故障领域的命名实体识别模型RP-TEBC(RoBERTa-wwm-ext+PGD+Transformer-Encoder+BiGRU+CRF)。RP-TEBC使用动态编码的RoBERTa-wwm-ext预训练模型作为词嵌入层,利用自适应Transformer编码器层融合双向门控单元(BiGRU)作为上下文编码器,利用条件随机场(CRF)作为解码层,使用维特比算法找出最优的路径输出。同时,RP-TEBC模型在词嵌入层中通过添加一些扰动,生成对抗样本,经过对模型不断的训练优化,可以提高模型整体的鲁棒性和泛化性能。结果表明,在构建的联合收割机故障领域命名实体识别数据集上,相比于基线模型,该模型的准确率、召回率、F1值分别提高1.79%、1.01%、1.46%。

基于BERT-BiLSTM-CRF模型的油气领域命名实体识别

针对油气领域知识图谱构建过程中命名实体识别使用传统方法存在实体特征信息提取不准确、识别效率低的问题,提出了一种基于BERT-BiLSTM-CRF模型的命名实体识别研究方法。该方法首先利用BERT(bidirectional encoder representations from transformers)预训练模型得到输入序列语义的词向量;然后将训练后的词向量输入双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)模型进一步获取上下文特征;最后根据条件随机场(conditional random fields,CRF)的标注规则和序列解码能力输出最大概率序列标注结果,构建油气领域命名实体识别模型框架。将BERT-BiLSTM-CRF模型与其他2种命名实体识别模型(BiLSTM-CRF、BiLSTM-Attention-CRF)在包括3万多条文本语料数据、4类实体的自建数据集上进行了对比实验。实验结果表明,BERT-BiLSTM-CRF模型的准确率(P)、召回率(R)和F_(1)值分别达到91.3%、94.5%和92.9%,实体识别效果优于其他2种模型。

基于BERT-BiLSTM-CRF党建领域命名实体识别

党建领域知识图谱构建过程中使用传统的命名实体识别方法时,存在实体边界不清、实体词性多义等问题,导致存在识别准确率和效率低的问题。为此,本文提出一种融合树形概率和领域词典的BERT-BiLSTM-CRF实体识别模型。该模型在BERT中嵌入领域词典进行文本向量化表示;利用BiLSTM获取上下文语义特征;将树形概率应用到CRF层的转移概率计算中提高分词准确率。与基准模型在MSRA和自构建的语料库上进行实验对比,实验结果表明本模型在F1值、召回率、精确率3个指标上都能取得较好的效果。

基于BERT+Bi-LSTM+CRF的航天领域命名实体识别研究

针对互联网开放数据中文本表述模糊、实体边界不清等问题,构建航天语料库Space-Corpus,提出一种基于BERT+Bi-LSTM+CRF的航天领域命名实体识别模型。基于微调的多层双向Transformer编码器(bidirectional encoder representations from transformer,BERT)模型生成输入语料的向量化表示,结合双向长短期记忆网络(bi-directional long short-term memory,Bi-LSTM)获取上下文特征,通过条件随机场(conditional random field,CRF)层进行序列解码标注,输出得分最高的预测标签。实验结果表明,该模型在Space-Corpus语料库上较基于BERT模型、基于BERT+Bi-LSTM以及基于CNN+Bi-LSTM+CRF识别模型的准确率、召回率及F1值均有提升。

基于数据增强的MRC水利领域命名实体识别模型研究

水利领域命名实体识别对水利知识图谱构建、水利智能问答系统构建等具有重要意义,但当前水利领域命名实体识别存在缺乏标注语料、传统方法识别精度低和无法解决多义实体等不足。针对水利文本特点,提出基于数据(词汇和实体类型标签)增强的机器阅读理解(MRC)命名实体识别模型,即MRC-WLE模型,主要是将水利文本中词汇特征信息和实体类型标签特征信息作为“知识”注入模型。引入BERT-CRF、BERT-CRF-Word、BERT-BiLSTM-CRF、BERT-BiLSTM-CRF-Word等模型作为对照,评价MRC-WLE模型的性能。结果表明:与上述BERT-CRF等模型相比,MRC-WLE模型的微平均F1值均有所提高。与MRC模型相比,MRC-WLE模型的微平均F1值提高了0.85%,体现了数据增强的有效性。

电力领域命名实体识别研究综述

电力行业蓬勃发展,该行业各类数据也随之爆发式增长。对电力数据的科学统筹管理与综合分析,可为电力行业智能化、自动化发展开辟道路。知识图谱的大放异彩为此提供了新思路——知识管理。命名实体识别作为知识图谱构建的关键步骤,目的是识别文本数据中的实体并归类至对应的实体类型,为电力知识图谱的构建奠定基础。论文以电力领域角度论述,首先从命名实体识别的相关理论入手,剖析了国内外的研究方法;然后对电力领域命名实体识别的实现难点和技术框架进行阐述,归纳了电力领域命名实体识别取得的进展等;最后对电力领域命名实体识别研究工作进行了总结与展望。

基于实体知识的石油炼化领域命名实体识别

石油炼化领域中的命名实体识别任务存在着标注数据稀缺,以及现有的预训练语言模型不能很好识别领域组合和嵌套实体的问题。基于此,首先提出一种基于外部实体知识的数据增强方法(EEKR),通过引入外部实体知识库,将其与标注数据中的实体进行实体级别替换完成数据增强,有效解决标注数据稀缺的问题。之后提出了基于内部实体知识的命名实体识别模型(IIEKNER),通过获取标注样本中的内部实体嵌入,将内部实体知识融入预训练模型,从而可以更准确地识别出石油炼化领域中的嵌套和组合实体。实验结果显示,相比于其他模型,基于EEKR数据增强方法的IIEKNER模型的识别效果更优。

面向金融新闻的命名实体识别方法

命名实体识别是自然语言处理的基本任务之一。针对金融新闻领域中传统模型识别效果一般的问题,本文提出了一种基于迁移语料库训练的ELMo-BiLSTM-CRF模型的方法。实验通过对金融新闻数据集进行标注和分词等处理,使用迁移训练的ELMo模型进行词向量生成,BiLSTM模型提取文本特征,最后利用条件随机场(CRF)对文本特征进行分类。与其他传统模型相比,该方法在实体识别的精准率、召回率和F1值上均有显著提升。

基于知识图谱增强的领域多模态实体识别

针对特定领域中文命名实体识别存在的局限性,提出一种利用学科图谱和图像提高实体识别准确率的模型,旨在利用领域图谱和图像提高计算机学科领域短文本中实体识别的准确率。使用基于BERT-BiLSTMAttention的模型提取文本特征,使用ResNet152提取图像特征,并使用分词工具获得句子中的名词实体。通过BERT将名词实体与图谱节点进行特征嵌入,利用余弦相似度查找句子中的分词在学科图谱中最相似的节点,保留到该节点距离为1的邻居节点,生成最佳匹配子图,作为句子的语义补充。使用多层感知机(MLP)将文本、图像和子图3种特征映射到同一空间,并通过独特的门控机制实现文本和图像的细粒度跨模态特征融合。最后,通过交叉注意力机制将多模态特征与子图特征进行融合,输入解码器进行实体标记。在Twitter2015、Twitter2017和自建计算机学科数据集上同基线模型进行实验比较,结果显示,所提方法在领域数据集上的精确率、召回率和F1值分别可达88.56%、87.47%和88.01%,与最优基线模型相比,F1值提高了1.36个百分点,表明利用领域知识图谱能有效提升实体识别效果。

基于偏正结构表示的加工命名实体识别方法

制造企业积累大量的零件加工经验多以文本形式存在,如何从文本中挖掘出高质量的零件加工知识是个尚待解决的问题。针对待识别实体存在的偏正结构特征,导致实体边界界定模糊的问题,提出一种多网络协调的中文命名实体识别方法。在BERT生成字向量的过程中,通过领域自适应方法,提高字向量对工艺实体的表征能力,同时,在BiLSTM-CRF模型中引入注意力机制和多门控制的混合专家网络捕获上下文特征与实体信息。实验表明,较于当前主流的命名实体识别模型,该文提出的方法对机械零件加工实体识别的F1值达到80.15%,取得优于其他模型的最好性能。

基于多粒度字形增强的中文医学命名实体识别

中文医学命名实体识别(CMNER)旨在从中文非结构化医学文本中提取实体。现有的基于字符的CMNER模型没有从不同角度全面考虑汉字的特点,限制了其应用于CMNER的性能。基于此,提出基于多粒度字形增强的中文医学命名实体识别模型。对于输入的句子,结合汉字的字形空间结构和偏旁部首的表示,同时根据相应的领域词典来匹配字符的领域词信息,增强字符的语义和潜在边界信息,使模型获得更好的实体识别能力;通过门控机制整合领域词和汉字的字形多粒度特征,综合考虑汉字的领域信息和汉字底层信息,从而具有更好的感知医学实体的能力。在此基础上,将多粒度字形增强的字符表示输入到双向长短记忆和条件随机场层,分别进行上下文编码和标签解码。实验结果表明,本文模型较于最佳基线模型在IMCS21和CMeEE数据集上的F1值分别提升了1.04%和0.62%。此外,通过消融实验验证了该模型的每个组成部分的有效性,在识别中文医学命名实体时具有较好的识别性能。

注入图情领域知识的命名实体识别模型

命名实体分类和识别是自然语言处理中的关键任务,其识别效果将会影响许多下游任务的性能。文章基于现有知识图谱,提出图情领域九大类实体,构建适用于图情领域实体识别的LISERNIE+BiGRU+CRF模型。其中,LISERNIE模型的训练以ERNIE为基础,增加了注入图情领域知识的预训练阶段训练。通过开展广泛的实验,发现LISERNIE+BiGRU+CRF模型能有效识别出命名实体,且在小规模标注数据集上具有明显的性能优势;当应用到后续的开放域关系抽取实验时,其准确率远高于CORE系统,可为进一步构建知识图谱、问答系统、机器阅读等提供模型和数据支撑。

基于图卷积网络的产业领域科技服务资源命名实体识别

针对产业领域科技服务资源中存在专业术语复杂、实体边界识别困难及不能有效提取文本远距离语义特征的问题,提出了一种基于图卷积网络(GCN)的产业领域科技服务资源命名实体识别方法。对现有的BERT-BiLSTM-CRF方法进行改进。首先,通过额外加入辅助特征词性特征对BERT层获取的字符向量进行扩展补充,并通过多头注意力机制设置权重来获取字符间的语义信息;然后,在双向长短期记忆网络(BiLSTM)基础上融入图卷积网络,用于挖掘字符及字符间关系的结构信息,将BiLSTM提取到的特征表示与字符间的依存关系矩阵拼接融合,充分获取文本的全局特征。最后将GCN层获取的特征向量送入条件随机场(CRF)模型进行序列解码,选取出全局最优序列,即为实体识别的结果。实验结果表明,该方法优于传统的命名实体识别方法,可以提高产业领域科技服务资源命名实体识别的准确率。

融合词信息与自注意力的教育命名实体识别

为解决教育领域命名实体识别任务精度较低和语料严重不足的问题,提出一种融合词信息与自注意力的命名实体识别模型WBBAC。该模型利用BERT预训练语言模型增强字向量的语义表示并为字向量引入词频信息,将字向量与词向量拼接作为双向长短期记忆网络的输入,经过自注意力层进一步寻找序列内部的联系,最后通过CRF解码获得最优序列。根据课程文本特点创建计算机组成原理数据集并进行标注,在Resume数据集和计算机组成原理数据集上进行实验,WBBAC模型的F1值分别为95.65%和73.94%。实验结果表明,与基线模型相比,WBBAC模型具有更高的F1值,有效解决了教育领域命名实体识别任务中标注数据不足的问题。