A Joint Entity Relation Extraction Model Based on Relation Semantic Template Automatically Constructed

The joint entity relation extraction model which integrates the semantic information of relation is favored by relevant researchers because of its effectiveness in solving the overlapping of entities,and the method of defining the semantic template of relation manually is particularly prominent in the extraction effect because it can obtain the deep semantic information of relation.However,this method has some problems,such as relying on expert experience and poor portability.Inspired by the rule-based entity relation extraction method,this paper proposes a joint entity relation extraction model based on a relation semantic template automatically constructed,which is abbreviated as RSTAC.This model refines the extraction rules of relation semantic templates from relation corpus through dependency parsing and realizes the automatic construction of relation semantic templates.Based on the relation semantic template,the process of relation classification and triplet extraction is constrained,and finally,the entity relation triplet is obtained.The experimental results on the three major Chinese datasets of DuIE,SanWen,and FinRE showthat the RSTAC model successfully obtains rich deep semantics of relation,improves the extraction effect of entity relation triples,and the F1 scores are increased by an average of 0.96% compared with classical joint extraction models such as CasRel,TPLinker,and RFBFN.

一种基于异构图神经网络和文本语义增强的实体关系抽取方法

信息化时代,如何从海量自然语言文本中提取结构化信息已经成为研究热点。电力系统中繁杂的知识信息需要通过构建知识图谱来解决,而实体关系抽取是其上游的信息抽取任务,其完成度直接关系到知识图谱的有效性。而随着深度学习的不断发展,利用深度学习技术来完成实体关系抽取任务的研究逐渐展开并取得了良好的效果。然而目前依然存在文本语义应用不完全等问题。针对这些问题本文尝试提出了一种基于异构图神经网络和文本语义增强的实体关系抽取方法,该方法使用词节点与关系节点学习语义特征,并通过BRET与预训练任务分别获得两种节点的初始特征,使用多层图网络结构迭代更新,并在每一层中使用基于多头注意力机制的信息传递实现两种节点的交互。通过该模型与其他实体关系抽取在两个公开数据集上实验对比,所提模型取得了预期效果,在多种情境下普遍优于对比模型。

基于双标注框架的实体关系联合抽取

实体关系抽取有流水线和联合抽取两种,联合抽取能更有效地抽取实体关系,流水线的适应能力更灵活。为解决实体关系抽取中的关系重叠问题,提出一种双标注实体关系抽取框架。使用联合解码的方式抽取自然文本中的主体实体,使用流水线方式抽取出客体实体。使用联合解码保证抽取精度的同时继承流水线的灵活性。所提模型在信息抽取数据集DUIE和远程监督数据集NYT上进行实验,其结果表明,该模型与基线模型相比具有竞争力。

基于预训练模型的药物不良事件抽取方法研究

目的/意义研究医学文本药物不良事件数据抽取方法,为临床用药风险管理和科学决策提供支持。方法/过程基于预训练模型,结合实体识别和关系抽取两个子任务的关联性,设计面向药物不良事件监测的实体关系联合抽取方法。结果/结论在公开药物不良事件抽取数据集上的实验表明,该方法优于已有方法,能够有效地从医学文本中提取药物不良事件信息及其关系,为药物不良事件的发现与监测提供有力手段。

融合实体注意力与语义信息的关系抽取模型

知识图谱通过语义网络,建立现实世界和数据世界映射,支撑了很多行业中的具体应用,实体关系抽取是知识图谱构建中的核心环节。论文针对关系抽取任务中实体相关特征利用率低、文本特征提取不充分以及部分预训练模型不能够很好提取序列特征的问题,提出一个基于BERT预训练模型,下游利用长短期记忆网络(LSTM)能够有效处理长期依赖问题的特点,再结合实体位置自感知注意力机制组合成新的模型。模型分别在两个公共数据集上测试,实验结果表明论文模型在TacRed数据集和SemEval 2020 Task 8数据集上f1得分值分别可以达到67.1%,87.8%,均优于部分先前的模型。

互联网开源文本情报智能分析技术综述

[研究目的]随着网络技术的长足发展,基于互联网的开源情报更加受到情报分析领域的重视,自动化、高效的文本情报智能分析处理技术是海量开源情报数据处理的必要手段。[研究方法]从互联网文本情报智能分析处理的数据获取、关键信息抽取及智能分析三个核心处理流程着手,对互联网开源文本情报智能分析中存在的问题和研究进展进行了总结和分析,阐述了解决问题近年来采用的新方法新思路。[研究结论]基于机器学习和深度学习的结合使用,使得互联网开源文本情报智能分析技术越来越走向实用,但如何解决特征设计和样本标注量的问题值得进一步研究,同时由于自然语言理解本身的复杂性,对文本信息的深层次理解仍然极具挑战。

融合依存关系的对话关系抽取

为了提高对话中实体对的关系抽取能力,将依存关系引入到异构图注意力网络中,提出了DEP-GAT模型。首先,通过预处理层获取每个词的基本特征,然后在话语编码层实现上下文特征的抽取,并加入依存信息进一步掌握话语结构。最后利用特征构建异构图,设计有效的消息传递机制,从而使得更新后的对话实体对包含了整个对话的上下文信息和语法特征,以此提高模型对实体关系抽取的能力。实验结果表明,在DialogRE数据集上,DEP-GAT模型相比于基线模型,F 1值在开发集上提高了2.9%,在测试集上提高了1.8%。

快速联合实体和关系抽取模型

从纯文本中抽取实体和关系是知识和问答任务的关键技术。传统的多头模型预测所有片段对的关系类型,而由于关系的稀疏性,片段对的负标签数量远大于正标签。同时,该计算方式导致计算量与句长度的二次方成正比,降低了模型的实用性。为解决该问题,快速实体关系抽取模型被提出。对于命名实体识别任务,实体的开始和结束标签分别对两个指针网络预测。在关系抽取任务中删除了不包含实体结束标签的语义片段对。该方法减少了片段对的数量并加快了关系抽取任务的推理速度。为了证明模型的有效性,在英语新闻数据集ACE05和荷兰语房地产数据集DREC上进行了实验。实验结果表明,与基线模型相比,该模型取得了有竞争力的性能,其推理速度在ACE05上提高了约1.4倍,在DREC上提高了约2.1倍。

基于关系过滤和实体对标注的中文关系抽取方法

针对关系三元组抽取任务中的冗余关系问题和实体重叠问题,提出一种基于关系过滤器的二维实体对标注方案(RF2DTagging).RF2DTagging模型由两部分组成:1)用于过滤冗余关系的关系过滤器(relation filter);2)能有效解决各种实体重叠问题的二维实体对标注方案(2D entity-pair tagging scheme).为进一步验证RF2DTagging模型,在3个公开的中文关系抽取数据集(CCKS2019-Task3,CMeIE和DuIE2.0)上进行实验.实验结果表明,该模型能有效解决上述两个问题,且总体性能比对比模型更好.

基于深度学习的实体关系抽取研究综述

实体关系抽取作为自然语言处理的主要任务之一,在知识图谱、智能问答等领域发挥着重要作用。为清晰综述实体关系抽取所用技术,以深度学习技术为切入点,就实体关系抽取研究方法进行概述。首先,对实体关系抽取任务的定义和建模方法进行简要描述;其次,为分类梳理各种实体关系抽取方法特点,从深度学习技术层面进行分类剖析;然后,为清晰对比总结各种方法的性能,统计了各大开源数据集模型指标参数;最后,为分析和展望其未来发展方向,根据实体关系抽取任务的不同呈现形式进行讲述。

生物医学语义关系抽取方法综述

深度学习在自然语言处理方面取得了显著成效,为生物医学领域的信息抽取带来新的研究范式。本研究旨在系统调研生物医学语义关系抽取方法、分析其发展历程,为深度学习方法的进一步运用提供基础和启示。通过检索Pub Med、Web of Science和IEEE数据库,以及Bio Creative、Sem Eval等重要测评网站,遴选出具有代表性的抽取方法,并从目的、方法、数据集和效果四个维度进行分析。经过系统梳理,可将生物医学语义关系抽取方法分为三个阶段:基于知识、传统机器学习和深度学习。将先验知识和领域资源恰当地融入到深度学习模型中,是进一步提升语义关系抽取效果的探索方向。

命名实体识别方法研究综述

在自然语言处理领域,命名实体识别是信息抽取的第一个关键环节。命名实体识别任务旨在从大量非结构化的文本中识别出命名实体并将其分类为预定义的类型,为关系抽取、文本摘要和机器翻译等自然语言处理任务提供基础支持。首先概述了命名实体识别的定义、研究难点和中文命名实体识别任务的特殊性,总结了命名实体识别任务中常用的中英文公共数据集和评估标准。然后根据命名实体识别的发展历程调研了现有的命名实体识别方法,主要为早期基于规则和词典的命名实体识别方法、基于统计机器学习的命名实体识别方法和基于深度学习的命名实体识别方法。归纳总结了每一种命名实体识别方法的关键思路、优缺点和具有代表性的模型,同时对各阶段的中文命名实体识别方法进行了总结。特别对最新的基于Transformer和基于提示学习的命名实体识别方法进行了综述,这两种细分类的方法是基于深度学习的命名实体识别方法中最先进的方法。最后总结了命名实体识别研究面临的挑战,并展望了未来的研究方向。

实体关系抽取方法研究综述

在自然语言处理领域,信息抽取一直以来受到人们的关注。信息抽取主要包括3项子任务:实体抽取、关系抽取和事件抽取,而关系抽取是信息抽取领域的核心任务和重要环节.实体关系抽取的主要目标是从自然语言文本中识别并判定实体对之间存在的特定关系,这为智能检索、语义分析等提供了基础支持,有助于提高搜索效率,促进知识库的自动构建.综合阐述了实体关系抽取的发展历史,介绍了常用的中文和英文关系抽取工具和评价体系.主要从4个方面展开介绍了实体关系抽取方法,包括:早期的传统关系抽取方法、基于传统机器学习、基于深度学习和基于开放领域的关系抽取方法,总结了在不同历史阶段的主流研究方法以及相应的代表性成果,并对各种实体关系抽取技术进行对比分析.最后,对实体关系抽取的未来重点研究内容和发展趋势进行了总结和展望.

基于双维度中文语义分析的食品领域知识库问答

基于知识库的简单问答是自然语言处理中的一个研究热点,也是实际生活中应用最广泛的一种情况。然而在研究中文方面基于知识库问答的过程中,存在诸如不同处理过程间的错误传播、难以从关系名称表达不明确的问句中抽取关系等问题。在自主构建的食品领域知识库以及食品领域问答语料库的基础上,从中文词义和中文字义两个语义角度出发,利用两个维度进行实体链接,并采用长短时记忆网络进行语义向量建模来抽取关系,提出一种基于双维度的中文语义分析的食品领域知识库问答模型。实验结果表明:所提出的模型在中文食品领域知识库问答上准确率比常用的端到端模型和语义解析模型均高出5.83%~13.07%,验证了所提出模型的有效性。

基于远程监督的多因子人物关系抽取模型

针对远程监督的基本假设过强容易引入噪声数据的问题,提出了一种可以对远程监督自动生成的训练数据去噪的人物实体关系抽取模型。在训练数据生成阶段,通过多示例学习的思想和基于TF-IDF的关系指示词发现的方法对远程监督产生的数据进行去噪处理,使训练数据达到人工标注质量。在模型分类器中,提出采用词法特征和句法特征相结合的多因子特征作为关系特征向量用于分类器的学习。在大规模真实数据集上的实验结果表明,所提模型结果优于同类型的关系抽取方法。

医学知识图谱构建研究进展

针对医学数据专业性强、结构复杂等特点,解析了构建医学知识图谱的关键技术,介绍了利用机器学习和深度学习的方法识别医学命名实体、实体链接和抽取语义关系,以及医学知识图谱在医院智能导诊、疾病筛查和预测、辅助临床诊断、医疗保险风险预测和医学知识科普方面的应用。结合当前我国医学知识图谱构建在数据和技术层面临的问题和挑战,提出了相应的对策和建议。

面向中文关系抽取的句子结构获取方法

在关系抽取中,神经网络模型是目前最常用的技术之一,然而现有神经网络模型很少考虑句子中两个实体之间的结构特征。该文针对关系抽取任务的特点,提出了基于神经网络模型的句子结构获取方法。该方法通过对关系实例中两个实体的位置进行特殊标记,使神经网络模型能够有效捕获句子中关于实体的结构信息。为了验证方法的有效性,分别采用两种主流的神经网络模型进行对比实验,实验结果表明,该方法在ACE 2005中文关系抽取数据集上的抽取性能得到显著提升,超出对比工作约11个百分点,表明该方法能有效提升关系抽取任务的性能。

基于指针网络的实体与关系联合抽取方法

针对现有实体和关系联合抽取方法中存在的实体与关系依赖建模不足、实体发生重叠难以抽取其所涉及的多个关系的问题,设计了基于深度学习的联合抽取框架。首先针对依赖建模不足问题,从预训练语料中提取实体共现特征,建模了实体间的潜在语义关系和实体与关系之间的依赖关系。其次提出了新颖的指针标注方法,该标注方法可以通过指针表示关系类别,由于任一实体可以被多个指针指向,所以可以在一段文本中标注重叠的实体并抽取多个实体—关系三元组结果。最后,为了有效利用单词的丰富语义和指针之间依赖的信息,设计了一个标签感知注意力机制,融合了包括来自编码层的字词信息、相关的共现语义信息。与研究中前沿的联合提取方法相比,该方法在百度DuIE测试集上实现了F_(1)值的增加。通过实验结果表明指针标注方法在一定程度上可以解决实体重叠问题。

大气污染领域本体的半自动构建及语义推理

为了明确大气污染物、污染源、影响因素、评价指标、危害等之间的关系,分析大气污染传播路径,建立了一个较为清晰、完善的大气污染领域本体.首先,基于机器学习和自然语言处理等技术,提出一种基于注意力机制的序列标注联合抽取实体关系的方法,在双向长短时记忆(long short-term memory,LSTM)网络模型中加入注意力机制,并将实体和关系联合标注,从而进行实体关系抽取.其次,结合词频-逆文档频率(term frequency-inverse document frequency,TF-IDF)核心概念挖掘方法进行知识抽取,并将概念、属性、关系和实例组织起来,从而实现大气污染本体模型的半自动构建.最后,在本体和实例的基础上通过Protégé的SPARQL Query模块和HermiT推理机分别进行条件推理和可视化推理.结果表明,基于注意力机制的序列标注实体关系联合抽取方法所构建的大气污染领域本体包含核心实体68个,实例数360个,相较于现有的本领域本体,在全面性、有效性、准确性和可重用性方面都有较好表现,同时推理出了Ca~(2+)和K~+等污染离子的传播路径.因此,基于注意力机制的序列标注联合抽取实体关系的方法能够有效地半自动构建大气污染领域本体,推理出清晰的大气污染传播路径.

基于注意力与神经图灵机的语义关系抽取模型

针对语义关系抽取(语义关系分类)中长语句效果不佳和核心词表现力弱的问题,提出了一种基于词级注意力的双向神经图灵机(Ab-NTM)模型。首先,使用神经图灵机(NTM)作为循环神经网络(RNN)的改进,使用长短时记忆(LSTM)网络作为控制器,其互不干扰的存储特性可加强模型在长语句上的记忆能力;然后,构建注意力层组织词级上下文信息,使模型可以加强句中核心词的表现力;最后,输入分类器得到语义关系标签。在SemEval 2010 Task 8公共数据集上的实验表明,该模型获得了86.2%的得分,优于其他方法。