A Two-Phase Paradigm for Joint Entity-Relation Extraction

An exhaustive study has been conducted to investigate span-based models for the joint entity and relation extraction task.However,these models sample a large number of negative entities and negative relations during the model training,which are essential but result in grossly imbalanced data distributions and in turn cause suboptimal model performance.In order to address the above issues,we propose a two-phase paradigm for the span-based joint entity and relation extraction,which involves classifying the entities and relations in the first phase,and predicting the types of these entities and relations in the second phase.The two-phase paradigm enables our model to significantly reduce the data distribution gap,including the gap between negative entities and other entities,aswell as the gap between negative relations and other relations.In addition,we make the first attempt at combining entity type and entity distance as global features,which has proven effective,especially for the relation extraction.Experimental results on several datasets demonstrate that the span-based joint extraction model augmented with the two-phase paradigm and the global features consistently outperforms previous state-ofthe-art span-based models for the joint extraction task,establishing a new standard benchmark.Qualitative and quantitative analyses further validate the effectiveness the proposed paradigm and the global features.

The Entity Relationship Extraction Method Using Improved RoBERTa and Multi-Task Learning

There is a growing amount of data uploaded to the internet every day and it is important to understand the volume of those data to find a better scheme to process them.However,the volume of internet data is beyond the processing capabilities of the current internet infrastructure.Therefore,engineering works using technology to organize and analyze information and extract useful information are interesting in both industry and academia.The goal of this paper is to explore the entity relationship based on deep learning,introduce semantic knowledge by using the prepared language model,develop an advanced entity relationship information extraction method by combining Robustly Optimized BERT Approach(RoBERTa)and multi-task learning,and combine the intelligent characters in the field of linguistic,called Robustly Optimized BERT Approach+Multi-Task Learning(RoBERTa+MTL).To improve the effectiveness of model interaction,multi-task teaching is used to implement the observation information of auxiliary tasks.Experimental results show that our method has achieved an accuracy of 88.95 entity relationship extraction,and a further it has achieved 86.35%of accuracy after being combined with multi-task learning.

Annotation and Joint Extraction of Scientific Entities and Relationships in NSFC Project Texts

Aiming at the lack of classification and good standard corpus in the task of joint entity and relationship extraction in the current Chinese academic field, this paper builds a dataset in management science that can be used for joint entity and relationship extraction, and establishes a deep learning model to extract entity and relationship information from scientific texts. With the definition of entity and relation classification, we build a Chinese scientific text corpus dataset based on the abstract texts of projects funded by the National Natural Science Foundation of China(NSFC) in 2018–2019. By combining the word2vec features with the clue word feature which is a kind of special style in scientific documents, we establish a joint entity relationship extraction model based on the Bi LSTM-CNN-CRF model for scientific information extraction. The dataset we constructed contains 13060 entities(not duplicated) and 9728 entity relation labels. In terms of entity prediction effect, the accuracy rate of the constructed model reaches 69.15%, the recall rate reaches 61.03%, and the F1 value reaches 64.83%. In terms of relationship prediction effect, the accuracy rate is higher than that of entity prediction, which reflects the effectiveness of the input mixed features and the integration of local features with CNN layer in the model.

AMFRel:一种中文电子病历实体关系联合抽取方法

中文电子病历实体关系抽取是构建医疗知识图谱,服务下游子任务的重要基础。目前,中文电子病例进行实体关系抽取仍存在因医疗文本关系复杂、实体密度大而造成医疗名词识别不准确的问题。针对这一问题,提出了基于对抗学习与多特征融合的中文电子病历实体关系联合抽取模型AMFRel(adversarial learning and multi-feature fusion for relation triple extraction),提取电子病历的文本和词性特征,得到融合词性信息的编码向量;利用编码向量联合对抗训练产生的扰动生成对抗样本,抽取句子主语;利用信息融合模块丰富文本结构特征,并根据特定的关系信息抽取出相应的宾语,得到医疗文本的三元组。采用CHIP2020关系抽取数据集和糖尿病数据集进行实验验证,结果显示:AMFRel在CHIP2020关系抽取数据集上的Precision为63.922%,Recall为57.279%,F1值为60.418%;在糖尿病数据集上的Precision、Recall和F1值分别为83.914%,67.021%和74.522%,证明了该模型的三元组抽取性能优于其他基线模型。

基于深度字词融合的小麦种质信息实体关系联合抽取

为获得结构化的小麦品种表型和遗传描述,针对非结构化小麦种质数据中存在的实体边界模糊以及关系重叠问题,提出一种基于深度字词融合的小麦种质信息实体关系联合抽取模型WGIE-DCWF(wheat germplasm information extraction model based on deep character and word fusion)。模型编码层通过深度字词融合和上下文语义特征融合,提高密集实体特征识别能力;模型三元组抽取层建立层叠指针网络,提高重叠关系的提取能力。在小麦种质数据集和公开数据集上的一系列对比实验结果表明,WGIE-DCWF模型能够有效提高小麦种质数据实体关系联合抽取效果,同时拥有较好的泛化性,可以为小麦种质信息知识库构建提供技术支撑。

基于异构图和语义融合的实体关系抽取

关系抽取是信息抽取中的一项重要任务,其目的是从非结构化文本中抽取出所有关系三元组。然而,如何有效地处理这一问题仍然是一个挑战,特别是对于关系重叠问题。为了有效处理重叠问题,该文提出一种基于异构图和语义融合的实体关系抽取方法:使用异构图将关系信息作为先验知识融入词表示,增强词表示的表示能力,使得模型能有效地处理单词实体重叠问题;使用语义融合模块将不同层次特征融合在一起作为关系分类模型的输入,使得模型能够有效地处理实体对重叠问题。所提方法在NYT和WebNLG数据集上取得了最好的效果,详细的实验也表明所提方法可以处理复杂的场景。

任务协作表示增强的要素及关系联合抽取模型

对文本中诸如实体与关系、事件及其论元等要素及其特定关系的联合抽取是自然语言处理的一项关键任务.现有研究大多采用统一编码或参数共享的方式隐性处理任务间的交互,缺乏对任务之间特定关系的显式建模,从而限制模型充分利用任务间的关联信息并影响任务间的有效协同.为此,提出了一种基于任务协作表示增强的要素及关系联合抽取模型(Task-Collaboration Representation Enhanced model for joint extraction of elements and relationships,TCRE).该模型旨在从多个阶段处理任务间的特定关系,帮助子任务进行更细致的调节和优化,促进整体性能的提升.在三个关系抽取和一个事件抽取数据集上进行实验,TCRE在实体识别和关系提取任务上平均性能分别提高0.57%和0.77%,在触发词识别和论元角色分类任务上分别提高0.7%和1.4%.此外,TCRE还显示出在缓解“跷跷板现象”方面的作用.

面向合同信息抽取的动态多任务学习方法

对于合同文本中要素和条款两类信息的准确提取,可以有效提升合同的审查效率,为贸易各方提供便利化服务.然而当前的合同信息抽取方法一般训练单任务模型对要素和条款分别进行抽取,并没有深挖合同文本的特征,忽略了不同任务间的关联性.因此,采用深度神经网络结构对要素抽取和条款抽取两个任务间的相关性进行研究,并提出多任务学习方法.所提方法首先将上述两种任务进行融合,构建一种应用于合同信息抽取的基本多任务学习模型;然后对其进行优化,利用Attention机制进一步挖掘其相关性,形成基于Attention机制的动态多任务学习模型;最后针对篇章级合同文本中复杂的语义环境,在前两者的基础上提出一种融合词汇知识的动态多任务学习模型.实验结果表明,所提方法可以充分捕捉任务间的共享特征,不仅取得了比单任务模型更好的信息抽取结果,而且能够有效解决合同文本中要素与条款间实体嵌套的问题,实现合同要素与条款的信息联合抽取.此外,为了验证该方法的鲁棒性,在多个领域的公开数据集上进行实验,结果表明该方法的效果均优于基线方法.

基于跨度和边界探测的实体关系联合抽取模型

针对大多数跨度模型将文本分割成跨度序列时,产生大量非实体跨度,导致了数据不平衡和计算复杂度高等问题,提出了基于跨度和边界探测的实体关系联合抽取模型(joint extraction model for entity relationships based on span and boundary detection,SBDM)。SBDM首先使用训练Transformer的双向编码器表征量(bidirectional encoder representations from Transformer,BERT)模型将文本转化为词向量,并融合了通过图卷积获取的句法依赖信息以形成文本的特征表示;接着通过局部信息和句子上下文信息去探测实体边界并进行标记,以减少非实体跨度;然后将实体边界标记形成的跨度序列进行实体识别;最后将局部上下文信息融合到1个跨度实体对中并使用sigmoid函数进行关系分类。实验表明,SBDM在SciERC(multi-task identification of entities,relations,and coreference for scientific knowledge graph construction)数据集、CoNLL04(the 2004 conference on natural language learning)数据集上的关系分类指标S F1分别达到52.86%、74.47%,取得了较好效果。SBDM用于关系分类任务中,能促进跨度分类方法在关系抽取上的研究。

基于潜在关系的实体关系联合抽取模型

实体关系联合抽取的作用是从特定文本中识别出实体和对应关系,同时它也是知识图谱构建和更新的基础。目前的联合抽取方法在追求性能的同时都忽略了抽取过程中的信息冗余。针对此问题,提出基于潜在关系的实体关系联合抽取模型,通过设计一种新的解码方式来减少预测过程中关系、实体和三元组的冗余信息,从整体上分为提取潜在实体对、解码关系两步来完成从句子中抽取三元组的任务。首先通过潜在实体对提取器预测实体间是否存在潜在关系,同时筛选出置信度高的实体对作为最终的潜在实体对;其次将关系解码视作多标签二分类任务,通过关系解码器预测每个潜在实体对之间全部关系的置信度;最后通过置信度确定关系数量和类型,以完成三元组的抽取任务。在两个通用数据集上的实验结果表明,所提模型相比基线模型在准确率和F1指标上的效果更好,验证了所提模型的有效性,消融实验也证明了模型内部各部分的有效性。

基于多模态和知识蒸馏的教材知识图谱构建方法

为了高效构建教育领域多模态学科知识图谱,提出了基于大模型知识蒸馏和多模型协作推理的教材文本实体关系抽取算法。在模型训练阶段,利用闭源的千亿参数模型对文本数据进行标注,实现隐式知识蒸馏。然后对开源十亿规模参数模型进行领域数据指令微调,提升开源模型实体关系抽取任务的指令遵循能力。在模型推理阶段,闭源模型作为指导模型,开源的十亿规模参数模型作为执行模型。实验结果表明知识蒸馏、多模型协作、领域数据指令微调具有有效性,显著提高了基于指令提示的教材文本实体关系抽取任务的效果。提出了显隐式知识增强的教材示意图多模态命名实体识别算法。利用图像OCR、视觉语言模型等技术提取了教材示意图中的文字信息、全局内容描述信息。通过显式知识库检索增强和隐式LLM提示增强的方法,得到图像-标题对中可能关联的辅助知识,并将显式知识库和隐式LLM得到的知识进一步融合,形成最终的辅助知识。将示意图辅助知识和示意图标题进行拼接,实现教材示意图标题的多模态命名实体识别。实验结果表明,该算法具有先进性,同时增强了算法的可解释性。

基于卷积神经网络的医疗护理实体关系抽取

针对医疗护理领域知识复杂性强、数据量大以及对准确度要求较高的问题,该研究提出一种基于卷积神经网络的医疗护理学实体关系抽取方法,实现对护理学语义关系的细粒度文本挖掘。该研究构建了医疗护理学语料标注系统,通过将医疗语料转化为向量特征矩阵,实现了对医疗语料的自动过滤和标注。通过向神经网络模型嵌入所构建的医疗关系语料库,一定程度上提高了模型疾病分类的准确度。在医疗护理学数据集上的实验表明,基于卷积神经网络的模型在指标精确度、召回率、F1值可达到89.78%、87.59%、89.77%。综上所述,该研究提出的基于卷积神经网络的医疗护理学实体关系抽取方法能够有效地抽取医疗语料数据中的实体关系,优于传统的实体关系抽取模型。

基于平行交互注意力网络的中文电子病历实体及关系联合抽取

基于电子病历构建医学知识图谱对医疗技术的发展具有重要意义,实体和关系抽取是构建知识图谱的关键技术。该文针对目前实体关系联合抽取中存在的特征交互不充分的问题,提出了一种平行交互注意力网络(PIAN)以充分挖掘实体与关系的相关性,在多个标准的医学和通用数据集上取得最优结果;当前中文医学实体及关系标注数据集较少,该文基于中文电子病历构建了实体和关系抽取数据集(CEMRIE),与医学专家共同制定了语料标注规范,并基于该文所提出的模型实验得出基准结果。

知识图谱中实体关系抽取方法研究

实体关系抽取作为知识图谱构建的基础得到了越来越多研究人员的关注。实体关系抽取能够自动、准确地从大量数据中获取知识,并以结构化形式表示和存储。因此,实体关系抽取的正确性直接影响到知识图谱构建的准确性和后续知识图谱应用效果。然而,针对复杂结构、开放领域、多语言、多模态、小样本数据和实体关系联合抽取等不同研究热点,现存的实体关系抽取方法仍存在一些局限性。基于当前实体关系抽取研究热点领域将实体关系抽取分为复杂结构研究领域、开放领域、多语言研究领域、多模态研究领域、小样本数据研究领域和实体关系联合抽取六个方面,将每个方面按照具体问题进行分类并列举出一些解决方法。不仅系统梳理了每一个类别当前存在的问题和解决方法,还归纳了每个类别的研究成果,并从定量分析和定性分析两个维度,详细地分析了每个方法的优点和缺点。最后,总结了当前热点领域中待解决的问题,同时展望了知识图谱中实体关系抽取方法未来的发展趋势。

融合交互注意力网络的实体和关系联合抽取模型

实体关系三元组的抽取效果直接影响后期知识图谱构建的质量,而传统流水线式和联合式抽取的模型,并没有对句子级别和关系级别的语义特征进行有效建模,从而导致模型性能的缺失。为此,提出一种融合句子级别和关系级别的交互注意力网络的实体和关系联合抽取模型RSIAN,该模型通过交互注意力网络来学习句子级别和关系级别的高阶语义关联,增强句子和关系之间的交互,辅助模型进行抽取决策。在构建的中文旅游数据集(TDDS)的Precision、Recall和F1值分别为0.872、0.760和0.812,其性能均优于其他对比模型;为了进一步验证该模型在英文联合抽取上的性能,在公开英文数据集NYT和Webnlg上进行实验,该模型的F1值相比基线模型RSAN模型分别提高了0.014和0.013,并且该模型在重叠三元组的分析实验也均取得了优于基线模型的性能且更稳定。

中文电子病历信息提取方法研究综述

电子病历里承载的大量医疗信息能够帮助医生更好地了解患者的情况,辅助医生进行临床诊断。作为中文电子病历信息提取的2大核心任务,命名实体识别和实体关系抽取的目标是识别出电子病历文本中的医学实体并提取出各个实体间的医学关系。首先,系统阐述了中文电子病历的研究现状,指出命名实体识别和实体关系抽取2大任务在中文电子病历信息提取中所发挥的重要作用。随后,介绍了面向中文电子病历信息提取的命名实体识别和关系抽取算法的最新研究成果,并分析了每个阶段各个模型的优缺点。最后,讨论了中文电子病历现阶段所存在的问题并对未来的研究趋势进行展望。

融合自注意力和实体类型知识的实体关系联合抽取模型

从非结构化文本中抽取实体关系三元组是自然语言处理中的主要任务形式之一。目前主流的方法是采用联合式抽取,能够在训练过程中自动捕捉到实体与关系间的依赖知识,提高了实体和关系的抽取效果。但这些方法忽略了实体的类型知识,导致大量的冗余计算和错误结果的产生。鉴于此,文中提出一种融合注意力和实体类型知识的实体关系联合抽取方法。首先,采用预训练模型BERT作为编码器得到句子中各字符的向量表示,再经双向LSTM层处理得到最终的语义表示;其次,基于表示层的结果完成头、尾实体的识别;接着,通过融合不同头实体的语义信息到句子表示中,实现头实体类型约束下的潜在语义关系发现;最后,将头实体和关系分别输入自注意力模块识别出对应尾实体,得到实体关系三元组。通过在公开数据集NYT和WebNLG上的大量实验表明:文中所提模型在实体关系联合抽取任务中的F1值达到了93.2%和93.3%,与当前主流模型相比提升显著。

基于潜层关系增强的实体和关系联合抽取

为充分发掘文本序列中潜层语义关系信息,提出一种实体和关系联合抽取的潜层关系增强模型SREM(text subtext relationship enhancement model)。在潜层关系表示层利用结构化对齐的方式,获取并保持文本序列中的语义信息结构。在融合注意力机制的关系网络层中对数据进行建模,提高模型对文本词汇间关系信息的捕获能力。结合注意力机制获取细粒度语义信息,对上下文信息进行选择过滤。实验结果表明,在数据集NYT和WebNLG上取得的F1值分别为92.40%和92.52%,验证了模型的有效性。

低资源场景下苹果种植领域实体关系联合抽取模型

由于苹果种植领域实体关系联合抽取任务标注成本高昂以及与专业领域的强相关性,提高模型在低资源场景中的抽取性能至关重要。针对这一问题,该研究提出了一种基于强化学习的实体关系联合抽取模型。模型包含实体识别模块和基于强化学习的关系抽取模块。引入强化学习的训练架构,通过关系生成器生成伪标签,训练一个策略网络以最大化伪标签数据与有标签数据在梯度方向上的相似性,同时鼓励模型在伪标签数据上进行优化,提高模型对未标注数据的泛化能力。为了验证该研究模型的效果,将其与主流的低资源场景下关系抽取模型在苹果种植领域语料库进行了对比,结果表明在标注数据占比达到30%时,该研究模型的F1值达到了88.71%,相对其余基线有较大提升,与MetaSRE相比提高了2.8个百分点。此外,在公开数据集TACRED上,该模型在低资源场景下也能对实体关系进行有效抽取,F1值达到了59.93%。该模型通过梯度模拟算法的奖励反馈机制得到可泛化的显式信号,相较于直接采用标记数据训练模型得到的隐式信号更具有指导意义,且不会导致逐步漂移问题,实现了低资源场景下实体关系的快速抽取,为苹果种植领域知识图谱高效快速构建提供了解决办法。

基于深度学习的预警装备知识图谱构建方法研究

为了充分挖掘海量数据的内在关联价值,全面准确地构建预警装备领域知识图谱,提出了一种基于深度学习的预警装备知识图谱构建方法。该方法以典型非结构化文本资料为研究对象,构建预警装备领域知识图谱本体和专业词典,以驱动分词得到包含6468个实体样本和11216条关系样本的预警装备知识数据集。基于融合多种深度学习模型的知识抽取方法进行实体识别和关系抽取,实验结果表明:所提模型在预警装备领域表现出优异的性能,实体识别模型F1值达到91.54%,关系抽取模型F1值达到91.05%。将提取的实体关系三元组存储在Neo4j图数据库中,进一步构建了由14种实体和22种关系组成的预警装备领域知识图谱并实现可视化。