面向文本实体关系抽取研究综述

信息抽取是知识图谱构建的基础,关系抽取作为信息抽取的关键流程和核心步骤,旨在从文本数据中定位实体并识别实体间的语义联系。因此提高关系抽取的效率可以有效提升信息抽取的质量,进而影响到知识图谱的构建以及后续的下游任务。关系抽取按照抽取文本长度可以分为句子级关系抽取和文档级关系抽取,两种级别的抽取方法在不同应用场景下各有优缺点。句子级关系抽取适用于较小规模数据集的应用场景,而文档级关系抽取适用于新闻事件分析、长篇报告或文章的关系挖掘等场景。不同于已有的关系抽取,介绍了关系抽取的基本概念以及领域内近年来的发展历程,罗列了两种级别关系抽取所采用的数据集,对数据集的特点进行概述;分别对句子级关系抽取和文档级关系抽取进行了阐述,介绍了不同级别关系抽取的优缺点,并分析了各类方法中代表模型的性能以及局限性;总结了当前研究领域中存在的问题并对关系抽取发展前景进行了展望。

主实体增强型层叠指针网络在中文医学实体关系抽取中的应用

随着中国医学事业的快速发展,中文医学文本的数量不断增加。为了从这些中文医学文本中提取有价值的信息,并解决中文医学领域的实体关系抽取问题,研究人员已经提出一系列基于双向LSTM的模型。然而,由于双向LSTM的训练速度等问题,文中引入了层叠指针网络框架来处理中文医学文本的实体关系抽取任务。为了弥补层叠指针网络框架中主实体识别能力不足以及解决复用编码层时的梯度问题,文中提出了主实体增强模块,并引入了条件层归一化方法,从而提出了面向中文医学文本的主语增强型层叠指针网络框架(Subject Enhanced Cascade Binary Pointer Tagging Framework for Chinese Medical Text,SE-CAS)。通过引入主实体增强模块,能够精确识别有效的主实体,并排除错误实体。此外,还使用条件层归一化方法来替代原模型中的简单相加方法,并将其应用于编码层和主实体编码层。实验结果证明,所提模型在CMeIE数据集上取得了5.73%的F1值提升。通过消融实验证实,各个模块均能带来性能提升,并且这些提升具有叠加效应。

基于自适应损失函数的句子级远程监督关系抽取

远程监督关系抽取是一种关系抽取方法,现有方法主要采用多实例学习,在具有相同实体对的样例包上进行关系抽取。但是,包级方法只能缓解却并不能完全解决错误标签问题。基于此,文中首先分析了干净数据和噪声数据的分布,提出了一种新的自适应损失函数;在此基础上,提出了一种基于自适应损失函数的句子级远程监督关系抽取方法。在公开数据集NYT-10以及基于TACRED的合成数据集上的实验结果表明:文中提出的方法优于对比文献中的方法,能够更有效地区分错误标签噪声样例和干净样例,提高了句子级远程监督关系抽取的准确率。

基于异构图和语义融合的实体关系抽取

关系抽取是信息抽取中的一项重要任务,其目的是从非结构化文本中抽取出所有关系三元组。然而,如何有效地处理这一问题仍然是一个挑战,特别是对于关系重叠问题。为了有效处理重叠问题,该文提出一种基于异构图和语义融合的实体关系抽取方法:使用异构图将关系信息作为先验知识融入词表示,增强词表示的表示能力,使得模型能有效地处理单词实体重叠问题;使用语义融合模块将不同层次特征融合在一起作为关系分类模型的输入,使得模型能够有效地处理实体对重叠问题。所提方法在NYT和WebNLG数据集上取得了最好的效果,详细的实验也表明所提方法可以处理复杂的场景。

基于注意力机制语义增强的文档级关系抽取

文档级关系抽取旨在从文档中抽取出多个实体对之间的关系,具有较高的复杂性。针对文档级关系抽取中的多实体、关系相关性、关系分布不平衡等问题,提出了一种基于注意力机制(Attention)语义增强的文档级关系抽取方法,能够实现实体对之间关系的推理。具体来说,首先在数据编码模块改进编码策略,引入更多实体信息,通过编码网络捕获文档的语义特征,获得实体对矩阵;然后,设计了一个基于Attention门控机制的U-Net网络,对实体对矩阵进行局部信息捕获和全局信息汇总,实现语义增强;最后,使用自适应焦点损失函数缓解关系分布不平衡的问题。在4个公开的文档级关系抽取数据集(DocRED、CDR、GDA和DWIE)上评估了Att-DocuNet模型并取得了良好的实验结果。

融合实体和上下文信息的篇章关系抽取研究

篇章关系抽取旨在识别篇章中实体对之间的关系.相较于传统的句子级别关系抽取,篇章级别关系抽取任务更加贴近实际应用,但是它对实体对的跨句子推理和上下文信息感知等问题提出了新的挑战.本文提出融合实体和上下文信息(Fuse entity and context information,FECI)的篇章关系抽取方法,它包含两个模块,分别是实体信息抽取模块和上下文信息抽取模块.实体信息抽取模块从两个实体中自动地抽取出能够表示实体对关系的特征.上下文信息抽取模块根据实体对的提及位置信息,从篇章中抽取不同的上下文关系特征.本文在三个篇章级别的关系抽取数据集上进行实验,效果得到显著提升.

基于BERT的两次注意力机制远程监督关系抽取

针对词向量语义信息不完整以及文本特征抽取时的一词多义问题,提出基于BERT(Bidirectional Encoder Representation from Transformer)的两次注意力加权算法(TARE)。首先,在词向量编码阶段,通过构建Q、K、V矩阵使用自注意力机制动态编码算法,为当前词的词向量捕获文本前后词语义信息;其次,在模型输出句子级特征向量后,利用定位信息符提取全连接层对应参数,构建关系注意力矩阵;最后,运用句子级注意力机制算法为每个句子级特征向量添加不同的注意力分数,提高句子级特征的抗噪能力。实验结果表明:在NYT-10m数据集上,与基于对比学习框架的CIL(Contrastive Instance Learning)算法相比,TARE的F1值提升了4.0个百分点,按置信度降序排列后前100、200和300条数据精准率Precision@N的平均值(P@M)提升了11.3个百分点;在NYT-10d数据集上,与基于注意力机制的PCNN-ATT(Piecewise Convolutional Neural Network algorithm based on ATTention mechanism)算法相比,精准率与召回率曲线下的面积(AUC)提升了4.8个百分点,P@M值提升了2.1个百分点。在主流的远程监督关系抽取(DSER)任务中,TARE有效地提升了模型对数据特征的学习能力。

基于双粒度图的文档级关系抽取

文档级关系抽取是指在非结构性文本中抽取实体对之间的关系。针对当前文档级关系抽取方法未能充分利用文档语义信息且难以处理文档的噪声干扰问题,提出一种基于双粒度文档图的关系抽取模型,采用一种新型的构图思路以及降噪方法,分别在句间和句内两个层面进行设计。首先,在句间层面使用修辞语篇关系实体提及关系构建修辞语篇关系图RST-graph,采用异步降噪方式生成粗粒度文档图(CGD-graph),缓解了因实体对的句间关系路径长于句内关系路径造成的结构性误剪枝问题。然后,在句内层面采用依存句法关系对文档中的句子进行解析,构造依存句法树(SDT),增强句内语义信息。最后,将SDT和CGD-graph中存在的公共锚点相连接,构造细粒度文档图(FGD-graph)。实验结果表明,与去噪图推理(DGI)模型相比,该模型的lgn F1值和F1值分别提升了0.40和0.51个百分点,并且在实体对的多标签关系上随着标签数量的增多抽取效果提升较为显著。

基于多层级注意力机制和动态阈值的远程监督关系抽取

远程监督关系抽取面临着数据质量的问题,即生成的数据集存在多类噪声,包括噪声词、噪声句和噪声包。现有研究主要集中在噪声句方面,忽略了其他噪声的影响,无法彻底消除噪声。为此,提出一种基于多层级注意力机制和动态阈值的远程监督关系抽取模型(MADT)。该模型首先采用预训练语言模型获取实体对语义表示,再通过双向门控循环单元和自注意力机制获得蕴涵关键词信息的语义特征,然后结合句子深层上下文表示依次处理三种噪声问题。此外,还提出一种动态阈值方法进一步剔除噪声句,增强正例句对包表示的贡献,并采用基于语义相似性的注意力机制降低噪声包的影响。在NYT10d和NYT10m数据集上的实验表明,MADT模型能够解决远程监督关系抽取中各个层面的噪声,有效提升关系的抽取性能。

基于并行异构图和序列注意力机制的中文实体关系抽取模型

近年来,随着深度学习技术的快速发展,实体关系抽取在许多领域取得了显著的进展。然而,由于汉语具有复杂的句法结构和语义关系,面向中文的实体关系抽取任务中仍然存在着多项挑战。其中,中文文本中的重叠三元组问题是领域中的重要难题之一。针对中文文本中的重叠三元组问题,提出了一种混合神经网络实体关系联合抽取(HNNERJE)模型。HNNERJE模型以并行方式融合序列注意力机制和异构图注意力机制,并结合门控融合策略构建了深度集成框架。该模型不仅可以同时捕获中文文本的语序信息和实体关联信息,还能够自适应地调整主客体标记器的输出,从而有效解决重叠三元组问题。另外,通过引入对抗训练算法提高模型对未见样本和噪声的适应能力。运用SHAP(SHapley Additive exPlanations)方法对HNNERJE模型进行解释分析,基于模型的识别结果解析它在抽取实体和关系时所依据的关键特征。HNNERJE模型在NYT、WebNLG、CMeIE和DuIE数据集上的F1值分别达到了92.17%、93.42%、47.40%和67.98%。实验结果表明:HNNERJE模型可以将非结构化的文本数据转化为结构化的知识表示,有效提取其中蕴含的有价值信息。

基于实体级联类型的中文关系抽取管道模型

端到端实体关系抽取任务可以被分解成命名实体识别和关系抽取两个子任务,最近的工作多将这两个子任务联合建模。现有的流水线方法验证了在关系模型中融合实体类型信息的重要性和管道模型的潜力,但是它们忽略了文本中的某些实体可能同时具有多个类型,这种多义性的情况在中文数据集中尤为常见。为解决上述问题,提出了一种实体级联类型机制,并在此基础上开发了一个更适合中文关系抽取的管道模型,取名为CENTRELINE。该流水线方法的实体模块是一个词-词关系分类模型,它以BERT和双向LSTM作为编码器、经过条件层归一化后引入空洞卷积,最后通过级联类型预测器输出实体及其级联类型。关系模块的输入仅由实体模块构建。该方法在DuIE1.0、DuIE2.0和CMeIE-V2数据集上的F_(1)值分别比基线方法提高了7.23、6.93和8.51百分点,并在DuIE1.0和DuIE2.0数据集上都实现了最先进的性能。消融实验表明,提出的级联类型机制和根据中文语言特征改进的管道模型,均对关系抽取性能具有明显的促进作用。

融合知识和约束图的远程监督关系抽取方法

远程监督关系抽取通过自动标注数据减少人工标注成本,但存在句子标签噪声和关系长尾分布两个问题.为解决上述问题,提出一种融合知识图中实体信息以及实体和关系间约束的关系抽取方法.该方法对目标实体和其邻居实体的属性进行编码,对目标实体和邻居实体构成的邻居图进行编码,对实体类型和关系间约束进行编码,并通过多源融合注意力模块进行信息整合,构建关系抽取模型.该方法在NYT-10数据集上的AUC值为0.524,P@100值为94.8%,长尾指标Hits@K较之前最先进模型均有提升,取得了优异表现,表明该方法融合实体信息和约束信息解决远程监督关系抽取两个主要问题的有效性.

基于实体知识的远程监督关系抽取

为了降低远程监督关系抽取标记数据的噪声,提出一种融合实体描述和自注意力机制的远程监督关系提取模型,模型基于多示例学习,考虑到实体知识和位置关系的综合作用,采用词、实体、实体描述和相对位置的拼接向量作为模型输入,将分段卷积神经网络作为句子编码器,结合改进的结构化自注意力机制,捕捉特征内部相关性,并构造头实体和尾实体的差向量作为注意力机制的监督信息,为句子分配权重。在纽约时报数据集上的实验结果表明,与已有模型相比,本文模型的性能指标均达到最大值。

基于卷积神经网络的医疗护理实体关系抽取

针对医疗护理领域知识复杂性强、数据量大以及对准确度要求较高的问题,该研究提出一种基于卷积神经网络的医疗护理学实体关系抽取方法,实现对护理学语义关系的细粒度文本挖掘。该研究构建了医疗护理学语料标注系统,通过将医疗语料转化为向量特征矩阵,实现了对医疗语料的自动过滤和标注。通过向神经网络模型嵌入所构建的医疗关系语料库,一定程度上提高了模型疾病分类的准确度。在医疗护理学数据集上的实验表明,基于卷积神经网络的模型在指标精确度、召回率、F1值可达到89.78%、87.59%、89.77%。综上所述,该研究提出的基于卷积神经网络的医疗护理学实体关系抽取方法能够有效地抽取医疗语料数据中的实体关系,优于传统的实体关系抽取模型。

基于关系抽取的物联网设备识别方法

在标语存在信息缺失的情况下,传统物联网设备识别方法难以实现细粒度识别,针对这一问题,提出一种基于关系抽取的物联网设备识别方法。该方法通过在物联网设备的品牌、类型、型号信息与关系抽取中头实体、关系、尾实体之间建立映射关系,将物联网设备识别问题转化为关系抽取问题,解决标语中关键字缺失问题,并且在特征提取时融入旋转式位置编码信息,增强对物联网设备标语的长文本处理能力,提高物联网设备细粒度识别的性能。实验结果表明:该方法在设备型号粒度上的精确率达到了92.5%,F1值达到88.8%,优于基线方法。

知识图谱中实体关系抽取方法研究

实体关系抽取作为知识图谱构建的基础得到了越来越多研究人员的关注。实体关系抽取能够自动、准确地从大量数据中获取知识,并以结构化形式表示和存储。因此,实体关系抽取的正确性直接影响到知识图谱构建的准确性和后续知识图谱应用效果。然而,针对复杂结构、开放领域、多语言、多模态、小样本数据和实体关系联合抽取等不同研究热点,现存的实体关系抽取方法仍存在一些局限性。基于当前实体关系抽取研究热点领域将实体关系抽取分为复杂结构研究领域、开放领域、多语言研究领域、多模态研究领域、小样本数据研究领域和实体关系联合抽取六个方面,将每个方面按照具体问题进行分类并列举出一些解决方法。不仅系统梳理了每一个类别当前存在的问题和解决方法,还归纳了每个类别的研究成果,并从定量分析和定性分析两个维度,详细地分析了每个方法的优点和缺点。最后,总结了当前热点领域中待解决的问题,同时展望了知识图谱中实体关系抽取方法未来的发展趋势。

Web实体关系抽取算法研究

文章提出一种基于多模态注意力网络(Span-based Multi-Modal Attention Network,SMAN)的实体关系联合抽取算法,该算法通过完形填空机制建模文本上下文信息,并利用模态增强注意力模块(Modal Enhancement Attention Module,MEA)捕捉跨模态数据间的细粒度交互特征。实验表明,SMAN算法在Web数据上能显著提高实体识别和关系抽取的性能,为构建高质量的Web知识图谱提供了有效方法。

基于双向注意力机制的多模态关系抽取

传统关系抽取方法从纯文本中识别实体对之间的关系,多模态关系抽取方法通过利用多种模态信息辅助关系抽取任务。针对现有多模态关系抽取模型在处理图像数据时存在容易受到冗余信息干扰的问题,提出一种基于双向注意力机制的多模态关系抽取模型。首先,采用来自Transformer的双向编码器表示(BERT)与场景图生成模型分别提取文本语义特征与图像语义特征。然后,利用双向注意力机制建立图像到文本与文本到图像的双向对齐机制,通过这种双向对齐机制实现图像与文本之间的双向信息交互,赋予图像中冗余信息较低的权重以削弱其对文本语义表示的干扰,从而减轻图像中冗余信息对关系抽取结果造成的负面影响。最后,将对齐后的文本特征表示与视觉特征表示相连接形成文本与图像的融合特征,通过多层感知机(MLP)计算所有关系分类的概率分数并输出预测关系。在用于神经关系提取的多模式数据集(MNRE)上的实验结果表明,该模型的精确率、召回率、F1值分别达到65.53%、69.21%与67.32%,相比于基准模型均有明显提升,具有较好的关系抽取效果。

基于图卷积网络的表格隶属关系抽取

针对表格识别与分析领域中表内单元格间隶属关系抽取问题,定义表格隶属关系抽取任务,结合表格与图结构的相似性,给出表内单元格的图表示方法,并提出一种基于图卷积网络(GCN)的表格隶属关系抽取模型。所提模型通过GCN对表内单元格及其邻近格进行特征的聚合,预测单元格间是否存在隶属关系,实现关系抽取。为验证所提模型的有效性,标注中文表单Rel-forms及英文表格Rel-SciTSR这2个数据集。通过实验,在上述2类数据集及联合数据集上F1分数分别达到98.61%、96.55%、97.05%,验证所提模型在此2个数据集上的有效性,并分别分析文本内容、坐标信息、单元格属性及格间相对方向等不同因素对隶属关系抽取实验结果的影响。

融合关系标签和位置信息的中文医疗文本因果关系抽取方法研究

目的/意义利用因果关系词相对位置辅助深度学习模型,提高因果关系预测能力,挖掘医疗文本增益信息。方法/过程将医疗文本因果关系词相对位置信息表示为关系特征层嵌入预训练语言模型,融合基线模型进行实体识别及关系抽取。结果/结论嵌入关系特征层的模型F1值较基线模型BERT-BiLSTM-CRF和CasRel分别提升2.92个百分点和6.41个百分点,因果关系预测能力较好。