基于多粒度阅读器和图注意力网络的文档级事件抽取

文档级事件抽取面临论元分散和多事件两大挑战,已有工作大多采用逐句抽取候选论元的方式,难以建模跨句的上下文信息。为此,提出了一种基于多粒度阅读器和图注意网络的文档级事件抽取模型,采用多粒度阅读器实现多层次语义编码,通过图注意力网络捕获实体对之间的局部和全局关系,构建基于实体对相似度的剪枝完全图作为伪触发器,全面捕捉文档中的事件和论元。在公共数据集ChFinAnn和DuEE-Fin上进行了实验,结果表明提出的方法改善了论元分散问题,提升了模型事件抽取性能。

文档级事件抽取反向推理模型

事件抽取旨在从非结构化文本中检测事件类型并抽取事件要素。现有方法在处理文档级文本时仍存在局限性。这是因为文档级文本可能由多个事件组成,并且构成某一事件的事件要素通常分散在不同句子中。为应对上述挑战,提出了一种文档级事件抽取反向推理模型(reverse inference model for document-level event extraction,RIDEE)。基于无触发词的设计,将文档级事件抽取转化为候选事件要素抽取和事件触发推理两个子任务,并行式抽取事件要素并检测事件类型。此外,设计了一种用于存储历史事件的事件依赖池,使得模型在处理多事件文本时可以充分利用事件之间的依赖关系。公开数据集上的实验结果表明,与现有事件抽取模型相比,RIDEE在进行文档级事件抽取时具有更优的性能。

融合理解与生成的文档级事件抽取

文档级事件抽取旨在基于所输入的长文档抽取其中关键事件和要素,是从领域文本语料库中自动获取知识的关键。现有的大多数文档级事件抽取系统基于对文本的理解和抽取,容易遇到多事件混淆的问题,而最新的基于生成的事件抽取系统则很容易产生幻觉错误。为了解决这些问题,文章提出了一种融合理解与生成的文档级事件抽取模型。该模型基于编码器解码器架构,利用双向的编码器实现文档的理解和基于片段预测的事件要素抽取,该模型同时利用单向的解码器在特定输入提示框架的辅助下实现事件要素的生成。还提出对比损失学习来让基于抽取的编码器部分和基于生成的解码器部分相互学习,从而互相提升事件要素抽取的表现水平,并最终通过融合输出的方法实现理解和生成的统一输出。实验表明所提的方法在典型的中、英文数据集上都比传统方法有着较大的性能提升。

文档级事件抽取研究综述

事件抽取旨在从非结构化的文本中抽取出人们感兴趣的事件信息并对其进行结构化表示。事件抽取具有广泛的应用,包括自动问答、机器翻译、推荐系统、信息检索、知识图谱构建等。现有的事件抽取研究综述,主要围绕句子级的事件抽取任务和实现方法展开。但事件的描述、事件元素和元素角色通常分布在整篇文档的多个句子中,更完整的事件抽取应从文档层面进行,即进行文档级事件抽取。近年来,随着深度学习技术的发展和多个文档级事件抽取数据集的公开发布,使文档级事件抽取受到了广泛的关注。该文对文档级事件抽取的相关研究进行了全面的综述:首先介绍了文档级事件抽取任务的定义和常用数据集,然后对典型方法进行了梳理和分析,最后对未来的研究方向进行了展望。

基于RoBERTa的全局图神经网络文档级中文金融事件抽取

当前基于图神经网络的事件抽取模型无法很好解决长距离依赖问题,并且图的构造中没有考虑实体之间的关系,实体也需要结合文档中的多个句子进行推理。为解决这些问题,该文首先使用预训练模型RoBERTa对文档进行编码并输出所有句子的特征表示和文档的上下文信息嵌入表示,能更好地学习中文金融数据的语义特征。其次,构建一个包含文档节点和实体节点的全局图神经网络使不同节点和边的交互有更丰富的表示,加强了文档和实体信息之间的联系。最后,应用图卷积网络捕获了它们之间的全局交互得到实体级图,在此基础上通过改进的路径推理机制来推断实体之间的关系,更好地解决了长距离文档上下文感知表示和跨句子论元分散问题。在CFA数据集上进行了模型验证,实验结果表明,该文所提模型F1值优于对比模型,综合性能得到有效提升。

文档级无触发词事件抽取联合模型

当前广为研究的在单个句子范围内的事件抽取方法,难以扩展到从分布在一篇文章里的多个句子中抽取同一事件的完整论元。对此,提出了一种基于深度学习的文档级事件抽取联合模型。首先,利用基于多头自注意力机制的实体识别模块逐句识别文档中的实体并输出其类型。然后,通过定义不同论元角色对事件类型的重要度训练事件类型检测模块,实现在无触发词条件下定位事件表述中心句并判断事件类型。最后,事件论元抽取模块通过在实体语义向量中嵌入实体的类型信息和实体到事件中心句的距离信息,并输入Transformer网络与上下文交换信息,实现在文档范围内抽取全部事件论元。通过对上述三个子模块进行联合训练,进一步实现了端到端的事件抽取,避免了管道式方法的误差传递。在公开数据集上的实验结果表明:在单事件条件下,该模型取得了86.3%的F1值,优于当前最佳的文档级事件抽取方法,并且具有优秀的模型训练速度。