基于高置信度伪标签数据选择算法的临床事件抽取方法

【目的】事件抽取是构建高质量事件知识图谱的前提。临床事件抽取过程中事件元素存在依赖关系,现有方法无法准确识别事件元素并组合为事件,且现有临床事件标记数据较少,给事件抽取任务带来了极大的挑战。【方法】将临床事件抽取建模为实体识别模型,提出一种融合多特征的中文医学事件抽取方法:BERT-MCRF.该方法使用BERT构建模型的嵌入和特征提取部分,在CRF层加入多个字的滑动窗口特征,然后将BERT-MCRF作为半监督实验的基实验,提出一种高置信度伪标签数据选择算法作为筛选数据的条件,得到较高质量的300条数据与原始数据合并,最终构建了1700条语料,并重新训练模型。【结果】BERT-MCRF模型在3种属性实体上的整体F1值达到80.21%,比经典的BiLSTM-CRF模型提升15.11%;通过半监督思路重新训练的模型最终F1值达到81.56%,较原始BERT-MCRF提升了1.35%.

文档级事件抽取反向推理模型

事件抽取旨在从非结构化文本中检测事件类型并抽取事件要素。现有方法在处理文档级文本时仍存在局限性。这是因为文档级文本可能由多个事件组成,并且构成某一事件的事件要素通常分散在不同句子中。为应对上述挑战,提出了一种文档级事件抽取反向推理模型(reverse inference model for document-level event extraction,RIDEE)。基于无触发词的设计,将文档级事件抽取转化为候选事件要素抽取和事件触发推理两个子任务,并行式抽取事件要素并检测事件类型。此外,设计了一种用于存储历史事件的事件依赖池,使得模型在处理多事件文本时可以充分利用事件之间的依赖关系。公开数据集上的实验结果表明,与现有事件抽取模型相比,RIDEE在进行文档级事件抽取时具有更优的性能。

面向战略运筹分析的事件抽取方法研究

针对战略层面对事件分析的需求,研究了事件文本的表示方法,将面向战略运筹分析的事件抽取划分为触发词抽取和论元角色抽取,提出了基于BERT+Bi-GRU+CRF的事件抽取模型,并在触发词抽取中引入了EFL策略。基于新浪军事新闻构建的语料集和三个基准数据集,进行了事件抽取对比实验,所提模型表现出良好的性能,证明了其先进性。

基于伪触发词的并行预测篇章级事件抽取方法

篇章级事件抽取一般将事件抽取任务分为候选实体识别、事件检测和论元识别3个子任务,然后采用级联的方式依次进行,这样的方式会造成误差传递;另外,现有的大多数模型在解码事件时,对事件数量的预测隐含在解码过程中,且只能按照预定义的事件顺序及预定义的角色顺序预测事件论元,使得先抽取的事件并没有考虑到后面抽取的事件。针对以上问题提出一种多任务联合的并行预测事件抽取框架。首先,使用预训练语言模型作为文档句子的编码器,检测文档中存在的事件类型,并使用结构化自注意力机制获取伪触发词特征,预测每种事件类型的事件数量;然后将伪触发词特征与候选论元特征进行交互,并行预测每个事件对应的事件论元,在大幅缩减模型训练时间的同时获得与基线模型相比更好的性能。最终事件抽取结果F1值为78%,事件类型检测子任务F1值为98.7%,事件数量预测子任务F1值为90.1%,实体识别子任务F1值为90.3%。

低资源场景事件抽取研究综述

事件抽取作为信息抽取的任务之一,旨在从非结构化文本中抽取出结构化事件信息。当前基于机器学习和深度学习的自动化信息抽取方法过度依赖于标注数据,而大多数领域的标准数据集规模很小且分布不均匀,因此低资源场景成为了限制自动化信息抽取性能的瓶颈。虽然,近年来众多学者针对低资源场景进行了深入研究,并取得了许多显著的成果,但目前针对该场景下的事件抽取研究综述比较缺乏。文中对现有的学术成果进行了较为全面的总结分析,首先介绍了相关任务的定义,并将低资源场景事件抽取任务分为3类;其次围绕此分类重点阐述了6种相关技术方法,包括基于迁移学习、基于提示学习、基于无监督学习、基于弱监督学习、基于数据与辅助知识增强、基于元学习的方法,并指出了当前方法的不足和未来改进的方向;然后介绍了相关数据集及评价指标,并对典型技术方法的实验结果进行了总结分析;最后从全局角度总结分析了当前低资源场景事件抽取工作面临的挑战及未来研究的趋势。

篇章级文本的事件图谱构建与事件抽取方法

针对篇章级事件抽取任务主要存在的以下3个挑战:模型复杂、事件论元分散以及多事件抽取,提出一种基于异质交互图和有序树的篇章级事件抽取方法DTHIGN。支持以解耦实体抽取部分的方式精简模型的参数;构建面向触发词的篇章级异质交互图,更全面地对语义进行建模;支持使用基于统一事件模板的树形事件论元抽取方式获得事件论元结果。实验结果表明,该方法能够获得较好的效果并显著降低模型的训练难度。

利用提示调优融合多种信息的低资源事件抽取方法

针对现有流水线式事件抽取方法依靠大量训练数据、在低资源情况下难以快速迁移运用等问题,利用提示调优技术,提出适用于低资源场景下的流水线式事件抽取方法(low-resource event extraction method using the multi-information fusion with prompt tuning,IFPT)。该方法通过构造语义映射和提示模板充分利用事件类型描述、实体类型等多种信息,能够高效使用有限训练数据,流水线式地完成事件检测和论元抽取。实验结果表明,在低资源情况下,IFPT方法论元抽取性能超过了所有基准模型,采取流水线方式能够达到与SOTA模型相媲美的性能。

基于多粒度实体异构图的篇章级事件抽取方法

篇章级事件抽取是一项面向多个句子长文本的事件抽取任务,现有的篇章级事件抽取研究一般将事件抽取分为候选实体抽取、事件检测和论元识别3个子任务,且通常采用联合学习的方式进行训练。然而,已有篇章级事件抽取方法大都采用逐句的方式抽取候选实体,未考虑跨句的上下文信息,明显降低了实体抽取和论元识别的精度,影响了最终的事件抽取效果。基于此,文中提出了一种基于多粒度实体异构图的篇章级事件抽取方法。该方法分别采用Transformer和RoBerta两个独立的编码器进行句子级和段落级实体抽取;同时,提出了多粒度实体选择策略,从句子实体集和段落实体集中选择更可能是论元的实体,并进一步构造融入多粒度实体的异构图;最后,利用图卷积网络获得具有篇章级上下文感知的实体和句子表示,进行事件类型和事件论元的多标签分类,实现事件检测和论元识别。在ChFinAnn和Duee-fin数据集上进行了实验,结果表明,所提方法比以往的方法在F1值方面分别提高了约1.3%和3.9%,证明了该方法的有效性。

面向新冠新闻的三阶段篇章级事件抽取方法

事件抽取是信息抽取领域的一个研究热点。在新冠肺炎疫情常态化下,利用事件抽取技术可以筛选出有价值的信息。然而事件抽取领域缺乏精标注的新冠新闻训练数据集,且因部分事件的复杂性,论元不只存在于一句话中,需要多个句子才能完整描述一个事件。因此,首先构建新冠肺炎新闻数据集,接着提出一种三阶段的管道方法实现从篇章中抽取新冠肺炎事件。该方法对数据集进行事件类型分类;进行事件句的抽取;实现篇章级论元抽取。实验结果表明提出的方法能够减少事件分类时间,抽取两个事件句的条件下,对数据通报类论元识别效果最好,准确率、召回率和F1值达到75.0%、73.0%,和74.0%,证明方法能有效抽取新冠肺炎相关篇章级事件。

基于全局语义匹配的篇章级事件抽取方法

作为自然语言处理领域中经典的信息抽取任务,事件抽取方法可以帮助人们从海量文本数据中快速准确地获取结构化事件信息,在事理图谱构建、舆情监控、态势感知等多个方面都起着举足轻重的作用。而由于事件组成的复杂性,文档中会包含多个相关的事件句,如果在对文档进行事件抽取时仅针对单个句子,从句子层面进行事件抽取,则很难将一个事件分散在整个文档中的事件信息抽取完整,得到完整的事件信息。为了解决这些问题,该文提出了基于全局语义匹配的篇章级事件抽取方法。首先,使用基于长短期记忆网络—条件随机场的序列标注模型进行句子级事件抽取;其次,在句子级事件抽取的基础上,采用所提全局语义匹配方法进行事件共指判断,通过融合句子级事件信息完成事件信息的完整抽取;最后,在MUC-4事件抽取数据集对所提模型进行验证,结果表明所提方法对文档中分散的事件元素有更准确抽取效果,在F1值上也有明显提升。

基于图注意力和表指针网络的中文事件抽取方法

现有的中文事件抽取方法存在触发词和论元依赖建模不足的问题,削弱事件内的信息交互,导致论元抽取性能低下,特别是论元角色存在重叠的情况下.对此,文中提出基于图注意力和表指针网络的中文事件抽取方法(Chinese Event Extraction Method Based on Graph Attention and Table Pointer Network,ATCEE).首先,融合预训练字符向量和词性标注向量作为特征输入,并利用双向长短期记忆网络,得到事件文本的强化语义特征.再将字符级建模的依存句法图引入图注意力网络,捕获文本中各组成成分的长距离依赖关系.然后,使用表填充的方法进行特征融合,进一步增强触发词和其对应的所有论元之间的依赖性.最后,将学习得到的表特征输入全连接层和表指针网络层,进行触发词和论元的联合抽取,使用表指针网络对论元边界进行解码,更好地识别长论元实体.实验表明:ATCEE在ACE2005和DuEE1.0这两个中文基准数据集上都有明显的性能提升,并且字符级依存特征和表填充策略在一定程度上可以解决论元角色重叠问题.ATCEE源代码地址如下:https://github.com/event6/ATCEE.

基于深度学习的事件抽取研究综述

事件抽取是从非结构化的自然语言文本中自动抽取用户感兴趣的事件信息,并以结构化的形式表示出来.事件抽取是自然语言处理与理解中的重要方向,在政府公共事务管理、金融业务、生物医学等不同领域有着很高的应用价值.根据对人工标注数据的依赖程度,目前基于深度学习的事件抽取方法主要分为两类:有监督和远程监督学习方法.对当前深度学习中事件抽取技术进行了全面的综述.围绕有监督中CNN、RNN、GAN、GCN与远程监督等方法,系统地总结了近几年的研究情况,并对不同的深度学习模型的性能进行了详细对比与分析.最后,对事件抽取面临的挑战进行了分析,针对研究趋势进行了展望.

一个实体关系与事件抽取的通用模型

信息提取的目的是从自然语言文件中找到具体信息,现有研究在信息抽取的实体关系和事件抽取任务中仅解决事件论元重叠和实体关系重叠的问题,未考虑两个任务共有的角色重叠问题,导致抽取结果准确率降低。提出一个两阶段的通用模型用于完成实体关系抽取和事件抽取子任务。基于预训练语言模型RoBERTa的共享特征表示,分别对实体关系/事件类型和实体关系/事件论元进行预测。将传统抽取触发词任务转化为多标签抽取事件类型任务,利用多尺度神经网络进一步提取文本特征。在此基础上,通过抽取文本相关类型的事件论元,根据论元角色的重要性对损失函数重新加权,解决数据不平衡、实体关系抽取和事件抽取中共同存在论元角色重叠的问题。在千言数据集中事件抽取和关系抽取任务测试集上的实验验证了该模型的有效性,结果表明,该模型的F1值分别为83.1%和75.3%。

深度学习元事件抽取研究

元事件抽取研究是从模式匹配、机器学习到深度学习。基于深度学习元事件抽取是将事件抽取任务转换成分类任务、序列标注任务、机器阅读理解任务。分析了事件抽取中存在的数据、语义、重叠、级联等问题,总结了元事件抽取未来将面临的待解决问题。

面向事件抽取的汉语时间词识别与表示

无论一个句子中显式地指明时间,还是事件中人的语言动作隐式地蕴含时间,自然语言中事件描述总是在一定的时空之中。理解时间词的语义表达,对解析事件抽取中特定的人、物在特定时间和特定地点相互作用具有重要意义。本文以获得事件在时间轴上的位置为出发点,从语义上研究汉语时间在计算机中的表达。通过抽取事件中的时间词,并构建汉语时间本体,从而理解事件间的时间关系。

融合理解与生成的文档级事件抽取

文档级事件抽取旨在基于所输入的长文档抽取其中关键事件和要素,是从领域文本语料库中自动获取知识的关键。现有的大多数文档级事件抽取系统基于对文本的理解和抽取,容易遇到多事件混淆的问题,而最新的基于生成的事件抽取系统则很容易产生幻觉错误。为了解决这些问题,文章提出了一种融合理解与生成的文档级事件抽取模型。该模型基于编码器解码器架构,利用双向的编码器实现文档的理解和基于片段预测的事件要素抽取,该模型同时利用单向的解码器在特定输入提示框架的辅助下实现事件要素的生成。还提出对比损失学习来让基于抽取的编码器部分和基于生成的解码器部分相互学习,从而互相提升事件要素抽取的表现水平,并最终通过融合输出的方法实现理解和生成的统一输出。实验表明所提的方法在典型的中、英文数据集上都比传统方法有着较大的性能提升。

基于槽位语义增强提示学习的篇章级事件抽取方法

事件抽取旨在将非结构化自然语言文本中的事件信息以结构化形式进行识别提取。传统事件抽取方法抽取范围局限于单个句子,且依赖较大规模的标注数据,在篇章级抽取任务与低资源目标领域中表现不佳。现有研究利用提示学习方法,以模板槽位填空方式实现篇章级事件抽取,其缺点在于传统提示模板槽位对论元角色分类准确度不高,容易造成论元角色抽取错误。针对上述问题,提出一种基于槽位语义增强提示学习的篇章级事件抽取方法,在提示学习方法的基础上,将传统事件抽取范式中的论元角色语义信息融入提示模板槽位中,为模型的槽位预测生成环节提供论元类型约束,提高篇章级事件抽取的准确率。通过使预训练语言模型上下游任务保持一致,提高模型的泛化能力,同时以较低成本实现知识迁移,在低资源事件抽取场景下提升模型性能。实验结果表明,相较于表现次优的传统基线方法,在包含59种论元类型的英文事件抽取数据集、包含92种论元类型的中文数据集以及低资源数据规模下,该方法的F1值分别取得了2.6、2.9和4.0个百分点的提升。

事件抽取技术综述及应用

事件抽取是信息抽取的主要任务之一,也是构建知识图谱的关键技术。事件抽取旨在从非结构化的自然语言中抽取出特定类型的事件信息,在监控监测、风险分析、决策支持等领域有重要应用价值。根据不同方法,将事件抽取相关研究分为基于数据驱动、基于知识驱动和混合抽取3类并进行比较分析。以基于飞行器维修知识图谱的决策支持系统为例,对事件抽取技术在飞行器维修领域的应用进行详细阐述,并指出当前存在的问题及未来发展方向。

面向司法数据的事件抽取方法研究

司法数据中的事件主要用于描述案件中犯罪主体和客体之间行为状态的改变,通过识别司法事件能有效地支撑智能化辅助办案研究。目前,现有事件抽取技术主要通过触发词识别事件,然后根据预定义的模板抽取对应参数。其主要缺点是只能抽取预定义的事件类型,并且抽取的事件不一定是句子语义表达的中心。针对上述问题,提出一种基于谓语中心词的司法事件定义方法,并搭建一个结合字词语义信息的神经网络模型。该模型采用字的Embedding获取字的语义信息,并通过CNN获得词特征信息。将词特征信息结合后,使用Cross-BiLSTM交叉学习字词交互信息在上下文的依赖表示,由CRF计算出每个字的最优标签路径。通过实验表明,该模型在司法数据集上的F1值达到84.41%,超出对比方法4.8%。

基于预训练语言模型的维吾尔语事件抽取

以往的维吾尔语事件抽取研究多采用静态词向量加长短时记忆神经网络的分析方式,无法有效处理一词多义和上下文语义表示问题。针对目标语言,训练两种维吾尔语预训练语言模型,提出一种结合BiGRU的联合问答模型事件抽取方法。利用预训练语言模型获取文本的动态语义向量,融合类别表征信息,运用BiGRU进一步提取文本特征。实验结果表明,在事件识别任务上F1值达到77.96%,在事件主体抽取任务上F1值达到74.89%。相比基线模型NER方法,所提方法的F1值提高了14.08%。