基于ABBSAC模型的中文事件抽取方法

事件抽取作为信息抽取的重要一环,是非结构化文本转化为有价值的结构化文本的主要方式。针对目前事件抽取模型普遍训练时间长、模型体量大等问题,提出了一个基于ABBSAC的中文事件抽取模型。通过ALBERT预训练模型缩减模型体量,采用BiSRU++捕捉文本内部关联信息,并融合注意力机制提升模型精度,最后以CRF的输出作为抽取结果。基于新浪新闻自主构建了语料集,进行了对比实验。在获得较高准确率、召回率以及F1值的基础上,该模型训练速度提高了约10%,模型参数量裁剪了约82%,证明了所提模型的先进性。同时,在ACE05和DUEE基准测评数据集上,与前沿方法相比较,将触发词抽取的F1值分别提升了1.7%、0.3%,将论元角色抽取的F1值分别提升了5.4%、0.1%,有效提升了中文事件抽取任务的效能。

中文事件抽取研究文献之算法效果分析

事件抽取是指识别文本中描述在某个时间(或时间段),某个地点或地区,由一个或多个角色参与的某动作的事件。首先对我国关于事件抽取研究的文献进行了总结,给出事件抽取的主要方法及模型。并针对文献中对这些事件抽取方法的效果进行统计分析,探讨各种事件抽取方法或模型的效果及适用性。经过对现有研究文献的统计,结论为:当前有关事件抽取的研究仍在继续,主要集中于金融资讯、会议信息、突发事件、个人简历等来自网页、微博微信等自媒体信息或军事法律等专业文件的事件抽取,所采用的算法包括SVM、CRF、ME、模式匹配、聚类算法等;CRF算法应用与个人简历事件抽取效果最好,采用模式匹配算法的有效文献量相对较多,触发词方法的综合效果较优于模式匹配算法,但较多领域存在触发词算法的查全率较低的问题。

基于动词论元结构的中文事件抽取方法

为将动词与其论元间的约束规则应用于事件抽取,在事件模型中引入动词论元结构形成模型变体,围绕模型变体提出基于动词论元结构的中文事件抽取方法。此方法首先对待抽取文本进行预处理和句法分析,得出其语法结构;然后将所得结构与动词论元结构属性进行比较,找出每个动词支配的论元;最后利用论元的语义属性确定与之对应的事件特征并由此完成事件抽取。实验结果显示,此方法能有效提高抽取系统的性能和效率。

基于图注意力和表指针网络的中文事件抽取方法

现有的中文事件抽取方法存在触发词和论元依赖建模不足的问题,削弱事件内的信息交互,导致论元抽取性能低下,特别是论元角色存在重叠的情况下.对此,文中提出基于图注意力和表指针网络的中文事件抽取方法(Chinese Event Extraction Method Based on Graph Attention and Table Pointer Network,ATCEE).首先,融合预训练字符向量和词性标注向量作为特征输入,并利用双向长短期记忆网络,得到事件文本的强化语义特征.再将字符级建模的依存句法图引入图注意力网络,捕获文本中各组成成分的长距离依赖关系.然后,使用表填充的方法进行特征融合,进一步增强触发词和其对应的所有论元之间的依赖性.最后,将学习得到的表特征输入全连接层和表指针网络层,进行触发词和论元的联合抽取,使用表指针网络对论元边界进行解码,更好地识别长论元实体.实验表明:ATCEE在ACE2005和DuEE1.0这两个中文基准数据集上都有明显的性能提升,并且字符级依存特征和表填充策略在一定程度上可以解决论元角色重叠问题.ATCEE源代码地址如下:https://github.com/event6/ATCEE.

限定域中文事件抽取研究综述

事件抽取是信息抽取领域最具有挑战性的任务之一,也是知识图谱构建中的关键技术。事件抽取在阅读理解、文本摘要、问答系统等领域得到了广泛的应用。限定域事件抽取指的是系统所抽取的事件类型是预定义的,因此针对某一特定领域,限定域事件抽取的研究更具有研究价值,而且中文事件抽取由于中文语言特性问题,面临着较大挑战。介绍了中文事件抽取中面对的挑战,对限定域中文事件抽取的主要方法进行归纳总结,重点介绍了基于深度学习的方法,并总结了少样本情况下的事件抽取方法,介绍了中文事件抽取常用的数据集,展望了中文事件抽取未来的发展趋势。

结合注意力机制与双向LSTM的中文事件检测方法

事件检测是信息抽取领域的重要任务之一。已有的方法大多高度依赖复杂的语言特征工程和自然语言处理工具,中文事件检测还存在由分词带来的触发词分割问题。该文将中文事件检测视为一个序列标注而非分类问题,提出了一种结合注意力机制与长短期记忆神经网络的中文事件检测模型ATT-BiLSTM,利用注意力机制来更好地捕获全局特征,并通过两个双向LSTM层更有效地捕获句子序列特征,从而提高中文事件检测的效果。在ACE 2005中文数据集上的实验表明,该文提出的方法与其他现有的中文事件检测方法相比性能得到明显提升。

基于字词联合表示的中文事件检测方法

事件检测作为事件抽取的一个子任务,是当前信息抽取的研究热点之一。它在构建知识图谱、问答系统的意图识别和阅读理解等应用中有着重要的作用。与英文字母不同,中文中的字在很多场合作为单字词具有特定的语义信息,且中文词语内部也存在特定的结构形式。根据中文的这一特点,文中提出了一种基于字词联合表示的图卷积模型JRCW-GCN(Joint Representation of Characters and Words by Graph Convolution Neural Network),用于中文事件检测。JRCW-GCN首先通过最新的BERT预训练语言模型以及Transformer模型分别编码字和词的语义信息,然后利用词和字之间的关系构建对应的边,最后使用图卷积模型同时融合字词级别的语义信息进行事件句中触发词的检测。在ACE2005中文语料库上的实验结果表明,JRCW-GCN的性能明显优于目前性能最好的基准模型。

基于BERT-CRF模型的中文事件检测方法研究

事件抽取是自然语言处理中信息抽取的关键任务之一。事件检测是事件抽取的第一步,事件检测的目标是识别事件中的触发词并为其分类。现有的中文事件检测存在由于分词造成的误差传递,导致触发词提取不准确。将中文事件检测看作序列标注任务,提出一种基于预训练模型与条件随机场相结合的事件检测模型,采用BIO标注方法对数据进行标注,将训练数据通过预训练模型BERT得到基于远距离的动态字向量的触发词特征,通过条件随机场CRF对触发词进行分类。在ACE2005中文数据集上的实验表明,提出的中文事件检测模型与现有模型相比,准确率、召回率与F1值都有提升。

中文事件触发词的自动抽取研究

随着自然语言处理领域中信息抽取技术的不断发展,越来越多的学者开始关注事件的识别和抽取研究,其中触发词的识别和抽取是事件识别和抽取的关键。针对目前中文触发词抽取结果的F值不够理想的情况,选用中文事件语料库CEC语料作为训练语料和测试语料,提出了一种基于触发词扩展表和机器学习相结合的触发词抽取方法,实验表明,该方法抽取效果比较理想,F值可达到69.7%。

基于分层次多粒度语义融合的中文事件检测

事件检测是信息抽取领域中一个重要的研究方向,其主要研究如何从非结构化自然语言文本中提取出事件的触发词,并识别出事件的类型。现有的基于神经网络的方法通常将事件检测看作单词的分类问题,但是这会引起中文事件检测触发词与文本中词语不匹配的问题。此外,由于中文词语的一词多义性,在不同的语境下,相同的词语可能会存在歧义性问题。针对中文事件检测中的这两个问题,提出了一个分层次多粒度语义融合的中文事件检测模型。首先,该模型利用基于字符序列标注的方法解决了触发词不匹配的问题,同时设计了字符-词语融合门机制,以获取多种分词结果中词语的语义信息;然后,通过设计字符-句子融合门机制,考虑整个句子的语义信息,学习序列的字-词-句混合表示,消除词语的歧义性;最后,为了平衡“O”标签与其他标签之间的数量差异,采用了带有偏差的损失函数对模型进行训练。在广泛使用的ACE2005数据集上进行了大量实验,实验结果表明,所提模型在精确率(Precision,P)、召回率(Recall,R)和F1值这3个指标上比现有的中文事件检测模型至少高出3.9%,1.4%和2.9%,证明了所提方法的有效性。

基于双重注意力的无触发词中文事件检测

事件抽取是自然语言处理的重要任务,而事件检测是事件抽取的关键步骤之一,其目标是检测事件的发生并对其进行分类。目前基于触发器识别的中文事件检测方法存在一词多义、词与触发词不匹配的问题,影响了事件检测模型的精度。针对此问题,提出基于双重注意力的无触发词事件检测模型(Event Detection Without Triggers based on Dual Attention,EDWTDA),该模型可跳过触发词识别过程,实现在无触发词标记情况下直接判断事件类型。EDWTDA利用ALBERT改善词嵌入向量的语义表示能力,缓解一词多义问题,提高模型预测能力;采用局部注意力融合事件类型捕捉句中关键语义信息并模拟隐藏的事件触发词,解决词与触发词不匹配的问题;借助全局注意力挖掘文档中的语境信息,解决一词多义问题;最后将事件检测转化成二分类任务,解决多标签问题。同时,采用Focal loss损失函数解决转化成二分类后产生的样本不均衡问题。在ACE2005中文语料库上的实验结果表明,所提模型相比最佳基线模型JMCEE在精确率、召回率和F1-score评价指标上分别提高了3.40%,3.90%,3.67%。

基于数据增强和弱监督对抗训练的中文事件检测

当前的事件检测模型严重依赖于人工标注的数据,在标注数据规模有限的情况下,事件检测任务中基于完全监督方法的深度学习模型经常会出现过拟合的问题,而基于弱监督学习的使用自动标注数据代替耗时的人工标注数据的方法又常常依赖于复杂的预定义规则。为了解决上述问题,就中文事件检测任务提出了一种基于BERT的混合文本对抗训练(BMAD)方法。所提方法基于数据增强和对抗学习设定了弱监督学习场景,并采用跨度抽取模型来完成事件检测任务。首先,为改善数据不足的问题,采用回译、Mix-Text等数据增强方法来增强数据并为事件检测任务创建弱监督学习场景;然后,使用一种对抗训练机制进行噪声学习,力求最大限度地生成近似真实样本的生成样本,并最终提高整个模型的鲁棒性。在广泛使用的真实数据集自动文档抽取(ACE)2005上进行实验,结果表明相较于NPN、TLNN、HCBNN等算法,所提方法在F1分数上获取了至少0.84个百分点的提升。

基于结构化表示的中文事件同指消解方法

事件同指消解是自然语言处理中一个具有挑战性的任务,它在事件抽取、问答系统和阅读理解中具有重要作用。针对事件的语义信息主要由触发词和论元表示这一个特点,该文将事件进行结构化表示并输入一个基于门控和注意力机制的模型GAN-SR(gated attention network with structured representation),在文档内进行中文事件同指消解。首先,该模型采用语义角色标注和依存句法分析技术对事件句进行浅层语义分析,抽取事件句信息并表示为一个事件五元组。其次,将各种事件信息输入GRU进行编码,然后使用多头注意力机制挖掘事件句和事件对之间的重要特征。在ACE2005中文语料库上的实验表明,GAN-SR的性能优于目前性能最好的基准系统。

机器阅读理解式中文事件抽取方法

事件抽取是信息抽取的重要任务之一,在知识图谱构建、金融行业分析、内容安全分析等领域均有重要应用。现有中文事件抽取方法一般为实体识别、关系抽取、实体分类等任务的级联。将事件抽取转化为阅读理解任务,可为模型引入问题所含的先验信息。提出一种基于预训练模型的机器阅读理解式中文事件抽取方法(Chinese event extraction by machine reading comprehension,CEEMRC),将中文事件抽取简化为两个问答模型的级联。首先对事件触发词抽取、事件类型判定、属性抽取构建相应的问答任务问题。以RoBERTa为基础构建触发词抽取和事件类型识别联合模型、事件属性抽取两个问答模型,并融入触发词先验特征、分词信息、触发词相对位置等信息来提升模型效果。最后以模型预测回答的起始和结束位置完成所需的抽取。实验使用DuEE中文事件数据集,触发词抽取和属性抽取的F1值均优于同类方法,验证了该方法的有效性。

中文事件抽取研究及实现

在信息抽取越来越重要的今天,作为其重要研究方向,事件抽取也备受关注。选择了基于事件实例的方式,提出在对事件非事件句子分类的基础上,进行事件关键元素提取的研究。在句子分类上抓取句子特征进行分类,随后对包含事件句子中词进行特征抓取分类,选出特定事件元素。选取了SVM多元分类算法,并取得了一定成果。

门控机制融合多种特征的中文事件共指消解

事件共指消解是很多自然语言处理任务的基础,旨在识别文本中指代相同真实事件的事件提及。由于中文语法相比英文更复杂,捕获英文文本特征的方法在中文事件共指消解中效果并不明显。为解决文档内中文事件共指,提出了一种门控机制神经网络(Gated Mechanism Neural Network, GMNN)。针对中文具有主语省略、结构松散等特点,引入事件基本属性作为符号特征。在此基础上,提出了一种新的门控去噪机制,对符号特征向量进行微调,过滤符号特征中的噪声,提取在特定上下文语境中的有用信息,进而提高共指事件的识别率。在ACE2005中文数据集上进行了实验,结果表明,GMNN的AVG分数提升了2.66,有效地提高了中文事件共指消解的效果。

基于模糊集理论的中文事件框架的建立和模板匹配

模糊集理论建立于模糊数学基础上 ,将不确定的概念进行有效量化 ,用于分析研究。这里介绍了将模糊集理论应用于IE(信息抽取 )领域 ,在事件框架、侧面、槽等的建立过程中引入了模糊理论 ,并将未知文档与事件框架的匹配作为一种精确概念与模糊概念的匹配计算。

基于多词汇特征增强的中文事件检测方法

事件检测主要研究从非结构化文本中自动识别事件触发词,实现所属事件类型的正确分类。与英文相比,中文需要经过分词才能利用词汇信息,还存在“分词-触发词”不匹配问题。针对中文语言特性与事件检测任务的特点,本文提出一种基于多词汇特征增强的中文事件检测模型,通过外部词典为字级别模型引入包含多词汇信息的词汇集,以利用多种分词结果的词汇信息。同时采用静态文本词频统计与自动分词工具协同决策词汇集中词汇的权重,获取更加精确的词汇语义。在ACE2005中文数据集上与现有模型进行实验对比分析,结果表明本文方法取得了最好的性能,验证了该方法在中文事件检测上的有效性。

基于句法语义依存分析的中文金融事件抽取

事件抽取在自然语言处理应用中扮演着重要的角色,如股票市场趋势预测.传统事件抽取较为关注触发词和论元所属类型的正确性,较少地结合应用需求去分析研究事件抽取效果及使用价值.在财经领域,事件作用对象及动作是关注的重点.因此,本文聚焦于金融事件,抽取三元组事件ET(Sub,Pred,Obj).在中文财经新闻中,存在大量事件嵌套和成分共享等现象,致使易出现事件漏抽和事件成分缺失的情况.为了解决这些问题,本文建立一个句法和语义依存分析相结合的中文事件抽取框架,归纳了4种常见缺省结构,并设计相应的补全规则.首先,基于句法依存树,分析动词词法和句法结构,建立核心动词链,使得每个核心动词对应一个事件,解决事件漏抽问题.然后,在句法依存树的基础上添加语义依存关系,建立事件间语义关联,得到句法语义依存分析(Syntactic Semantic Dependency Parsing,SSDP)树.第三,调整SSDP树,优化句法结构,形成SSDP图,使得同等句法结构的词结点处于相同层级,为后续事件抽取提供途径.第四,归纳4种常见缺省结构,设计相应补全规则,解决事件成分缺失问题.最后,在中文财经新闻标题和CoNLL2009中文语料上进行详细的实验测试,实验结果表明该方法是有效的.

基于命名实体识别任务反馈增强的中文突发事件抽取方法

针对基于双向长短期记忆网络-条件随机场(BiLSTM-CRF)的事件抽取模型仅能获取字粒度语义信息,可学习特征维度较低致使模型上限低的问题,以开放领域的中文公共突发事件数据为研究对象,提出了一种基于命名实体识别任务反馈增强的中文突发事件抽取方法FB-Latiice-BiLSTM-CRF。首先,将Lattice(点阵)机制融合双向长短期记忆(BiLSTM)网络作为模型的共享层,获取句子中的词语语义特征;其次,增加命名实体识别辅助任务,以联合学习和挖掘实体语义信息,同时将命名实体识别任务的输出反馈到输入端,提取其中实体对应的分词结果作为Lattice机制的外输入,以减少该机制自组词数量大带来的运算负荷并进一步强化对实体语义特征的提取;最后,通过最大化同方差不确定性的最大高斯似然估计方法计算模型总损失,从而解决多任务联合学习产生的损失不平衡问题。实验结果表明,FB-Latiice-BiLSTM-CRF在测试集上的准确率达到81.25%,召回率达到76.50%,F1值达到78.80%,较基准模型分别提升7.63、4.41和5.95个百分点,验证了该方法对基准模型改进的有效性。