基于图神经网络的法律文本共指消解模型

共指消解是确定上下文中的代词或名词短语所指的具体对象或实体,是自然语言处理(Natural Language Processing,NLP)的基本任务之一,对理解文本语义具有重要意义。现有的方法主要集中在一般领域的代词、所有格和名词短语的解析上,针对法律领域的研究较少。为了更好地学习法律文本中的知识,并消除共同指代现象,提出一种基于图神经网络的法律文本共指消解模型(Graph Neural Network for Coreference Resolution,CR-GNN)。所提CR-GNN可以促进法律文本挖掘中的一系列后续任务。利用预训练语言模型和双向门控循环单元(Bidirectional Gate Recurrent Unit,BiGRU)对法律文本进行编码;使用基于元任务的动态图卷积网络(Meta Dynamic Graph Convolutional Network,MDGCN)整合实体之间的引用关系;使用前馈神经网络(Feed-Forward Neural Network,FFNN)和Biaffine模型为候选对进行加权评估。CR-GNN可以有效识别实体之间的引用关系,并对实体依赖关系进行建模。在法庭记录文件数据集上进行大量实验,结果表明所提CR-GNN模型达到89.76%的F1分数,均高于现有基准模型。

基于生成对抗网络的越南语新闻事件共指关系识别方法

事件共指关系识别旨在分析事件描述之间是否从不同的角度对同一件真实事件展开论述。但是,在同一篇新闻报道中往往存在不同事件句之间具有相似上下文但不具有共指关系的噪声情况,其会对共指关系识别模型造成干扰。为解决以上问题,该文提出了基于生成对抗网络的越南语新闻事件共指关系识别方法,采用触发词的上下文信息作为事件句的最小特征表示,在生成对抗网络的基础上构建噪声数据过滤机制进行信息实例与噪声实例的区分。在越南语事件数据集和公开数据集上的实验表明,该神经网络模型能有效进行噪声数据过滤,相对于传统的事件共指关系识别方法有明显的优势。

一种端到端的事件共指消解方法

事件共指消解任务主要是判断不同事件提及是否指向同一件事件。事件共指消解不仅能有效缓解事件抽取任务中存在的信息冗余问题,而且为事件内容补全提供了有效途径。尽管许多学者利用深度学习方法对事件共指消解进行了大量研究。但是大部分事件共指消解模型中仍然存在显式信息表示不足、论元噪声引入以及共指事件分布稀疏等问题。针对上述问题,提出了一种利用显式论元信息和重构事件链的端到端事件共指消解方法。首先,使用名为OneIE事件抽取模型提取事件的触发词和论元以获取事件的结构化信息;随后,使用Transformer编码器对事件提及上下文进行表示,并将置信分数引入论元信息编码以缓解其可能带来的误差传递;同时,采用门控机制对论元在触发词的水平和垂直方向上的信息进行分解,并根据论元和触发词的相关系数融合两个方向的信息,过滤论元中的噪声;然后,使用前馈网络计算事件提及对共指得分;最后,通过重构事件链验证事件提及的合法性以纠正由共指事件稀疏性带来的模型训练结果偏差。为了验证方法的有效性,本文基于数据集ACE2005进行实验。结果表明,本文模型在端到端事件共指消解任务上具有一定的先进性,其中CoNLL和AVG指标平均高出基线模型5.67%和6.24%。

基于上下文共指实体依赖的文档级关系抽取

文档级关系提取(Document relationship extraction,DRE)旨在多条句子中识别实体间的关系,而实体可能对应于跨越句子边界的多次提及,其中代词实体提及是因句子之间连接而普遍存在的语法现象,也是影响句子推理的一个重要因素。然而,以往的研究大多侧重于普通实体提及之间的关系,却很少关注代词实体提及的共指和关系捕获。本文提出了基于上下文共指实体依赖(Contextual coreference entity dependency,CCED)的文档级关系抽取模型,即通过融合普通实体和代词实体表示来构建共指实体依赖关系的上下文图结构,并在图上进行实体对间的全局交互推理,从而对实体关系的相互依赖进行建模。分别在公共数据集DocRED、DialogRE和MPDD上对CCED模型进行评估,结果显示在DocRED数据集上,与表现最好的基线模型DocuNet-BERT相比,CCED模型在测试集上的Ign F_(1)性能提高0.55%,F_(1)性能提高0.35%。在DialogRE和MPDD数据集上,与表现最好的基线模型COLN相比,CCED模型在DialogRE测试集上的F_(1)性能提高1.02%,在MPDD测试集上的ACC性能提高1.19%。实验结果验证了新模型对于文档级关系抽取的有效性。

门控机制融合多种特征的中文事件共指消解

事件共指消解是很多自然语言处理任务的基础,旨在识别文本中指代相同真实事件的事件提及。由于中文语法相比英文更复杂,捕获英文文本特征的方法在中文事件共指消解中效果并不明显。为解决文档内中文事件共指,提出了一种门控机制神经网络(Gated Mechanism Neural Network, GMNN)。针对中文具有主语省略、结构松散等特点,引入事件基本属性作为符号特征。在此基础上,提出了一种新的门控去噪机制,对符号特征向量进行微调,过滤符号特征中的噪声,提取在特定上下文语境中的有用信息,进而提高共指事件的识别率。在ACE2005中文数据集上进行了实验,结果表明,GMNN的AVG分数提升了2.66,有效地提高了中文事件共指消解的效果。

基于核心句的端到端事件共指消解

大多数先前的事件共指消解模型都属于成对相似度模型,通过编码两个事件提及的表示并计算相似度来判断是否共指。但是,当两个事件提及在文档内出现的位置接近时,编码其中一个事件提及的上下文表示会引入另一事件的信息,从而降低模型的性能。针对此问题,提出了一种基于核心句的端到端事件共指消解模型(End-to-end Event Coreference Resolution Based on Core Sentence,ECR-CS),该模型自动抽取事件信息并按照预先设置好的模板为每个事件提及构造核心句,利用核心句的表示代替事件提及的表示。由于核心句中只包含单个事件的信息,因此所提模型可以在编码事件表示时消除其他事件信息的干扰。此外,受到事件信息抽取工具的性能限制,构造的核心句可能会丢失事件的部分重要信息,提出利用事件在文档中的上下文表示来进行出弥补。所提模型引入了一种门控机制,将上下文嵌入向量分解为分别与核心句嵌入向量平行和正交的两个分量,平行分量可以认为是与核心句信息维度相同的信息,正交分量则是核心句中不包含的新信息。通过上下文信息和核心句信息的相关度,控制正交分量中被用来补充核心句中缺失的重要信息的新信息的量。在ACE2005数据集上进行实验,结果表明,相比最先进的模型,ECR-CS的CoNLL和AVG分数分别提升了1.76和1.04。

基于事件共指消解的多源情报融合方法

情报数据存在多源异构、关联缺失、重复冗余等问题,有限的数据处理能力已经无法满足不断增长的数据获取能力。事件共指消解任务旨在将互为共指关系的事件识别为同一事件并进行融合处理。对融合多源情报进行研究,提出一种端到端的事件共指消解方法。从情报文本中自动抽取情报事件;编码整个情报文档得到待消解事件的表示,计算每对事件提及的共指得分,以此构建文档内事件共指链;通过算法利用文档内事件共指链融合多源情报文档中的共指事件。实验结果表明,提出方法对消除冗余信息、简化情报文本、融合情报信息具有明显增益。

语义Web中对象共指的消解研究

随着语义Web的快速发展,语义Web数据大幅增长.在语义Web中,单个对象很可能由多个不同的标识符(例如URI)指称.语义Web中,对象共指的消解是识别语义Web中指称相同对象的不同标识符,并消除描述这些标识符的RDF(resource description framework)数据之间不一致性的过程,它对于语义Web数据的融合、搜索、浏览等具有重要作用.首先,形式化定义了语义Web中对象共指的消解问题;然后,从对象共指识别使用的特征、数据冲突的消解方式、对象共指消解方法的适用范围、现有原型系统和基准测试集这5个方面调研了最新的研究进展;最后,讨论了尚存的挑战,并展望未来可能的研究发展方向.

基于汉语框架语义的共指消解研究

基于框架语义的推理是实现语篇理解、问答系统等任务中语义理解的一种有效手段,框架语义推理通过构建汉语篇章句子框架之间的联系寻找推理路径,但框架元素内部的表述共指阻碍了框架之间联系的建立。针对该问题,提出一种基于框架特征的共指消解方法,该方法通过融合汉语框架语义信息并采用多种分类算法实现共指消解。框架语义篇章语料集上的实验结果表明,将汉语框架特征应用于分类器上能够较好地提升共指消解结果,且支持向量机的分类效果优于朴素贝叶斯、决策树等分类算法。

面向共指事件识别的同义表述模式抽取研究

在共指消解领域,目前已经有大量研究工作围绕实体共指问题展开,而有关事件共指方面的研究则相对较少。由于事件表述的灵活性,共指事件识别的研究重点之一在于如何构建事件表述相似度的计算模型。而在对同一事件的相似表述中,不仅包含词级别的同义表述,还包含语句级别的同义表述。针对该状况,本文基于新闻报道语料的特点,一方面针对词级别同义表述模式的抽取,设计了同义词知识库的自动构建策略,并考虑了缩略语、同位语等情况的处理;另一方面在词级别同义表述模式抽取的基础上,设计了语句级别同义表述实例的识别策略,进而可以抽取同义表述模式并剔除模式中的冗余成分。通过在实际数据集合上的实验,表明了本文策略的有效性。基于抽取到的词级别和语句级别的同义表述模式,可以有效提升共指事件识别的效果;本文工作也可以视为对共指事件识别现有策略的有益补充。

基于分类信心重排序的中文共指消解研究

共指消解是自然语言处理的核心问题之一。本文针对分步消解中分类器全局信息的不足,依据分类信心对全体提及配对进行排序,优先根据可靠的分类结果对提及进行聚集或分离。实验表明,该算法在多个学习框架下显著地改善了系统的整体性能。

集成多种背景语义知识的共指消解

共指消解是信息抽取中一个重要子任务。近年来,许多学者尝试利用统计机器学习的方法来进行共指消解并取得了一定的进展。背景知识作为新的研究热点已经被越来越多地利用在自然语言处理的各个领域。该文集成多种背景语义知识作为基于二元分类的共指消解框架的特征,分别在WordNet、维基百科上提取背景知识,同时利用句子中的浅层语义关系、常见文本模式以及待消解词上下文文本特征。并利用特征选择算法自动选择最优的特征组合,同时对比同样的特征下最大熵模型与支持向量机模型的表现。在ACE数据集上实验结果表明,通过集成各种经过特征选择后的背景语义知识,共指消解的结果有进一步提高。

基于属性权重的链接数据共指关系构建

来自异构数据源的语义数据集之间关联的缺失严重影响了数据网的构建和发展。语义数据集中,实例数据之间共指关系的发现和构建能够丰富数据集之间的关联,从而有助于在数据集之间进行推理和查询。在基于相似度分析的共指关系构建的过程中,实例属性的权重及属性值的相似度对实例相似度具有重要作用。提出一种新的基于数据集统计信息计算属性权重的模型,并从概率统计的角度证明其合理性。同时分析了这种权重计算模型相对于传统的权重计算方法的优势。基于新的权重计算方法,实现了共指关系构建系统,并利用开放的语义数据集验证了其正确性。

基于中心语匹配的共指消解

共指消解是自然语言处理的核心任务之一。在传统机器学习方法使用的平面特征基础上,该文提出一种利用中心语信息的新方法。该方法首先引进一种基于简单平面特征的实例匹配算法用于共指消解。在此基础上,又引入了先行语与照应语的中心语字符串作为新特征,并提出一种竞争模式对将中心语约束融合进实例匹配算法,提升了消解效果。该方法与其他只使用平面特征的传统机器学习方法相比,能充分地利用每一个训练实例的特征信息,进一步融合中心语字符串特征使消解效果更加准确。

基于决策树的汉语代词共指消解

提出一种统计与规则相结合的决策树算法进行汉语代词共指消解,利用规则过滤掉属性冲突的反例,一定程度上弥补了决策树算法忽略属性关联性的缺点.采用Chinese Treebank作为语料进行测试,手工标注其中的共指关系和特征向量;首先用规则过滤,然后采用C4.5决策树算法选择先行语.实验结果显示,消解成功率为82.59%,其中人称代词和指示代词的成功率分别为87.60%和75.21%.

基于特征分选策略的中文共指消解方法

针对基于机器学习的中文共指消解中不同类别名词短语特征向量的使用差异,提出一种基于特征分选策略的方法。该方法在选择特征向量时对人称代词和普通名词短语分别处理,充分利用不同名词短语的已有特征进行共指消解,并减少部分无效特征在共指消解过程中产生的"噪声"。实验结果表明,该中文共指消解方法能提高共指消解的性能,F值达到80.72%。

共指消解研究方法综述

共指消解作为自然语言处理中的一个重要问题一直受到学术界的重视。二十多年来,基于规则的和基于统计的不同方法被提出,在一定程度上推进了该问题研究的发展,并取得了大量研究成果。该文首先介绍了共指消解问题的基本概念,并采用形式化的方法对该问题做了描述;然后,针对国内外近年来在共指消解研究中的方法进行了总结;之后,对共指消解中重要的特征问题进行了分析与讨论;最后,历数了共指消解的各种国际评测,并对未来可能的研究方向进行了展望。

关联数据的对象共指问题研究

文章介绍关联数据对象共指的特点、具体问题及对应用的影响,总结两类共指识别方法,并详细分析两个共指管理系统,以便为相关研究、应用提供借鉴。

信息安全领域内实体共指消解技术研究

针对信息安全领域内的共指消解问题,提出了一个混合型方法。该方法在原来BiLSTM-attention-CRF模型的基础上引入领域词典匹配机制,将其与文档层面的注意力机制相结合,作为一种新的基于字典的注意力机制,来解决从文本中提取候选词时对稀有实体以及长度较长的实体识别能力稍弱的问题,并通过总结领域文本特征,将提取出的待消解候选词根据词性分别采用规则与机器学习的方式进行消解,以提高准确性。通过在安全领域数据集的实验,分别从共指消解以及提取候选词并分类2个方面证明了方法的优越性。

基于最大熵模型的共指消解研究

共指是突发事件新闻报道中的常见现象。良好的处理共指现象,是进行信息提取的基本必要过程。本文采用最大熵模型对汉语突发事件新闻报道中的共指现象进行消解,目的是提取出突发事件新闻报道中指向同一实体的名词、代词和名词短语。根据问题特点,算法选择了8类特征作为模型的特征,该模型在20万字的新闻语料上进行训练,在10万字规模的语料上进行测试,最终的测试得到系统的F值为64.5%。