融合特征编码和短语交互感知的隐式篇章关系识别

隐式篇章关系识别难度大、普遍性高.从论元编码和论元交互角度入手,提出了一种融合特征编码和短语交互感知的隐式篇章关系识别模型.该模型兼顾了论元本身特征和论元间交互特征的作用,并分别进行了优化.论元编码部分整合了双向长短时记忆网络和循环注意力卷积神经网络,能够更全面地捕获论元全局和局部特征;论元交互部分从短语层级考虑论元间的语义关系建模,构建了短语级交互注意力机制,并利用神经张量网络深入挖掘其中的关系模式,更能体现出论元间潜在的更深层次的关联关系.在宾州篇章树库数据集上的实验结果表明,该模型F1值均优于其他模型.

基于多视角对比学习的隐式篇章关系识别

隐式篇章关系识别IDRR的相关工作集中在篇章单元编码器的设计上。将对比学习引入到IDRR,以此获得区分度更高的篇章单元表征。具体地,首先使用一个轻量的IDRR模型;然后为了学习到更好的篇章单元表征,分别从样例层级、批层级和群层级,探索了3种不同视角的对比学习方法在IDRR中的应用;最后本文将多视角对比学习目标联合IDRR同时进行训练。本文提出的方法几乎不增加训练时间,而且只引入少量额外参数。基于PDTB 2.0的实验结果表明该方法达到了最优性能。

基于树核的隐式篇章关系识别

隐式篇章关系识别是篇章结构分析中最具有挑战性的任务之一.传统的方法注重篇章中的概念和意义特征,导致系统的性能不高.系统地探索了篇章中的浅层语义信息和以态度韵为导向的句子级情感等平面特征的有效性,同时提出了一种简单而有效的树核方法,最后采用复合核方法加以集成.在Penn Discourse Treebank(PDTB)2.0语料库上的实验结果表明,引入浅层语义和情感等信息后,准确率得到显著提升.

基于层次化表示的隐式篇章关系识别

篇章关系识别研究旨在理解篇章内部论述单元(简称"论元",包括短语、句子及文本片段)之间的语义连接关系.现有研究通过交互式注意力机制方法,提升论元之间的信息的交互性,从而提升模型的分类能力.尽管如此,仅通过提升论元间的信息交互不能表述论元对的整体语义概念,原因在于现有方法往往将论元对视作独立的个体,忽略上下文信息对其语义上的影响.针对以上问题,提出一种基于层次化表示的隐式篇章关系识别方法,通过基于词的交互式注意力机制提取出较为重要的单词或短语,并通过论元的注意力机制赋予关键论元较高的权重,最终通过基于上下文的注意力机制融合论元对所在段落的信息,获得具有上下文语义信息的论元对表示.该方法进一步强化了论元之间信息交互性,同时强化了论元对与上下文信息间的交互.使用PDTB(Penn Discourse Treebank)语料进行实验,结果证明该方法的F1值在四个大类关系(Comparison,Contingency,Expansion,Temporal)上相对基准系统提高了4.94%,5.43%,4.57%和7.42%.

基于语境交互感知和模式筛选的隐式篇章关系识别

隐式篇章关系识别是篇章分析(Discourse Analysis)中一项具有挑战性的子任务,旨在推断出同一篇章内相邻文本片段(称为论元)之间潜在的语义连接关系,例如:时序关系、因果关系等.如何有效地表征篇章论元以及挖掘论元间的交互信息是实现该任务的核心要素.传统研究注重篇章中人工总结的表层语言特征(即情感词极性、位置特征和动词类型等),存在数据稀疏和预处理错误级联的问题,导致机器学习模型性能不高.新近的深度神经网络模型则自动提取篇章论元中的特征,利用注意力或记忆机制等捕获论元的重要信息,并组合不同神经网络提取大量关系特征,以提升模型识别性能.然而,其忽略了表示过程中论元间双向非对称的交互信息,以及识别过程中论元间交互模式的稀疏特性.受认知学相关理论的启发,本文提出基于语境交互感知和模式筛选的隐式篇章关系识别方法(MATS).首先,通过双向长短期记忆网络(Bidirectional Long Short-Term Memory,BiLSTM)分别编码两个论元,以获取带有上下文语境信息的论元表示;其次建模其动态交互注意力机制,以自动学习论元之间的非对称关联矩阵,进而得到融合语境交互感知信息的论元表示;最后,利用带有稀疏约束的张量神经网络捕捉具有篇章关系指示性的深层交互模式,从而提升模型的识别性能.Penn Discourse Treebank(PDTB)语料库上的实验结果表明,本文提出方法的精确率在其四分类上改善了2.36%.

基于宏观语义表示的宏观篇章关系识别方法

宏观篇章分析旨在分析相邻段落或段落群之间的语义联系,是自然语言处理领域其他任务的工作基础。该文研究了宏观篇章分析中的关系识别问题,提出了一个宏观篇章关系识别模型。该模型利用基于词向量的宏观篇章语义表示方法和适用于宏观篇章关系识别的结构特征,从两个层面提高了模型分辨宏观篇章关系的能力。在汉语宏观篇章树库(MCDTB)上的实验表明,该模型在大类分类中F1值达到了68.22%,比基准系统提升了4.17%。

基于数据增强的中文隐式篇章关系识别方法

由于缺乏显式连接词,隐式篇章关系识别是一个具有挑战性的任务。文中提出了一种结合主动学习和多任务学习来间接扩充隐式篇章关系训练数据的隐式篇章关系识别方法,旨在在增强训练数据的同时尽量少地引入伪隐式篇章关系数据中的噪声。首先,基于BERT模型通过主动学习方法的分类不确定性来选择部分显式篇章关系样本;然后,移除显式篇章关系数据中的显式连接词作为伪隐式篇章关系数据;最后,采用多任务学习方法使伪隐式篇章关系数据有助于隐式篇章关系识别。在中文篇章树库(CDTB)上进行的实验的结果显示,相比基准模型,所提方法在宏平均F1、微平均F1值上均得到了提高。

最大熵分类算法在隐式篇章关系识别中的应用

本文深入研究了最大熵分类算法的基本原理,针对计算机自然语言处理领域特点,结合概率统计理论,在隐式篇章关系识别应用中实现了最大熵算法的分类模型,在隐式篇章关系识别中取得了与目前国际先进水平接近的识别率,为下一步研究建立了基准平台。

基于高困惑样本对比学习的隐式篇章关系识别

隐式篇章关系识别是一种自动判别论元语义关系的自然语言处理任务。该任务蕴含的关键科学问题涉及两个方面:其一是准确表征论元语义;其二是基于语义表示,有效地判别论元之间的关系类型。该文将集中在第一个方面开展研究。精准可靠的语义编码有助于关系分类,其根本原因是,编码表示的可靠性促进了正负例样本的可区分性(正例样本特指一对蕴含了“目标关系类”的论元,负例则是一对持有“非目标关系类”的论元)。近期研究显示,集成对比学习机制的语义编码方法能够提升模型在正负例样本上的可辨识性。为此,该文将对比学习机制引入论元语义的表示学习过程,利用“对比损失”驱动正负例样本的“相异性”,即在语义空间中聚合同类正样本,且驱散异类负样本的能力。特别地,该文提出基于条件自编码器的高困惑度负例生成方法,并利用这类负例增强对比学习数据的迷惑性,提升论元语义编码器的鲁棒性。该文使用篇章关系分析的公开语料集PDTB进行实验,实验结果证明,上述方法相较于未采用对比学习的基线模型,在面向对比(Comparison)、偶然(Contingency)、扩展(Expansion)及时序(Temporal)四种PDTB关系类型的二元分类场景中,分别产生了4.68%、4.63%、3.14%、12.77%的F 1值性能提升。

基于深度学习的隐式篇章关系识别综述

隐式篇章关系识别是自然语言处理中一项富有挑战性的任务,旨在判断缺少连接词的两个论元(子句或者句子)之间的语义关系(例如转折)。近年来,随着深度学习在自然语言处理领域的广泛应用,各种基于深度学习的隐式篇章关系识别方法取得了不错的效果,其性能全面超越了早期基于人工特征的方法。文中分三大类对最近的隐式篇章关系识别方法进行讨论:基于论元编码的方法、基于论元交互的方法和引入显式篇章数据的半监督方法。在PDTB数据集上的实验结果显示:1)通过显式地建模论元中词或文本片段之间的语义关系,基于论元交互的方法的性能明显好于基于论元编码的方法;2)引入显式篇章数据的半监督方法能有效地缓解数据稀疏问题,从而进一步提升识别的性能。最后,分析了当前面临的主要问题,并指出了未来可能的研究方向。

基于图卷积神经网络的隐式篇章关系识别

隐式篇章关系识别是篇章关系识别的子任务,其挑战性在于难以学习到具有丰富语义信息和交互信息的论元表示。针对这一难点,该文提出一种基于图卷积神经网络(Graph Convolutional Network,GCN)的隐式篇章关系分类方法。该方法采用预训练语言模型BERT(Bidirectional Encoder Representation from Transformers)编码论元以获取论元表示,再分别拼接论元表示和注意力分数矩阵作为特征矩阵和邻接矩阵,构造基于图卷积神经网络的分类模型,从而根据论元自身信息以及交互信息对论元表示进行调整,以得到有助于隐式篇章关系识别的论元表示。该文利用宾州篇章树库(Penn Discourse Treebank,PDTB)语料进行实验,实验结果表明,该方法在四大类关系上分类性能优于基准模型BERT,且其在偶然(Contingency)关系和扩展(Expansion)关系上优于目前先进模型,F1值分别达到60.70%和74.49%。

基于混合树结构神经网络的隐式篇章关系识别

隐式篇章关系识别的主要挑战是如何表示两个文本单元的语义信息.由于句子的语义信息往往由语法树中的信息焦点(谓词部分)所决定,所以关注信息焦点可以提升篇章关系识别的效果.为了增强信息焦点的作用,引入树状长短时记忆(tree-structured long short-term memory,Tree-LSTM)网络,使用其遗忘门的特性区别对待不同孩子节点的信息.最后利用神经张量网络(neural tensor network,NTN)来计算两个句子语义向量之间的关系.基于PDTB2.0(Penn Discourse Treebank)语料数据进行实验,实验结果表明混合树结构神经网络比传统的RNN模型在大部分关系中的Fscore上提高了3.0%左右.

基于知识蒸馏的隐式篇章关系识别

由于缺少连接词信息,隐式篇章关系识别模型需要基于两个论元(子句或者句子)的语义来推导它们之间的篇章关系,但目前性能还比较低。对于语料标注人员而言,隐式篇章关系的标注是很困难的,他们通常先插入一个合适的连接词用于辅助隐式篇章关系的标注。基于上述情况,文中提出了一种基于知识蒸馏的隐式篇章关系识别方法,其目的是利用语料标注时插入的连接词信息来提高识别的性能。具体地,先构建一个连接词增强的模型用于融合连接词信息,然后基于知识蒸馏的方式把连接词增强模型学到的知识迁移到隐式篇章关系识别模型中。实验结果表明,在常用的PDTB数据集上,所提方法取得了比同类基准方法更好的识别性能。

隐式篇章关系识别研究综述

篇章关系识别作为篇章分析的重要任务之一,是机器翻译、问答系统等自然语言处理任务的基础。具有显式篇章关系的文本中存在对篇章关系有强指示作用的篇章连接词,其识别已经取得较好的效果。而隐式篇章关系的文本中缺乏连接词作为线索,需要根据两个篇章单元的语义推断篇章关系,是目前篇章关系识别的挑战。针对隐式篇章关系识别研究,介绍篇章分析的意义及现在常用的篇章分析理论和语料,阐述隐式篇章关系任务和关键技术,梳理总结相关工作和研究现状。

语义角色标注增强的隐式篇章关系识别

[目的]为了改善因将隐式篇章关系识别(implicit discourse relation recognition,IDRR)描述为文本分类任务,提出了一种新颖的IDRR方法.[方法]将IDRR视为文本生成任务并直接生成篇章单元对的连接词,随后生成的连接词被准确无歧义地映射到唯一篇章关系.具体地,首先设计了可以将无歧义性连接词转化为对应篇章关系的连接词-关系映射表;然后介绍了两种不同的连接词替换策略用于替换训练样例中的歧义性连接词;最后,将IDRR视作一个序列到序列的任务,其中目标端序列由基于语义角色标注增强的篇章单元对和两者之间的连接词组成.[结果]基于英语PDTB和中文CDTB的实验结果表明本文提出的方法达到了最先进的性能.[结论]本文方法创新性地将IDRR视为文本生成任务,并通过序列到序列模型显著提升了隐式篇章关系识别的效果,为隐含信息的精确捕捉提供了新的解决方案.

运用多层注意力神经网络识别中文隐式篇章关系

中文隐式篇章关系识别是一个具有挑战性的任务,其难点在于如何捕获论元的语义信息。该文提出了一个模拟人类双向阅读和重复阅读过程的三层注意力网络模型(TLAN)用于识别中文隐式篇章关系。首先,使用Self-Attention层对论元进行编码;然后,通过细粒度的Interactive Attention层模拟双向阅读过程以生成包含交互信息的论元表示,并且通过非线性变换获得论元对信息的外部记忆;最后,通过包含外部记忆的注意力层来模拟重复阅读过程,在论元对记忆的引导下生成论元的最终表示。在中文篇章树库(CDTB)上进行的隐式篇章关系识别实验结果显示,该文提出的模型TLAN在Micro-F1和Macro-F1上超过了多个基准模型。

基于组合特征的自训练隐式篇章关系的识别技术

信息抽取技术中,隐式篇章关系识别一直是研究难点.针对现有的有监督篇章关系识别方法中需要大量人工标注数据的缺点,提出了用自训练的策略实现半监督的隐式篇章关系的自动识别模型,尝试仅用少量标注样本,却获得和有监督方法相媲美的识别准确率,为未来实时大数据篇章关系识别提供了新的契机.此外,为了进一步提高识别的准确率,还针对词对特征、产生式特征、动词特征等9种篇章关系特征进行特征组合分析,构建候选篇章关系实例的知识表示,对模型进行优化.通过在Penn Discourse Treebank(PDTB2.0)语料库上的实验结果分析表明,该模型比传统有监督识别方法在准确率和F-score上分别提高了5.2%和13.5%.

基于多任务双向长短时记忆网络的隐式句间关系分析

隐式句间关系识别是篇章句间关系识别任务中一个重要的问题。由于隐式句间关系的语料没有较好的特征,目前该任务的识别仍不能达到很好的效果。隐式句间关系的语句和显式句间关系的语句在语义等方面有着一定的联系,为了充分利用这两个任务之间的联系,该论文使用多任务学习的方法,并使用双向长短时记忆(BiLSTM)网络学习语句的相关特征;同时,为充分利用文本的特征,采用融合词嵌入的方法并引入先验知识。与其他基于哈工大的中文篇章级语义关系语料库的实验结果表明,该文方法的平均F1值为53%,提升约13%;平均召回率(Recall)为51%,提升约9%。