结合多层注意力和GCN的方面情感三元组抽取

针对传统两阶段管道方法忽略情感三元组元素之间的相互联系,以及存在误差传播等问题,提出一种结合多层注意力机制和图卷积网络的端到端方面情感三元组抽取模型AGGTS.首先,利用依赖关系树构造方面项、观点项与其他词之间的相对距离和依存关系;其次,图卷积网络通过依赖关系树构造的依存关系来建模句子的结构,捕获句子中词之间的语义信息和句法依赖关系,并且引入位置注意力机制和多头注意力机制,对每个方面项、观点项与其上下文词之间进行建模;最终从词对关系标签结果中抽取三元组.实验结果表明,本文方法在4个数据集上的评价指标均取得显著提升,验证了本文方法的有效性.

融合多窗口特征的词对标记情感三元组抽取

方面情感三元组抽取旨在从句子中抽取方面词、意见词和对应的情感极性。针对目前研究未充分挖掘局部上下文语义信息,缺乏对局部范围内的方面意见词对关联学习,以及遭受错误传播等问题,提出一种融合多窗口特征的词对标记情感三元组抽取模型。该模型利用BERT对句子信息进行处理,获取句子编码特征,采用多窗口特征学习机制学习局部范围内的情感特征关联,并挖掘句子包含的潜在语义信息,使用多头注意力图转换模块将所学习到的特征聚合成标记分布概率,利用改进的词对标记方案标记句子并解码得到三元组。在SemEval-ASTE的四个基准数据集上进行实验分析,相比GTS-BERT模型,所提模型在三元组抽取任务上F1分值分别提高了2.33、6.57、2.97、4.84个百分点。实验结果表明,所提模型可以有效学习局部语义信息,准确标记方面意见跨度,较为精确地提取情感三元组。

多特征交互的方面情感三元组提取

方面情感三元组提取是方面级情感分析的子任务之一,旨在提取句子中的方面词、其对应的意见词和情感极性。先前研究集中于设计一种新范式以端到端的方式完成三元组提取任务。然而,这些方法忽略外部知识在模型中的作用,没有充分挖掘和利用语义信息、词性信息以及局部上下文信息。针对上述问题,提出了多特征交互的方面情感三元组提取(MFI-ASTE)模型。首先,该模型通过BERT预训练模型学习句子中的上下文语义特征信息,并使用自注意力机制加强语义特征;其次,使语义特征与所提取到的词性特征交互,二者相互学习,加强词性的组合能力与语义信息;再次,使用多个不同窗口的卷积神经网络提取每个单词的多重局部上下文特征并使用多分门控机制筛选这些多重局部特征;然后,采用双线性层融合提取到的三类外部知识特征;最后,利用双仿射注意力机制预测网格标记并通过特定的解码方案解码三元组。实验结果表明,该模型在四个数据集上的F1值比现有的主流模型分别提升了6.83%、5.60%、0.54%和1.22%。

结合句法结构和语义信息的方面情感三元组抽取

为解决先前方面情感三元组抽取方法中忽略句法结构和语义信息的问题,提出一种结合句法结构和语义信息的抽取模型。使用BERT预训练模型编码输入语句,同时编码句法结构特征。通过注意力层学习词对间的语义信息。将句法结构特征和语义信息输入图卷积网络,增强对单词间句法结构的学习。通过网格解码生成情感三元组。在lap14、res14、res15、res16数据集上的实验结果表明,该模型在精确率、召回率和F1值上相较其它基线模型有显著提升,有效提升方面情感三元组抽取效果。

基于集合预测的方面级情感三元组提取

近年来,基于方面级别的情感分析(ABSA)任务受到越来越多的关注。其中,方面级情感三元组提取(ASTE)是ABSA任务中最新的子任务,其要求同时提取出句子的方面词、观点词并输出对应的情感极性。先前的工作大多采用pipeline方式进行提取,忽略了方面词和观点词之间的联系,且容易产生误差传播的问题。对此,该文提出一种基于集合预测的方法,将方面级情感三元组提取问题转换成集合预测问题,以端到端的方式进行三元组提取。在多个基准数据集上的实验表明,该文提出的模型取得了较为先进的结果。

结合语法结构和语义信息的情感三元组提取

针对目前大多数方面情感三元组提取方法存在着没有充分考虑语法结构和语义相关性的问题.本文提出一种结合语法结构和语义信息的方面情感三元组提取模型,首先提出使用依赖解析器得到所有依赖弧的概率矩阵构建语法图,提取丰富的语法结构信息.其次利用自注意力机制构建语义图,表示单词与单词之间的语义相关性,从而减低噪声词的干扰.最后设计了一个相互仿射变换层,让模型可以更好地交换语法图和语义图之间的相关特征,提升模型情感三元组提取的表现.在多个公开数据集上进行验证.实验表明,与现有的情感三元组提取模型相比,精确度(P)、召回率(R)和F1值整体都有提高,验证了结合语法结构和语义信息在方面情感三元组提取的有效性.

基于对抗训练和片段级别的双向情感三元组抽取模型

方面级情感三元组抽取(Aspect Sentiment Triplet Extraction,ASTE)旨在识别句子中的方面词、观点词及其对应的情感极性。针对现有模型语义理解能力和泛化性不佳的问题,提出了基于对抗训练和片段级别的双向情感三元组抽取模型,预测情感极性时考虑了片段之间的相互作用,使用双仿射分类分析它们之间的情感依赖关系。为了保证上下游任务的一致性,通过SpanBERT(Improving Pre-training by Representing and Predicting Spans)模型得到词向量表征,使用BiGRU(Bidirectional Gated Recurrent Unit)网络进行特征提取,提出使用FGM(Fast Gradient Method)对抗训练算法提高模型的鲁棒性和泛化能力。相较于基线模型,基于对抗训练和片段级别的双向情感三元组抽取模型在4个数据集上的F1分数分别提升了0.85百分点、1.42百分点、2.27百分点和2.85百分点,表明了本文所提方法的可行性。

融合思维链和低秩自适应微调的方面情感三元组抽取

方面情感三元组抽取(ASTE)任务是方面级情感分析的重要子任务之一,传统的监督学习方法在该任务上取得了SOTA或接近SOTA的效果。然而,随着深度神经网络的发展,生成式大型语言模型(LLM)为该任务带来了更多的可能性。目前大多数工作都是直接对LLM进行微调,但是忽略了LLM的幻觉现象,导致性能下降。提出一种融合思维链技术和LLM低秩自适应(Lo RA)微调LFC方法,实现生成式的ASTE新范式,以提升任务性能。在LFC中,首先基于思维链技术,通过人工构造少量推理样本,并利用LLM生成具有推理结构的增强数据集。将增强数据集用于微调Chat GLM3-6B模型的学习。在微调过程中,采用Lo RA微调技术提高在低资源环境下适配ASTE任务的效果。实验结果表明,LFC方法相比于最优的基线模型在Res14、Lap14、Res15和Res164个数据集上的F1值分别提升8.37、12.31、11.07和8.43个百分点,该方法不仅能够准确地识别三元组,而且在一定程度上优化了LLM的幻觉现象。

基于方面感知注意力增强的方面情感三元组抽取

在自然语言处理(NLP)的细粒度情感分析问题中,为探索携带结构偏差的预训练语言模型(PLM)对端到端式情感三元组抽取任务的影响,解决方面语义特征依赖容错率低的问题,结合方面感知注意力机制和图卷积网络(GCN),提出用于方面情感三元组抽取任务的方面感知注意力增强图卷积网络(AE-GCN)模型。首先,在方面情感三元组抽取任务中引入多种类型的关系;其次,采用双仿射注意力机制将这些关系嵌入句子中单词之间的相邻张量,并引入方面感知注意力机制以获取句子注意力评分矩阵,深入挖掘与方面相关的语义特征;再次,GCN通过将单词和关系相邻张量分别视为边和节点,将句子转换为多通道图以学习关系感知节点表示;最后,使用一种有效的词对表示细化策略确定词对是否匹配,以考虑方面和意见抽取的隐含结果。在ASTE-D1基准数据集上的实验结果表明,所提模型在14res、14lap、15res和16res子数据集上的F1值相较于增强型多通道图卷积网络(EMC-GCN)模型提升了0.20、0.21、1.25和0.26个百分点;在ASTE-D2基准数据集上,所提模型在14lap、15res和16res子数据集上的F1值相较于EMC-GCN模型提升了0.42、0.31和2.01个百分点。可见所提模型相较于EMC-GCN模型在精确率和有效性方面有较大改进。

融合语义和句法信息的方面情感三元组抽取

方面情感三元组抽取(ASTE)是方面情感分析中一项极具挑战性的子任务,目的是提取所给句子中的方面项、观点项和对应的情感极性。现有的面向ASTE任务的模型分为流水线模型和端到端模型。针对流水线模型易受到错误传播的影响,且大部分现有端到端模型忽略了句子中丰富的句法信息问题,提出一种语义和句法增强的双通道方面情感三元组抽取模型(SSED-ASTE)。首先,使用BERT(Bidirectional Encoder Representation from Transformers)编码器对上下文编码;其次,使用双向长短期记忆(Bi-LSTM)网络捕捉上下文语义依赖关系;再次,通过2个并行的图卷积网络(GCN)分别使用自注意力机制和依存句法分析提取语义特征和句法特征并融合;最后,使用网格标记方案(GTS)抽取三元组。在4个公开数据集上进行实验分析,与GTS-BERT模型相比,所提模型的F1值分别提升了0.29、1.50、2.93和0.78个百分点。实验结果表明,所提模型可以有效利用句子中隐含的语义信息和句法信息,实现较准确的三元组抽取。

双通道循环网络情感三元组抽取方法研究

传统三元组抽取任务的方面词与意见词的抽取相互关联,采用流水线(Pipeline)或联合(Joint)模型架构会存在误差传递、错误传播等问题.基于上述问题,本文设计基于位置提示的双通道循环网络(Position-prompt dual-channel recurrent neural network,PDRN)模型解决三元组抽取任务.采用预训练BERT模型生成词向量作为模型输入,通过双通道显示交互方法在多个循环中建立同步机制,作为两元组(方面、意见)抽取及配对,使用基于位置提示的BERT-BiLSTM模型进行情感极性判别.在3个三元组抽取数据集进行实验,F1值相较最好的流水线模型和同类联合模型提高了1%~2%,在ASOTE任务上F1值相较基线最高提升了2.9%.

语义和句法依赖增强的跨度级方面情感三元组抽取

本研究针对目前跨度级别的方面情感三元组抽取模型忽视词性和句法知识的问题且存在三元组冲突的情况,提出了语义和句法依赖增强的跨度级方面情感三元组抽取模型SSES-SPAN (semantic and syntactic enhanced span-based aspect sentiment triplet extraction).首先,在特征编码器中引入词性知识和句法依赖知识,使模型能够更精准地区分文本中的方面词和观点词,并且更深入地理解它们之间的关系.具体而言,对于词性信息,采用了一种加权求和的方法,将词性上下文表示与句子上下文表示融合得到语义增强表示,以帮助模型准确提取方面词和观点词.对于句法依赖信息,采用注意力机制引导的图卷积网络捕捉句法依赖特征得到句法依赖增强表示,以处理方面词和观点词之间的复杂关系.此外,鉴于跨度级别的输入缺乏互斥性的保证,采用推理策略以消除冲突三元组.在基准数据集上进行的大量实验表明,我们提出的模型在效果和鲁棒性方面超过了最先进的方法.

融合注意力的方面情感三元组抽取研究

方面情感三元组抽取中,现有的端对端模型大多忽略了方面和观点词间的潜在关系,针对上述问题,提出了一种基于融合注意力的深度学习模型Bi-FA-GTS来抽取方面情感三元组。该模型结合使用了位置注意力和自注意力,便于对目标词与其上下文单词之间进行联合特征向量建模;其次引入了一种网络标记方案,并结合词对关系解码及输出最终三元组。在基准数据集上的实验结果表明,该模型在14lap、15res和16res子数据集上的F1值相比于JET模型提升了2.75、0.43和1.46个百分点,提高了情感三元组抽取的有效性。

结合依存图卷积与文本片段搜索的方面情感三元组抽取

现有基于序列标注或文本生成的三元组抽取模型通常未考虑完整文本片段级别的交互,且忽略了句法知识的应用。为解决上述问题,提出一种基于依存图卷积与文本片段搜索的深度学习模型来联合抽取方面情感三元组。通过预训练语言模型BERT编码层学习句子中每个单词的上下文表达,同时利用图卷积神经网络学习句子单词之间的依存关系和句法标签信息,以捕获远距离的方面词与观点词之间的语义关联关系,并采用文本片段搜索构造候选方面词与观点词及其特征表示,最终使用多个分类器同时进行方面词与观点词抽取及情感极性判断。在ASTE-Data-V2数据集上的实验结果表明,该模型在14res、14lap、15res和16res子集上的F1值相比于JET模型提升了10.61、10.54、4.91和8.48个百分点,具有较高的方面情感三元组抽取效率。

基于MUBTM的方面词情感三元组抽取方法研究

方面词情感三元组抽取旨在从评论文本中识别方面词、评论观点词及情感极性。针对现有研究容易忽略三元组中部分实体与其情感极性在标记空间中的关联关系,并且较易出现三元组边界识别错误的问题,提出一种基于表格填充的多类别统一及边界标记模型(MUBTM)。首先,采用双仿射注意力机制学习词对间的交互,并构建多类别统一标记空间;然后,利用标记空间的对称性结构化约束与级联二进制边界约束,限制词对间的概率分布;最后,根据子元素在统一标记空间中结构为正方形或矩形的特性,逐步解码生成方面词情感三元组。实验结果表明,与其他基线模型相比,本模型在方面词情感三元组抽取上的F1值有显著提升,表明了所提出方法的可行性。

片段级别的双编码器方面情感三元组抽取模型

方面情感三元组抽取(ASTE)是方面级情感分析的子任务之一,旨在识别出句子中所有的方面词及其对应的观点词和情感极性。目前,ASTE任务通过流水线模型或端到端模型完成,前者无法解决三元组方面词重叠问题,且忽视了观点词和情感极性之间的依赖关系;后者将ASTE任务分解为方面词和观点词抽取子任务以及情感极性分类子任务,通过共享编码器进行多任务学习,未区分两个子任务的特征差异,导致特征混淆问题。针对上述问题,提出了片段级别的双编码器方面情感三元组抽取模型(SD-ASTE)。该模型是流水线模型,分为两个模块。第一个模块基于片段抽取方面词和观点词,在片段特征表示中融入片段首尾和长度信息,关注方面词和观点词的边界信息;第二个模块判断方面词-观点词片段对表达的情感极性,采用基于悬浮标记的片段对特征表示方式,侧重于学习三元组各元素之间的依赖关系。模型利用两个独立编码器,分别为两模块提取不同的特征信息。多个数据集上的对比实验结果表明,该模型相较于目前最优的流水线模型和端到端模型具有更优的效果。通过有效性实验,验证了片段特征表示和片段对特征表示以及两个独立编码器的有效性。

面向在线健康社区的生成式方面级情感分析

[目的/意义]为解决在线健康社区文本中方面实体和评论实体难以对齐的问题,提出了一种基于端到端的生成式方面级情感分析模型BERT-WWM-GPT。[方法/过程]首先,在模型训练阶段通过编码器抽取文本中包含丰富语义信息的特征向量;其次,基于特征向量和标准预测序列在解码器中迭代生成情感三元组,并通过最大似然估计训练模型参数;然后,在模型推理阶段基于文本语义特征向量在解码器生成预测序列;最后,利用规则得到有效的情感三元组表达。[结果/结论]对自建数据集和5份公共数据集进行验证,结果表明BERT-WWM-GPT模型在两个方面级情感分析任务中的F1值分别比基准模型GTS和MuG RoBERTa-large提升了12.25%和7.22%。BERT-WWM-GPT模型能够有效抽取在线健康社区评论中的多重情感三元组,且在其他领域具有优秀的泛化能力。