融合多窗口特征的词对标记情感三元组抽取

方面情感三元组抽取旨在从句子中抽取方面词、意见词和对应的情感极性。针对目前研究未充分挖掘局部上下文语义信息,缺乏对局部范围内的方面意见词对关联学习,以及遭受错误传播等问题,提出一种融合多窗口特征的词对标记情感三元组抽取模型。该模型利用BERT对句子信息进行处理,获取句子编码特征,采用多窗口特征学习机制学习局部范围内的情感特征关联,并挖掘句子包含的潜在语义信息,使用多头注意力图转换模块将所学习到的特征聚合成标记分布概率,利用改进的词对标记方案标记句子并解码得到三元组。在SemEval-ASTE的四个基准数据集上进行实验分析,相比GTS-BERT模型,所提模型在三元组抽取任务上F1分值分别提高了2.33、6.57、2.97、4.84个百分点。实验结果表明,所提模型可以有效学习局部语义信息,准确标记方面意见跨度,较为精确地提取情感三元组。

结合句法结构和语义信息的方面情感三元组抽取

为解决先前方面情感三元组抽取方法中忽略句法结构和语义信息的问题,提出一种结合句法结构和语义信息的抽取模型。使用BERT预训练模型编码输入语句,同时编码句法结构特征。通过注意力层学习词对间的语义信息。将句法结构特征和语义信息输入图卷积网络,增强对单词间句法结构的学习。通过网格解码生成情感三元组。在lap14、res14、res15、res16数据集上的实验结果表明,该模型在精确率、召回率和F1值上相较其它基线模型有显著提升,有效提升方面情感三元组抽取效果。

结合语法结构和语义信息的情感三元组提取

针对目前大多数方面情感三元组提取方法存在着没有充分考虑语法结构和语义相关性的问题.本文提出一种结合语法结构和语义信息的方面情感三元组提取模型,首先提出使用依赖解析器得到所有依赖弧的概率矩阵构建语法图,提取丰富的语法结构信息.其次利用自注意力机制构建语义图,表示单词与单词之间的语义相关性,从而减低噪声词的干扰.最后设计了一个相互仿射变换层,让模型可以更好地交换语法图和语义图之间的相关特征,提升模型情感三元组提取的表现.在多个公开数据集上进行验证.实验表明,与现有的情感三元组提取模型相比,精确度(P)、召回率(R)和F1值整体都有提高,验证了结合语法结构和语义信息在方面情感三元组提取的有效性.

基于集合预测的方面级情感三元组提取

近年来,基于方面级别的情感分析(ABSA)任务受到越来越多的关注。其中,方面级情感三元组提取(ASTE)是ABSA任务中最新的子任务,其要求同时提取出句子的方面词、观点词并输出对应的情感极性。先前的工作大多采用pipeline方式进行提取,忽略了方面词和观点词之间的联系,且容易产生误差传播的问题。对此,该文提出一种基于集合预测的方法,将方面级情感三元组提取问题转换成集合预测问题,以端到端的方式进行三元组提取。在多个基准数据集上的实验表明,该文提出的模型取得了较为先进的结果。

多特征交互的方面情感三元组提取

方面情感三元组提取是方面级情感分析的子任务之一,旨在提取句子中的方面词、其对应的意见词和情感极性。先前研究集中于设计一种新范式以端到端的方式完成三元组提取任务。然而,这些方法忽略外部知识在模型中的作用,没有充分挖掘和利用语义信息、词性信息以及局部上下文信息。针对上述问题,提出了多特征交互的方面情感三元组提取(MFI-ASTE)模型。首先,该模型通过BERT预训练模型学习句子中的上下文语义特征信息,并使用自注意力机制加强语义特征;其次,使语义特征与所提取到的词性特征交互,二者相互学习,加强词性的组合能力与语义信息;再次,使用多个不同窗口的卷积神经网络提取每个单词的多重局部上下文特征并使用多分门控机制筛选这些多重局部特征;然后,采用双线性层融合提取到的三类外部知识特征;最后,利用双仿射注意力机制预测网格标记并通过特定的解码方案解码三元组。实验结果表明,该模型在四个数据集上的F1值比现有的主流模型分别提升了6.83%、5.60%、0.54%和1.22%。

融合思维链和低秩自适应微调的方面情感三元组抽取

方面情感三元组抽取(ASTE)任务是方面级情感分析的重要子任务之一,传统的监督学习方法在该任务上取得了SOTA或接近SOTA的效果。然而,随着深度神经网络的发展,生成式大型语言模型(LLM)为该任务带来了更多的可能性。目前大多数工作都是直接对LLM进行微调,但是忽略了LLM的幻觉现象,导致性能下降。提出一种融合思维链技术和LLM低秩自适应(Lo RA)微调LFC方法,实现生成式的ASTE新范式,以提升任务性能。在LFC中,首先基于思维链技术,通过人工构造少量推理样本,并利用LLM生成具有推理结构的增强数据集。将增强数据集用于微调Chat GLM3-6B模型的学习。在微调过程中,采用Lo RA微调技术提高在低资源环境下适配ASTE任务的效果。实验结果表明,LFC方法相比于最优的基线模型在Res14、Lap14、Res15和Res164个数据集上的F1值分别提升8.37、12.31、11.07和8.43个百分点,该方法不仅能够准确地识别三元组,而且在一定程度上优化了LLM的幻觉现象。

语义和句法依赖增强的跨度级方面情感三元组抽取

本研究针对目前跨度级别的方面情感三元组抽取模型忽视词性和句法知识的问题且存在三元组冲突的情况,提出了语义和句法依赖增强的跨度级方面情感三元组抽取模型SSES-SPAN (semantic and syntactic enhanced span-based aspect sentiment triplet extraction).首先,在特征编码器中引入词性知识和句法依赖知识,使模型能够更精准地区分文本中的方面词和观点词,并且更深入地理解它们之间的关系.具体而言,对于词性信息,采用了一种加权求和的方法,将词性上下文表示与句子上下文表示融合得到语义增强表示,以帮助模型准确提取方面词和观点词.对于句法依赖信息,采用注意力机制引导的图卷积网络捕捉句法依赖特征得到句法依赖增强表示,以处理方面词和观点词之间的复杂关系.此外,鉴于跨度级别的输入缺乏互斥性的保证,采用推理策略以消除冲突三元组.在基准数据集上进行的大量实验表明,我们提出的模型在效果和鲁棒性方面超过了最先进的方法.

面向在线健康社区的生成式方面级情感分析

[目的/意义]为解决在线健康社区文本中方面实体和评论实体难以对齐的问题,提出了一种基于端到端的生成式方面级情感分析模型BERT-WWM-GPT。[方法/过程]首先,在模型训练阶段通过编码器抽取文本中包含丰富语义信息的特征向量;其次,基于特征向量和标准预测序列在解码器中迭代生成情感三元组,并通过最大似然估计训练模型参数;然后,在模型推理阶段基于文本语义特征向量在解码器生成预测序列;最后,利用规则得到有效的情感三元组表达。[结果/结论]对自建数据集和5份公共数据集进行验证,结果表明BERT-WWM-GPT模型在两个方面级情感分析任务中的F1值分别比基准模型GTS和MuG RoBERTa-large提升了12.25%和7.22%。BERT-WWM-GPT模型能够有效抽取在线健康社区评论中的多重情感三元组,且在其他领域具有优秀的泛化能力。

基于方面感知注意力增强的方面情感三元组抽取

在自然语言处理(NLP)的细粒度情感分析问题中,为探索携带结构偏差的预训练语言模型(PLM)对端到端式情感三元组抽取任务的影响,解决方面语义特征依赖容错率低的问题,结合方面感知注意力机制和图卷积网络(GCN),提出用于方面情感三元组抽取任务的方面感知注意力增强图卷积网络(AE-GCN)模型。首先,在方面情感三元组抽取任务中引入多种类型的关系;其次,采用双仿射注意力机制将这些关系嵌入句子中单词之间的相邻张量,并引入方面感知注意力机制以获取句子注意力评分矩阵,深入挖掘与方面相关的语义特征;再次,GCN通过将单词和关系相邻张量分别视为边和节点,将句子转换为多通道图以学习关系感知节点表示;最后,使用一种有效的词对表示细化策略确定词对是否匹配,以考虑方面和意见抽取的隐含结果。在ASTE-D1基准数据集上的实验结果表明,所提模型在14res、14lap、15res和16res子数据集上的F1值相较于增强型多通道图卷积网络(EMC-GCN)模型提升了0.20、0.21、1.25和0.26个百分点;在ASTE-D2基准数据集上,所提模型在14lap、15res和16res子数据集上的F1值相较于EMC-GCN模型提升了0.42、0.31和2.01个百分点。可见所提模型相较于EMC-GCN模型在精确率和有效性方面有较大改进。

片段级别的双编码器方面情感三元组抽取模型

方面情感三元组抽取(ASTE)是方面级情感分析的子任务之一,旨在识别出句子中所有的方面词及其对应的观点词和情感极性。目前,ASTE任务通过流水线模型或端到端模型完成,前者无法解决三元组方面词重叠问题,且忽视了观点词和情感极性之间的依赖关系;后者将ASTE任务分解为方面词和观点词抽取子任务以及情感极性分类子任务,通过共享编码器进行多任务学习,未区分两个子任务的特征差异,导致特征混淆问题。针对上述问题,提出了片段级别的双编码器方面情感三元组抽取模型(SD-ASTE)。该模型是流水线模型,分为两个模块。第一个模块基于片段抽取方面词和观点词,在片段特征表示中融入片段首尾和长度信息,关注方面词和观点词的边界信息;第二个模块判断方面词-观点词片段对表达的情感极性,采用基于悬浮标记的片段对特征表示方式,侧重于学习三元组各元素之间的依赖关系。模型利用两个独立编码器,分别为两模块提取不同的特征信息。多个数据集上的对比实验结果表明,该模型相较于目前最优的流水线模型和端到端模型具有更优的效果。通过有效性实验,验证了片段特征表示和片段对特征表示以及两个独立编码器的有效性。

融合位置信息的观点三元组情感分析模型

方面级情感分析主要有两大类任务:a)抽取任务,旨在抽取出语句中的方面词及观点词;b)分类任务,旨在分析情感极性。在这两种复合任务的基础上,针对目前方面词与观点词耦合性较差,导致分类任务出错这一问题,提出了融合位置信息的观点三元组情感分析模型OTPM。该模型利用双向长短时记忆网络获得文本表示,接着利用自注意力机制来增强方面词与情感词之间的关联性,之后在多任务框架中进行观点三元组的抽取,同时将抽取出的表示与位置信息进行加权融合,最后利用biaffine评分器分析加权后的方面词与观点词之间的情感依赖关系,并利用stop-on-non-I算法对三元组进行解码输出三元组。在Lap14、Rest14、Rest15、Rest16四个数据集上进行大量实验,结果表明所提模型优于一系列基线模型。

融合语义和句法信息的方面情感三元组抽取

方面情感三元组抽取(ASTE)是方面情感分析中一项极具挑战性的子任务,目的是提取所给句子中的方面项、观点项和对应的情感极性。现有的面向ASTE任务的模型分为流水线模型和端到端模型。针对流水线模型易受到错误传播的影响,且大部分现有端到端模型忽略了句子中丰富的句法信息问题,提出一种语义和句法增强的双通道方面情感三元组抽取模型(SSED-ASTE)。首先,使用BERT(Bidirectional Encoder Representation from Transformers)编码器对上下文编码;其次,使用双向长短期记忆(Bi-LSTM)网络捕捉上下文语义依赖关系;再次,通过2个并行的图卷积网络(GCN)分别使用自注意力机制和依存句法分析提取语义特征和句法特征并融合;最后,使用网格标记方案(GTS)抽取三元组。在4个公开数据集上进行实验分析,与GTS-BERT模型相比,所提模型的F1值分别提升了0.29、1.50、2.93和0.78个百分点。实验结果表明,所提模型可以有效利用句子中隐含的语义信息和句法信息,实现较准确的三元组抽取。

基于方面情感三元组抽取的游客评论大数据细粒度情感分析

目前游客细粒度情感分析的研究多集中于基于主题聚类下的频次统计等的大致分析,缺乏更精准地从每一条评论中抽取所有属性情感特征的细致定量刻画。因此,文章基于国内四大知名旅游电商平台上有关贵州省数百家A级旅游景区的游客评论大数据,建构较大规模的旅游评论方面级情感分析(ABSA)中文标注数据集;采用基于BERT的LCF-AEPC方面情感三元组抽取联合模型,在近8万条主观评论文本集上端到端地实现17万余个方面情感三元组的预测输出;并基于此输出结果进行可视化量化分析,探究游客在景区不同方面以及在不同级别和不同类型景区上的情感特征差异及其原因,构建了包含四类要素的游客情感感知影响因素模型。文章通过人工智能领域的深度学习技术实现ABSA多任务可快速有效地捕捉游客对景区各方面的偏好、需求和意见等信息,将成为旅游领域细粒度情感研究的有益尝试和最新应用。