基于交替注意力机制和图卷积网络的方面级情感分析模型

方面级情感分析旨在预测给定文本中特定目标的情感极性。针对忽略方面词和上下文之间的句法关系和平均池化带来的注意力差异性变小的问题,提出一种基于交替注意力(AA)机制和图卷积网络(GCN)的方面级情感分析模型(AA-GCN)。首先,利用双向长短期记忆(Bi-LSTM)网络对上下文和方面词进行语义建模;其次,通过基于句法依存树的GCN学习位置信息和依赖关系,再利用AA机制进行多层次交互学习,自适应地调整对目标词的关注度;最后,拼接修正后的方面特征和上下文特征,得到最终的分类依据。相较于基于目标依赖的图注意力网络(TDGAT),所提模型在4个公开数据集上准确率提升了1.13%~2.67%,在5个公开数据集上F1值提升了0.98%~4.89%,验证了利用句法关系和提升关键词关注度的有效性。

多模态方面级情感分析的多视图交互学习网络

以往的多模态方面级情感分析方法只利用预训练模型的一般文本和图片表示,对方面和观点词相关性的识别不敏感,且不能动态获取图片信息对单词表示的贡献,因而不能充分识别多模态与方面之间的相关性。针对上述问题,提出一种多视图交互学习网络模型。将句子从上下文和句法两个视图上分别提取特征,以便在多模态交互时充分利用到文本的全局特征;对文本、图片和方面之间的关系进行建模,使模型实现多模态交互;同时融合不同模态的交互表示,动态获取视觉信息对文本中每个单词的贡献程度,充分提取模态与方面之间的相关性。最后通过全连接层和Softmax层获取情感分类结果。在两个数据集上进行实验,实验结果表明该模型能够有效增强多模态方面级情感分类的效果。

基于语序知识的双通道图卷积网络方面级情感分析

当前大多数基于图卷积网络的方面级情感分析方法利用文本的句法知识、语义知识、情感知识构建文本依赖,但少有研究利用文本语序知识构建文本依赖,导致图卷积网络不能有效地利用文本语序知识引导方面项学习上下文情感信息,从而限制了其性能。针对上述问题,提出基于语序知识的双通道图卷积网络(dual-channel graph convolutional network with word-order knowledge,WKDGCN)模型,该模型由语序图卷积网络(word-order graph convolutional network,WoGCN)和情感知识结合语义知识增强的句法图卷积网络(sentiment and attention-enhanced graph convolutional network,SAGCN)组成。具体地,WoGCN基于文本的语序知识构建图卷积网络,由文本的语序依赖引导方面项特征学习上下文情感信息;SAGCN利用SenticNet中的情感知识结合注意力机制增强句法依赖,利用增强后的句法依赖构建图卷积网络,以此引导方面项特征学习上下文情感信息;最后融合两个图卷积网络的特征用于情感分类。此外,设计了一种权重分配策略,在放大方面项权重的同时保持上下文权重一致,避免错误的计算方面项特征与重要特征的语义相关性。在多个公开数据集上的实验结果表明,所提方法优于对比模型。

面向目标交互图神经网络的多模态方面级情感分析

对于多模态方面级情感分析任务,除了需要提取出文本和图像的表示,还需要将它们与方面语义信息相结合处理。然而,以往的相关方法对方面与文本和图像信息之间的交互处理不够充分,即使使用注意力机制建立起模态全局之间的关联,也难以在细粒度表达出它们的交互。为了充分进行多模态之间细粒度上的信息交互,提出一种面向目标交互图神经网络,围绕文本、图像和方面三者的关系建模,采用交叉注意力获取面向方面目标的文本和图像全局表示;建立多模态交互图,以连接不同模态的局部及全局表示节点;使用图注意力网络在粗细两个粒度上充分融合特征。在两个基准数据集上进行实验,结果表明该模型相比于仅使用注意力机制的模型,具有更佳的情感分类效果。

融合双图卷积与门控线性单元的方面级情感分析模型

方面级情感分析旨在确定句子中给定方面的情感极性。现有的基于图神经网络的方面级情感分析存在以下2个方面的不足:忽略了不同类型的句法依存关系和语料库中的词共现信息,以及不能准确地控制情感信息流向给定方面。针对以上问题,提出融合双图卷积与门控线性单元(GLU)的方面级情感分析模型。该模型首先采用全局词汇图来编码语料库中的词共现信息,在词汇图和句法图上利用分类概括结构来区分各种词共现频率和不同类型的句法依存关系。然后分别在2个图上进行双层卷积,继而使用Bi Affine变换模块作为桥梁,在2个图卷积网络模块之间有效地交换相关特征,从而有效地融合句法信息和词汇信息。最后利用GLU控制情感信息流向给定方面,使模型可以更专注地分析与该方面相关的情感信息,避免不相关的情感信息影响对给定方面的情感分析结果,从而提高分析的准确性。实验结果表明,在Twitter、Laptop14、Restaurant15和Restaurant16数据集上,该模型的准确率分别达到74.82%、77.61%、82.29%和89.81%,F1值分别达到72.97%、73.52%、67.72%和73.37%,方面级情感分类效果明显优于其他基线模型。

多源知识融合的方面级情感分析模型

方面级情感分析(ABSA)是一项细粒度情感分析任务,其目的是针对评论语句中出现的特定方面给出对应的情感极性。现有的基于深度学习的ABSA方法大多侧重于评论语句语义和句法的挖掘,往往忽略了评论语句可能涉及的概念知识和情感程度信息。针对此问题,提出一种融合多源知识的神经网络模型,通过句法依赖揭示句子的结构框架、词共现捕捉单词之间的语义联系、情感网络和概念图谱的嵌入为模型提供情感和背景知识,共同实现评论语句上下文与评价方面的增强表示,并通过双交互注意力模式实现评论语句上下文与评价方面的协调优化。通过在4个公开数据集上的实验验证,该模型在ABSA任务中,准确率分别达到了75.00%、77.90%、81.55%、90.10%,与基准模型相比均有所提高。研究成果不仅验证了多源知识融合在ABSA任务中的有效性,也为未来的研究提供了新的思路和方法。

用于方面级情感分析的多信息增强图卷积网络

方面级情感分析旨在预测句子中特定方面的情感极性。然而,现阶段的研究依然存在语义信息不充分利用的问题,一方面大多数现有工作侧重于学习上下文词到方面词之间的依存信息,没有充分利用句子的语义信息;另一方面现有研究没有专注于依存树的语法构建,从而没有充分利用语法结构信息去补充语义信息。针对以上问题,提出多信息增强图卷积神经网络(MIE-GCN)模型。主要包括两部分:一是通过方面感知注意力、自注意力和外部常识形成多信息融合层充分利用语义信息;二是根据单词间不同的语法距离构造句子的语法掩码矩阵,通过获得全面语法结构信息来补充语义信息。利用图卷积神经网络增强节点表示。在基准数据集上的实验结果表明,提出的模型均比对比模型有一定的提升。

基于依赖类型剪枝的双特征自适应融合网络用于方面级情感分析

现有的模型将基于依赖树的图神经网络用于方面级情感分析,一定程度上提升了模型的分类性能。然而,由于依赖解析技术的限制,语法解析结果的不精确导致依赖树存在大量噪声,使得模型的性能提升有限。此外,一些句子本身并不符合标准的句法结构。以往的研究以同样的置信度利用句法信息和语义信息,没有充分考虑它们对于确定方面词极性的贡献的不同,导致模型在相应的数据集上性能较差。为了克服这些困难,文中提出了一种基于依赖类型剪枝的双特征自适应融合网络。具体来说,该模型使用一种新型的混合方法,命名为依赖关系类型剪枝和邻接矩阵平滑,来缓解句法解析产生的噪声。此外,该模型通过双特征自适应融合模块充分考虑句子的句法信息的可用程度,以一种更灵活的方式将句法特征和语义特征结合起来用于方面级情感分析。在5个公开可用的数据集上进行广泛的实验,结果证明了该方法明显优于基线模型。

结合多粒度视图动态融合的多模态方面级情感分析

为了解决以往多模态方面级情感分析研究中存在的特征提取不充分、数据噪声未被有效处理以及多模态数据中的复杂交互被忽视等问题,提出了一种多粒度视图动态融合模型(multi-granularity view dynamic fusion model,MVDFM)。从粗粒度和细粒度两个视角,对文本和图像数据进行向量化编码,以便充分捕捉数据特征,增强模型信息表达能力;提取文本、图像的多粒度视图特征,并设计动态门控自注意力机制,对细粒度级的文本、图像视图进行降噪,进一步保证特征提取质量;为了挖掘不同粒度上多视图之间的互补性和一致性,提出一种三视图分解高阶池化机制,对多粒度视图特征进行两阶段动态融合,得到最终的目标方面词情感极性。实验结果表明,该模型在公共数据集Twitter-2015和Twitter-2017上的准确率和F1值分别达到了78.69%、74.48%以及72.77%、71.61%,相较于最优基线模型分别提升了0.55、0.88个百分点,以及1.67、2.45个百分点。说明该方法能够充分利用多模态数据中包含的深层语义信息,并有效挖掘与目标方面词相关的重要信息,从而提高方面级情感预测效果。

融合双通道的语义信息的方面级情感分析

针对方面级情感分析任务中语义信息难以提取以及方面词信息难以和上下文信息相关联的问题,提出一种融合双通道的语义信息模型(FDCS)。通过BERT预训练模型搭建两个通道获取不同层次的语义信息,一个是全局信息通道,另一个是句子信息通道;使用语义注意力融合双通道中不同层次的语义信息,将融合后的语义信息再次分别融入全局信息和句子信息;根据每个通道语义信息的不同分别提取相应的特征信息。在3个基准数据集上的实验结果表明,该模型的性能优于其它模型。

基于双句法交互图注意力网络的方面级情感分析

为减少利用未处理的短语树引入的关于方面词错误的句法信息,提出一种双句法交互图注意力网络模型。在现有短语树的基础上通过特定的句法拆分获得面向方面的短语子树,在此基础上,在短语树与依赖树之间利用各自的句法特点建立句法信息的交互通道,有效结合短语树与依赖树两棵句法树产生的句法信息。在3个公共数据集上的充分实验结果表明,双句法交互图注意力网络模型均优于当前的主流方法,验证了模型的有效性。

融合词法句法信息的方面级情感分析模型

为解决现有方面级情感分析方法缺乏句法约束和词义信息的问题,将句法依存树和知识图谱融合起来对句子编码,提出一种词法句法相结合的图神经网络模型。利用图神经网络分别提取句法依存树中的句法信息和知识图谱中的词法信息,经过位置编码模块和掩码加权模块捕捉重要性更高的单词;将两种特征进行结合获得融合句法词法信息的文本表示,进行情感分类。在3个公开数据集上的实验结果验证了该模型的有效性。

基于句法依赖增强图的方面级情感分析

方面级情感分析旨在分析句子中特定方面的情感极性,现有研究侧重于利用图神经网络建模上下文与方面的依赖信息,忽略了对上下文中情感词及其词性的挖掘和利用。为此,提出一种基于句法依赖的增强图(syntactic dependency enhancement graph, SDEG)模型,在原始句法依赖图上引入情感知识和词性信息,增强情感词权重和相关词性单词在上下文中的作用。使用双向长短期记忆网络和卷积神经网络捕捉句子的重点语义信息,通过图卷积神经网络建模句法依赖增强图,通过交互注意力机制生成特定方面的上下文语义和语法表示以进行情感极性分类。在多个公共基准数据集上的实验结果表明,所提模型在性能上有明显提升。

融合注意力机制的胶囊网络方面级情感分析

方面级情感分析旨在明确文本中关于特定方面的情感极性。针对句中方面词由复杂词组组成造成方面情感极性判断错误的问题,论文提出了一种融合注意力机制的胶囊网络方面级情感分析模型。模型首先通过双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)提取序列语义信息,使用N-gram模型对序列语义信息中的目标方面进行编码,然后利用交互注意力机制学习方面词和上下文之间的注意力,将最终生成的文本表示接入融合方面特征表示的胶囊网络进行分类,得到文本方面级的情感分类结果。模型利用胶囊网络有效提取部分与整体关系特征的能力,融合N-gram模型提取到的方面特征变换矩阵,改进了传统动态路由方法,增强了模型对方面情感极性的判断能力。该模型在SemEval-2014餐馆数据集和笔记本数据集上与多个模型进行了对比分析,实验结果显示该模型在两个数据集上的精确度达到了78.4%和72.4%,F1分数分别为0.687和0.668,证明融合交互注意力机制的胶囊网络模型在方面级情感分析任务方面具有较强的分类效果。

基于多依赖图和知识融合的方面级情感分析模型

方面级情感分析存在以下问题:句法依赖解析方式单一,语法信息的提取和利用不完善;外部知识库使用有限,无法提供足以判断情感的背景知识与信息;引入的知识过多,导致结论出现偏差.为此提出新的方面级情感分析模型,使用2种不同的句法解析方式对句子构建2种句法依赖图.依据外部情感知识构建情感关系图,引入概念知识图谱增强句子中的方面词本体,构建与经过概念知识图谱增强的句子对应的可见矩阵.使用双通道图卷积神经网络处理依赖图、情感关系图与可视矩阵,融合依赖图与情感关系图,对特定方面的特征表示进行语义、句法双交互.实验结果表明,所提模型在多个数据集上的准确率和宏F1值均显著优于主流模型.

基于方面-词性感知的方面级情感分析

方面级情感分析是自然语言处理的研究热点之一,其任务目的是预测句子中给定方面的情感极性。目前已有研究大多忽略了方面词和特定词性单词在过滤情感极性相关上下文语义信息和理解上下文语法信息中的作用。为此,提出一种基于方面-词性感知的图卷积网络ASP_POSGCN。采用双向长短期记忆网络建模上下文和词性信息,经由门控机制筛选方面词相关上下文语义信息,再使用词性信息隐藏层状态进一步过滤;同时设计方面-词性感知矩阵算法,根据不同词性单词对方面词情感极性的贡献重构句子原始依存关系以获取重构依存句法图,将原始依存句法图和重构依存句法图应用于双通道图卷积网络和多图感知机制;最后,使用过滤后的上下文语义信息与双通道图卷积网络的输出计算注意力得到最终分类表示。实验结果表明,该模型在Twitter、Laptop14、Restaurant14和Restaurant164个公开数据集上的准确率分别为74.57%、79.15%、83.84%、91.23%,F1值分别为72.59%、75.76%、77.00%、77.11%,与传统方面级情感分析基准模型相比均有提升,有助于方面级的情感极性分类。

基于位置增强词向量和GRU-CNN的方面级情感分析模型研究

方面级情感分析旨在判断一段文本中特定方面词的情感倾向,其核心问题是方面词的上下文如何准确表征。与现有研究主要关注注意力机制的改进不同,该文从词语表征和上下文编码模型两个方面进行改进。在词语表征方面,通过BERT模型和位置度量公式获得增强的词向量表示;在上下文编码模型方面,使用GRU-CNN网络提取文本语义特征。在SemEval2014 Task4数据集上的实验表明,提出的模型在Restaurant和Laptop领域中的准确率分别达到了85.54%和80.35%,证实了所提出模型的有效性。

面向方面级情感分析的多视图表示模型

面向特定方面的用户评论细粒度情感分析是当前自然语言处理领域一个热门的研究话题,针对评论语句在内容表达和句法结构上的灵活性,综合运用词性、句法、语义等知识增强评论语句的特征表示是当前一种主要的研究思路。基于此,提出一种多视图融合表示的图卷积网络模型。该模型通过自注意力和特定方面注意力,学习得到评论语句基于上下文的增强表示;分别利用句法依赖信息和词共现信息,通过图卷积操作得到评论语句基于句法和基于语义的两种不同表示;在获得三种不同视图表示的基础上设计了一种分层融合方式,通过对三种表示的不同组合与卷积操作实现不同视图表示间的信息共享与互补。五个公开数据集上的实验结果表明该模型较现有模型取得了更好的性能。

面向方面级情感分析的交互式关系图注意力网络

方面级情感分析领域主要采用基于注意力机制的神经网络模型,这类模型忽略了方面词与观点词之间的依存关系和方面词与上下文词之间的距离,导致该类模型情感分类结果不够精确。为了解决上述问题,建立一种交互式关系图注意力网络(RI-GAT)模型。首先,通过长短期记忆(LSTM)网络学习句子的语义特征;然后,将学习的语义特征结合句子的位置信息生成新的特征;最后,在新的特征中提取各方面词和观点词之间的依存关系,实现对句法依存信息和位置信息的高效利用。在Laptop、Restaurant和Twitter数据集上的实验结果表明,相较于次优的动态多通道图卷积网络(DM-GCN),RI-GAT模型分类准确率(Acc)提高了0.67、1.65和1.36个百分点,说明了RI-GAT模型可以更好地建立方面词和意见词之间的联系,使得情感分类更加精确。

面向方面级情感分析的双通道图卷积网络

当前大多数方面级情感分析通过在句法依赖树上构建图神经网络,从句法依赖树上聚合方面项与上下文之间的情感信息,缺乏对文本语义相关性以及文本中情感知识的挖掘。为此,提出一种融合语义信息和文本自身情感信息的双通道图卷积神经网络(Dual-Channel Graph Convolutional Networks,DC-GCN)模型,该模型基于具有上下文语义相信息的句法依赖图(Sentiment-relationship Graph,SrG)和情感依赖图(Sentiment Graph,SeG)构建。具体来说:首先,使用注意力机制捕获文本的语义相关性,并将其融入句法依赖,设计了一个具有上下文语义信息的句法依赖图(SrG);其次,整合SenticNet词典中单词的情感信息构建了一个文本情感依赖图(SeG);最后,分别基于SrG和SeG构建单通道图卷积神经网络,再将两个单通道图卷积网络融合成双通道图卷积神经网络,以融合文本的具有语义信息的句法特征和文本自身的情感特征。在四个公开数据集(Twitter,Rest14,Lap14和Rest16)上取得了比对比模型更好的效果,其中文中模型在Marco-F1值上分别高出对比模型0.95百分点、1.24百分点、0.62百分点和2.75百分点。