基于交替注意力机制和图卷积网络的方面级情感分析模型

方面级情感分析旨在预测给定文本中特定目标的情感极性。针对忽略方面词和上下文之间的句法关系和平均池化带来的注意力差异性变小的问题,提出一种基于交替注意力(AA)机制和图卷积网络(GCN)的方面级情感分析模型(AA-GCN)。首先,利用双向长短期记忆(Bi-LSTM)网络对上下文和方面词进行语义建模;其次,通过基于句法依存树的GCN学习位置信息和依赖关系,再利用AA机制进行多层次交互学习,自适应地调整对目标词的关注度;最后,拼接修正后的方面特征和上下文特征,得到最终的分类依据。相较于基于目标依赖的图注意力网络(TDGAT),所提模型在4个公开数据集上准确率提升了1.13%~2.67%,在5个公开数据集上F1值提升了0.98%~4.89%,验证了利用句法关系和提升关键词关注度的有效性。

多模态方面级情感分析的多视图交互学习网络

以往的多模态方面级情感分析方法只利用预训练模型的一般文本和图片表示,对方面和观点词相关性的识别不敏感,且不能动态获取图片信息对单词表示的贡献,因而不能充分识别多模态与方面之间的相关性。针对上述问题,提出一种多视图交互学习网络模型。将句子从上下文和句法两个视图上分别提取特征,以便在多模态交互时充分利用到文本的全局特征;对文本、图片和方面之间的关系进行建模,使模型实现多模态交互;同时融合不同模态的交互表示,动态获取视觉信息对文本中每个单词的贡献程度,充分提取模态与方面之间的相关性。最后通过全连接层和Softmax层获取情感分类结果。在两个数据集上进行实验,实验结果表明该模型能够有效增强多模态方面级情感分类的效果。

基于语序知识的双通道图卷积网络方面级情感分析

当前大多数基于图卷积网络的方面级情感分析方法利用文本的句法知识、语义知识、情感知识构建文本依赖,但少有研究利用文本语序知识构建文本依赖,导致图卷积网络不能有效地利用文本语序知识引导方面项学习上下文情感信息,从而限制了其性能。针对上述问题,提出基于语序知识的双通道图卷积网络(dual-channel graph convolutional network with word-order knowledge,WKDGCN)模型,该模型由语序图卷积网络(word-order graph convolutional network,WoGCN)和情感知识结合语义知识增强的句法图卷积网络(sentiment and attention-enhanced graph convolutional network,SAGCN)组成。具体地,WoGCN基于文本的语序知识构建图卷积网络,由文本的语序依赖引导方面项特征学习上下文情感信息;SAGCN利用SenticNet中的情感知识结合注意力机制增强句法依赖,利用增强后的句法依赖构建图卷积网络,以此引导方面项特征学习上下文情感信息;最后融合两个图卷积网络的特征用于情感分类。此外,设计了一种权重分配策略,在放大方面项权重的同时保持上下文权重一致,避免错误的计算方面项特征与重要特征的语义相关性。在多个公开数据集上的实验结果表明,所提方法优于对比模型。

结合句法增强与图注意力网络的方面级情感分类

方面级情感分类旨在识别给定特定方面文本的情感极性,在本领域中,将图神经网络与句法依赖解析相结合是当下热门的研究方向之一,此类方法通过句法解析捕捉句子中词与词之间的关系,依此构建图结构,输入图神经网络中得到情感极性。若句法解析器出现解析错误,将会对以图为基础的图神经网络模型产生巨大影响。为了增强解析器生成的句法依赖树的解析结果,文中提出了一种句法增强图注意力网络,该网络通过融合多个解析器的解析结果,提高句法依赖解析精度,得到更精准的依赖关系句法图;在图注意力网络中使用密集连接机制捕获更丰富的特征,更适配于增强后的句法图,同时引入方面注意力机制捕获方面语义特征。实验结果验证了句法增强方法的有效性,在3个基准数据集上的分类准确度都有所提高,在方面级情感分析领域具有较好的表现。

融合情感增强与句法特征的卷烟消费者评价方面级情感分析

为了解消费者对卷烟产品不同属性的情感信息,帮助烟草企业了解消费者评价及情感倾向,指导产品开发和市场营销决策,该文利用爬虫采集2010—2022年共18205条卷烟消费者评价数据,基于预训练模型(BERT)和双向长短时记忆网络(Bi-LSTM)对文本进行特征提取,结合句法依赖树获取语义间关系,建立融合情感增强和句法特征的方面级情感分类模型BAGCN,将BAGCN模型的分类结果与其他4种方法进行对比。结果显示,BAGCN模型在方面级情感分类效果最优,准确率和F1值达到79.49%和75.26%,BAGCN的各模块对最终的分类效果均有贡献。通过方面级情感分析发现,消费者更关注卷烟产品的价格和口感属性,对价格方面的评价多为消极情感,而口感方面的情感分布较为均衡,消费者对外观和品控方面的评价相对积极。

面向目标交互图神经网络的多模态方面级情感分析

对于多模态方面级情感分析任务,除了需要提取出文本和图像的表示,还需要将它们与方面语义信息相结合处理。然而,以往的相关方法对方面与文本和图像信息之间的交互处理不够充分,即使使用注意力机制建立起模态全局之间的关联,也难以在细粒度表达出它们的交互。为了充分进行多模态之间细粒度上的信息交互,提出一种面向目标交互图神经网络,围绕文本、图像和方面三者的关系建模,采用交叉注意力获取面向方面目标的文本和图像全局表示;建立多模态交互图,以连接不同模态的局部及全局表示节点;使用图注意力网络在粗细两个粒度上充分融合特征。在两个基准数据集上进行实验,结果表明该模型相比于仅使用注意力机制的模型,具有更佳的情感分类效果。

语义和句法双增强的交互式方面级情感分析

针对目前研究存在的语义和句法信息提取不充分以及忽略二者交互的问题,提出一种利用交互注意力机制融合语义和句法信息的方面级情感分析模型。将方面间依赖关系与局部语义融合,获得综合的全局语义信息,将全局与局部信息进行交互得到更深层的语义信息;利用改进的图卷积网络增强模型提取上下文句法信息的能力;使用多头交互注意力完成方面词与上下文之间以及增强语义和句法之间的交互。为验证模型的有效性,在Laptop14、Restaurat14和Twitter基准数据集上进行实验,实验结果表明,所提模型取得的性能优于比较方法。

融合双图卷积与门控线性单元的方面级情感分析模型

方面级情感分析旨在确定句子中给定方面的情感极性。现有的基于图神经网络的方面级情感分析存在以下2个方面的不足:忽略了不同类型的句法依存关系和语料库中的词共现信息,以及不能准确地控制情感信息流向给定方面。针对以上问题,提出融合双图卷积与门控线性单元(GLU)的方面级情感分析模型。该模型首先采用全局词汇图来编码语料库中的词共现信息,在词汇图和句法图上利用分类概括结构来区分各种词共现频率和不同类型的句法依存关系。然后分别在2个图上进行双层卷积,继而使用Bi Affine变换模块作为桥梁,在2个图卷积网络模块之间有效地交换相关特征,从而有效地融合句法信息和词汇信息。最后利用GLU控制情感信息流向给定方面,使模型可以更专注地分析与该方面相关的情感信息,避免不相关的情感信息影响对给定方面的情感分析结果,从而提高分析的准确性。实验结果表明,在Twitter、Laptop14、Restaurant15和Restaurant16数据集上,该模型的准确率分别达到74.82%、77.61%、82.29%和89.81%,F1值分别达到72.97%、73.52%、67.72%和73.37%,方面级情感分类效果明显优于其他基线模型。

多源知识融合的方面级情感分析模型

方面级情感分析(ABSA)是一项细粒度情感分析任务,其目的是针对评论语句中出现的特定方面给出对应的情感极性。现有的基于深度学习的ABSA方法大多侧重于评论语句语义和句法的挖掘,往往忽略了评论语句可能涉及的概念知识和情感程度信息。针对此问题,提出一种融合多源知识的神经网络模型,通过句法依赖揭示句子的结构框架、词共现捕捉单词之间的语义联系、情感网络和概念图谱的嵌入为模型提供情感和背景知识,共同实现评论语句上下文与评价方面的增强表示,并通过双交互注意力模式实现评论语句上下文与评价方面的协调优化。通过在4个公开数据集上的实验验证,该模型在ABSA任务中,准确率分别达到了75.00%、77.90%、81.55%、90.10%,与基准模型相比均有所提高。研究成果不仅验证了多源知识融合在ABSA任务中的有效性,也为未来的研究提供了新的思路和方法。

用于方面级情感分析的多信息增强图卷积网络

方面级情感分析旨在预测句子中特定方面的情感极性。然而,现阶段的研究依然存在语义信息不充分利用的问题,一方面大多数现有工作侧重于学习上下文词到方面词之间的依存信息,没有充分利用句子的语义信息;另一方面现有研究没有专注于依存树的语法构建,从而没有充分利用语法结构信息去补充语义信息。针对以上问题,提出多信息增强图卷积神经网络(MIE-GCN)模型。主要包括两部分:一是通过方面感知注意力、自注意力和外部常识形成多信息融合层充分利用语义信息;二是根据单词间不同的语法距离构造句子的语法掩码矩阵,通过获得全面语法结构信息来补充语义信息。利用图卷积神经网络增强节点表示。在基准数据集上的实验结果表明,提出的模型均比对比模型有一定的提升。

结合多粒度视图动态融合的多模态方面级情感分析

为了解决以往多模态方面级情感分析研究中存在的特征提取不充分、数据噪声未被有效处理以及多模态数据中的复杂交互被忽视等问题,提出了一种多粒度视图动态融合模型(multi-granularity view dynamic fusion model,MVDFM)。从粗粒度和细粒度两个视角,对文本和图像数据进行向量化编码,以便充分捕捉数据特征,增强模型信息表达能力;提取文本、图像的多粒度视图特征,并设计动态门控自注意力机制,对细粒度级的文本、图像视图进行降噪,进一步保证特征提取质量;为了挖掘不同粒度上多视图之间的互补性和一致性,提出一种三视图分解高阶池化机制,对多粒度视图特征进行两阶段动态融合,得到最终的目标方面词情感极性。实验结果表明,该模型在公共数据集Twitter-2015和Twitter-2017上的准确率和F1值分别达到了78.69%、74.48%以及72.77%、71.61%,相较于最优基线模型分别提升了0.55、0.88个百分点,以及1.67、2.45个百分点。说明该方法能够充分利用多模态数据中包含的深层语义信息,并有效挖掘与目标方面词相关的重要信息,从而提高方面级情感预测效果。

基于依赖类型剪枝的双特征自适应融合网络用于方面级情感分析

现有的模型将基于依赖树的图神经网络用于方面级情感分析,一定程度上提升了模型的分类性能。然而,由于依赖解析技术的限制,语法解析结果的不精确导致依赖树存在大量噪声,使得模型的性能提升有限。此外,一些句子本身并不符合标准的句法结构。以往的研究以同样的置信度利用句法信息和语义信息,没有充分考虑它们对于确定方面词极性的贡献的不同,导致模型在相应的数据集上性能较差。为了克服这些困难,文中提出了一种基于依赖类型剪枝的双特征自适应融合网络。具体来说,该模型使用一种新型的混合方法,命名为依赖关系类型剪枝和邻接矩阵平滑,来缓解句法解析产生的噪声。此外,该模型通过双特征自适应融合模块充分考虑句子的句法信息的可用程度,以一种更灵活的方式将句法特征和语义特征结合起来用于方面级情感分析。在5个公开可用的数据集上进行广泛的实验,结果证明了该方法明显优于基线模型。

融合双通道的语义信息的方面级情感分析

针对方面级情感分析任务中语义信息难以提取以及方面词信息难以和上下文信息相关联的问题,提出一种融合双通道的语义信息模型(FDCS)。通过BERT预训练模型搭建两个通道获取不同层次的语义信息,一个是全局信息通道,另一个是句子信息通道;使用语义注意力融合双通道中不同层次的语义信息,将融合后的语义信息再次分别融入全局信息和句子信息;根据每个通道语义信息的不同分别提取相应的特征信息。在3个基准数据集上的实验结果表明,该模型的性能优于其它模型。

基于双句法交互图注意力网络的方面级情感分析

为减少利用未处理的短语树引入的关于方面词错误的句法信息,提出一种双句法交互图注意力网络模型。在现有短语树的基础上通过特定的句法拆分获得面向方面的短语子树,在此基础上,在短语树与依赖树之间利用各自的句法特点建立句法信息的交互通道,有效结合短语树与依赖树两棵句法树产生的句法信息。在3个公共数据集上的充分实验结果表明,双句法交互图注意力网络模型均优于当前的主流方法,验证了模型的有效性。

融合词法句法信息的方面级情感分析模型

为解决现有方面级情感分析方法缺乏句法约束和词义信息的问题,将句法依存树和知识图谱融合起来对句子编码,提出一种词法句法相结合的图神经网络模型。利用图神经网络分别提取句法依存树中的句法信息和知识图谱中的词法信息,经过位置编码模块和掩码加权模块捕捉重要性更高的单词;将两种特征进行结合获得融合句法词法信息的文本表示,进行情感分类。在3个公开数据集上的实验结果验证了该模型的有效性。

基于句法依赖增强图的方面级情感分析

方面级情感分析旨在分析句子中特定方面的情感极性,现有研究侧重于利用图神经网络建模上下文与方面的依赖信息,忽略了对上下文中情感词及其词性的挖掘和利用。为此,提出一种基于句法依赖的增强图(syntactic dependency enhancement graph, SDEG)模型,在原始句法依赖图上引入情感知识和词性信息,增强情感词权重和相关词性单词在上下文中的作用。使用双向长短期记忆网络和卷积神经网络捕捉句子的重点语义信息,通过图卷积神经网络建模句法依赖增强图,通过交互注意力机制生成特定方面的上下文语义和语法表示以进行情感极性分类。在多个公共基准数据集上的实验结果表明,所提模型在性能上有明显提升。

基于语义-注意力机制的方面级情感分类

现有方面级情感分析研究大多数往往从文本数据本身进行情感分析,而没有充分利用领域知识,忽略了语义依存信息的重要性,使得方面表示受噪声信息影响严重,出现噪声词注意权重高的可能。针对以上问题,结合领域知识,提出了一种剪枝算法和语义-注意力机制相结合的方法(Pruning And Semantic At tention,PASA)针对服务领域特定方面进行情感分类。方法一方面结合领域知识对文本对应的语义依存树进行剪枝实现方面信息降噪,另一方面,通过利用语义-注意力机制进行增强并精确捕获方面的上下文描述信息,从而实现对方面情感极性的判断。为了验证所提出方法的正确性和有效性,在物流数据集、酒店评论数据集及SemEval 2014的Restaurant数据集进行了大量实验,结果表明,所提出的方法相对于其它方法具有明显优势,在垂直领域具有较好的应用前景。

融合注意力机制的胶囊网络方面级情感分析

方面级情感分析旨在明确文本中关于特定方面的情感极性。针对句中方面词由复杂词组组成造成方面情感极性判断错误的问题,论文提出了一种融合注意力机制的胶囊网络方面级情感分析模型。模型首先通过双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)提取序列语义信息,使用N-gram模型对序列语义信息中的目标方面进行编码,然后利用交互注意力机制学习方面词和上下文之间的注意力,将最终生成的文本表示接入融合方面特征表示的胶囊网络进行分类,得到文本方面级的情感分类结果。模型利用胶囊网络有效提取部分与整体关系特征的能力,融合N-gram模型提取到的方面特征变换矩阵,改进了传统动态路由方法,增强了模型对方面情感极性的判断能力。该模型在SemEval-2014餐馆数据集和笔记本数据集上与多个模型进行了对比分析,实验结果显示该模型在两个数据集上的精确度达到了78.4%和72.4%,F1分数分别为0.687和0.668,证明融合交互注意力机制的胶囊网络模型在方面级情感分析任务方面具有较强的分类效果。

基于位置增强词向量和GRU-CNN的方面级情感分析模型研究

方面级情感分析旨在判断一段文本中特定方面词的情感倾向,其核心问题是方面词的上下文如何准确表征。与现有研究主要关注注意力机制的改进不同,该文从词语表征和上下文编码模型两个方面进行改进。在词语表征方面,通过BERT模型和位置度量公式获得增强的词向量表示;在上下文编码模型方面,使用GRU-CNN网络提取文本语义特征。在SemEval2014 Task4数据集上的实验表明,提出的模型在Restaurant和Laptop领域中的准确率分别达到了85.54%和80.35%,证实了所提出模型的有效性。

基于多依赖图和知识融合的方面级情感分析模型

方面级情感分析存在以下问题:句法依赖解析方式单一,语法信息的提取和利用不完善;外部知识库使用有限,无法提供足以判断情感的背景知识与信息;引入的知识过多,导致结论出现偏差.为此提出新的方面级情感分析模型,使用2种不同的句法解析方式对句子构建2种句法依赖图.依据外部情感知识构建情感关系图,引入概念知识图谱增强句子中的方面词本体,构建与经过概念知识图谱增强的句子对应的可见矩阵.使用双通道图卷积神经网络处理依赖图、情感关系图与可视矩阵,融合依赖图与情感关系图,对特定方面的特征表示进行语义、句法双交互.实验结果表明,所提模型在多个数据集上的准确率和宏F1值均显著优于主流模型.