基于螺旋注意力网络的方面级别情感分析模型

方面级别情感分析是一项细粒度的情感分类任务,旨在确定特定方面的情感极性。以往的方法大都是基于方面或上下文向量的平均值来学习上下文或方面词的注意力权重,但当方面词和上下文较长时,这种方法可能会导致信息丢失。该文提出了一种建立在BERT表示上的螺旋注意力网络(BHAN)来解决这一问题,模型中的螺旋注意力机制与之前注意力机制不同的是,基于方面词得到加权后的上下文表示后,用这个新的表示计算方面词的权重,然后用这个新的方面词的表示重新计算上下文的权重,如此循环往复,上下文和方面词的表示会得到螺旋式的提高。该文在2014年SemEval任务4和Twitter数据集上进行了模型评估,实验结果表明,其性能超过了之前最佳模型的结果。

基于BAGCNN的方面级别情感分析研究

【目的】解决传统方面级别情感分析模型在词嵌入过程中未将上下文与方面词信息融合、需以复杂的下游结构提取特征等问题。【方法】提出一种基于BERT的注意力门控卷积模型(BAGCNN),该模型由预训练BERT模型生成融合上下文语义的文本和方面词特征表示,并引入多头自注意力机制解决方面词长距离依赖问题,最后利用门控卷积网络并行地选择性提取与方面词信息相关的多层次上下文特征。【结果】实验结果表明,与使用循环神经网络中效果最好的基准模型相比,本文模型精度在Restaurant、Laptop和Twitter三个数据集上分别提升4.24、4.01和3.89个百分点,且模型下游并行结构尺寸减小了1.27MB。【局限】本文模型在文本长度差异大的数据集中分类效果较差。【结论】在BERT和多头自注意力机制辅助下,BAGCNN模型中门控卷积网络可有效过滤与方面词无关的上下文信息。

基于双通道语义差网络的方面级别情感分类

方面级别情感分类旨在分析一个句子中不同方面词的情感极性。先前的研究在文本表示上,难以产生依赖于特定方面词的上下文表示;在语义特征分析上,忽略了方面词的双侧文本在整体语义上与方面词情感极性之间具备不同关联度这一特征。针对上述问题,该文设计了一种双通道交互架构,同时提出了语义差这一概念,并据此构建了双通道语义差网络。双通道语义差网络利用双通道架构捕捉相同文本中不同方面词的上下文特征信息,并通过语义提取网络对双通道中的文本进行语义特征提取,最后利用语义差注意力增强模型对重点信息的关注。该文在SemEval2014的Laptop和Restaurant数据集以及ACL的Twitter数据集上进行了实验,分类准确率分别达到了81.35%、86.34%和78.18%,整体性能超过了所对比的基线模型。