基于双记忆注意力的方面级别情感分类模型

方面级别情感分类的研究目标是针对给定语句所描述对象的特定方面,分析该语句所表达出的情感极性.现有的解决方案中,基于注意力机制的循环神经网络模型和多层模型性能表现较好,二者都借助了深度网络和外部记忆做注意力调优,但实验结果表明这些模型在处理复杂语句时的性能不够理想.本文提出一种基于双记忆注意力机制的方面级别情感分类模型,基本设计思想是借助循环神经网络的序列学习能力得到语句编码,并构造相应的注意力机制从语句编码中提取出关于给定方面词的情感表达.为此,构造了两个外部记忆:陈述性记忆和程序性记忆,分别用于捕获语句中与给定方面词相关的词级别和短语级别信息,并设计了一个分段解码器,用于从相关记忆中选择并提取情感语义信息.为验证模型的有效性,在三个基准数据集上进行了测试,包括SemEval 2014的Laptop和Restaurant数据集和一组常用的Twitter数据集,实验结果表明,本文提出的模型在分类准确率和泛化能力上的表现优于相关工作.此外,还设计了专门实验以验证本文提出的方面级别注意力机制和情感语义提取机制的有效性,为进一步研究方面级别情感语义抽取问题提供了新的思路和实验证据.

基于BG-DATT-CNN网络的方面级别情感分析

分析句子针对不同方面的情感极性,深入挖掘评论文本中的信息,为企业生产决策提供建议。针对传统方法多考虑单一层面注意力信息,且基于RNN的模型忽略了局部特征的重要性,而基于CNN的模型不能捕捉长距离依赖的信息的问题,提出了基于双重注意力机制的BG-DATT-CNN模型。在特征表示上,利用BERT对句子和方面词分别进行词向量编码,获得文本的深层语义特征。在特征提取上,设计了双重注意力机制,通过计算两类权重获得综合权重,强化文本的上下文相关特征和方面相关特征。在模型构建上,设计了BG-DATT-CNN网络,结合GRU和CNN各自的优势,Bi-GRU层捕捉文本的上下文全局特征,CNN层包括K-Max池化层和TextCNN层,通过两阶段特征提取获取分类的关键信息。在SemEval 2014数据集上的实验表明,与现有的其他模型相比,提出的模型取得了较好的效果。

面向方面级情感分类与深度学习的分层网络模型

针对已有基于方面级别的情感分类通常只考虑独立的句子及关注每个句子的方面情感的问题,提出了一种基于方面情感分类的分层区域CNN-LSTM模型。与基于注意力机制LSTM和基于注意力机制CNN不同,通过分层关注机制将注意力集中在单词级别和句子级别上。采用一种新的基于分层CNN作为输入层,在整个评论中提取基于方面的长距离依赖特征,这种分层CNN和区域LSTM可以捕获与关注更深入更细粒度的信息,并且可以在预测过程中考虑句子内部和句子之间的关系。在多领域数据集上进行实验,结果表明,与仅使用单词向量基于方面情感分类的同类模型相比,所提出的模型性能更好。