基于多通道BERT的跨语言属性级情感分类方法

属性级情感分类是情感分析领域中一个细粒度的情感分类任务,旨在判断文本中针对某个属性的情感极性。现有的属性级情感分类方法大多是使用同一种语言的标注文本进行模型的训练与测试,而现实中很多语言的标注文本规模并不足以训练一个高性能的模型,因此跨语言属性级情感分类是一个亟待解决的问题。跨语言属性级情感分类是指利用源语言文本的语义和情感信息对目标语言文本中包含的属性级情感进行挖掘和分类,相对于单语言的属性级情感分类任务而言,它具有更高的挑战性。该文提出了一个基于多通道BERT的跨语言属性级情感分类方法(Multi-BERT),该方法使用不同的BERT模型分别学习源语言文本和目标语言文本的语义特征,适应源语言和目标语言的语法特点,然后将多个BERT模型学习到的文本表示彼此交互,可以从中挖掘出更充分的属性级情感信息,提高跨语言属性级情感分类的性能。

基于多任务联合训练的属性感知情感分类模型

在大数据时代,信息包含大量值得被挖掘和分析的价值,对情感进行自动分类的需求成为了自然语言处理的热门领域之一.由于大型预训练语言模型参数较多,针对下游任务进行微调时需要大量有标注语料以及时间对模型进行训练.本文基于多任务联合训练的思想,提出了一种多任务属性感知情感分类模型.首先,该模型采用提示学习的策略将多属性文本拆解为多条单属性文本,并针对可用语料不足的问题使用多个提示拼接文本进行训练;其次,该模型设计了对属性进行分类的辅助任务模块,让模型能关注到文本中属性信息从而作出更准确的预测;最后,在四个常用的公开数据集上进行了实验,通过分析证明该模型能够有效提高属性级情感分类的性能.

基于交互式叠加注意力网络的实体属性情感分类

当上下文中单词的情感对给定属性敏感时,仅通过注意力建模无法解决情感分类性能下降的问题。提出一种基于交互式叠加注意力(Attention-Over-Attention,AOA)网络的属性级情感分类模型。模型在词向量层用BERT代替传统静态词向量表示;用LSTM分别提取属性和上下文中单词的隐藏语义;用AOA网络计算属性和上下文中每个单词的注意力权重;将权重与对应的隐藏语义状态做点积分别得到属性和上下文的最终特征表示,拼接两个特征表示用来分类。研究并分析模型中词向量和属性单独建模对情感分类结果的影响。实验表明,该模型较其他LSTM结合注意力机制的模型在准确率和F1值上都有显著提高。