面向电影评论的标签方面情感联合模型

随着互联网的蓬勃发展,越来越多的人喜欢在微博和论坛上对商品进行评论,致使网络上存在着大量评论数据。为了同时挖掘评论数据中所谈论的方面以及评论者对这个方面的观点,用于指导消费者的消费和生产厂家对商品的改进,面向电影评论数据提出了一个标签方面情感联合模型。该模型可以同时挖掘出电影评论数据中所评论的方面以及对这个方面的情感,并且假设情感分布依赖于方面分布,词是采样的最小单位。通过将传统基于词典的方法和模型联合使用,在COAE2016任务2的电影评论数据集上进行测试,实验结果表明,此方法取得了较好的结果。

基于自监督对比学习与方面级情感分析的联合微调模型

方面级情感分析是自然语言处理领域中一项具有挑战性的细粒度情感分析任务。以微调预训练语言模型的方式广泛应用于方面级情感分析任务,并取得了明显的效果提升。然而,现有多数研究设计的下游结构较为复杂,甚至与预训练模型部分隐藏层结构重合,从而限制了整体模型性能。由于对比学习方法有助于改善预训练语言模型在词语级别和句子级别的表示,设计了一种结合自监督对比学习与方面级情感分析的联合微调模型(self-supervised contrastive learning aspect-based sentiment analysis,SSCL-ABSA)。该模型以简洁的下游结构联合两种学习任务,实现从不同角度微调预训练基于Transformer的双向编码器(bidirectional encoder representations from Transformers,BERT)模型,有效促进了方面级情感分析效果的提升。具体地,首先在BERT编码阶段,将评论文本与方面词拼接成两个片段输入BERT编码器,得到各词特征表示。之后根据下游结构需求,对不同的词特征采用池化操作。一方面池化所有词特征用于方面级情感分析,另一方面池化两个片段的方面词特征用于自监督对比学习。最终结合两种任务以联合学习的方式微调BERT编码器。在3个公开数据集上进行实验评估,结果表明SSCL-ABSA方法优于其他同类对比方法。借助t-分布随机近邻嵌入(t-distributed stochastic neighbor embedding,t-SNE)方法,形象地可视化了SSCL-ABSA有效改善了BERT模型的实体表示效果。

面向上下文注意力联合学习网络的方面级情感分类模型

针对现有的方面级情感分类模型存在感知方面词能力较弱、泛化能力较差等问题,文中提出面向上下文注意力联合学习网络的方面级情感分类模型(CAJLN).首先,利用双向Transformer的表征编码器(BERT)模型作为编码器,将文本句子预处理成句子、句子对和方面词级输入序列,分别经过BERT单句和句子对分类模型,进行上下文、方面词级和句子对隐藏特征提取.再基于上下文和方面词级隐藏特征,建立上下文和方面词的多种注意力机制,获取方面特定的上下文感知表示.然后,对句子对隐藏特征和方面特定的上下文感知表示进行联合学习.采用Xavier正态分布对权重进行初始化,确保反向传播时参数持续更新,使CAJLN在训练过程中可以学习有用信息.在多个数据集上的仿真实验表明,CAJLN可有效提升短文本情感分类性能.