基于UGC的产品改进:属性提取和属性情感分类的方法与应用综述

用户生成内容(User-generated Content,UGC)包含了大量用户对产品及其属性的真实看法。随着数字技术的持续发展,企业日益重视利用UGC来洞察用户需求,从而指导产品改进。在这一过程中,属性提取与属性情感分类被视为两大核心环节。属性提取旨在从UGC中识别出关键的产品属性,其方法可归为有监督学习和无监督学习两类;属性情感分类则用于分析用户对这些属性的情感态度,主要包括基于词典与规则、基于统计机器学习以及基于深度学习的方法。文中首先对属性提取与属性情感分类方法的理论框架及技术要点进行系统梳理,随后结合实际应用进行阐述,以期为利用UGC指导产品改进的企业和研究者提供有价值的参考。最终,探讨了当前属性提取与属性情感分类所面临的挑战及未来的研究方向。

基于依存树及距离注意力的句子属性情感分类

目前基于注意力机制的句子属性情感分类方法由于忽略句子中属性的上下文信息以及单词与属性间的距离特征,从而导致注意力机制难以学习到合适的注意力权重.针对该问题,提出一种基于依存树及距离注意力的句子属性情感分类模型(dependency tree and distance attention, DTDA).首先根据句子的依存树得到包含属性的依存子树,并利用双向GRU学习句子及属性的上下文特征表示;根据句子中单词和属性在依存树中的最短路径确定相应的语法距离及位置权重,同时结合相对距离构造包含语义信息和距离信息的句子特征表示,并进一步利用注意力机制生成属性相关的句子情感特征表示;最后,将句子的上下文信息与属性相关的情感特征表示合并后并通过softmax进行分类输出.实验结果表明:DTDA在国际语义评测SemEval2014的2个基准数据集Laptop和Restaurant上取得与目前最好方法相当的结果.当使用相关领域训练的词向量时,DTDA在Laptop上的精确率为77.01%,在Restaurant上的准确率为81.68%.

面向属性情感分类的无标签数据增强位置感知网络

在现有的属性情感分类研究中,训练模型时大多完全依赖标签数据或需要引入文本级标签数据作为补充,很少关注无标签数据对模型性能的提升。提出一种基于无标签数据增强的位置感知网络(UDE-PAN)。引入交叉可视训练(CVT)的半监督训练算法,使模型能够同时利用无标签数据。CVT算法在标签数据和无标签数据中交替训练模型来提升表征学习能力,使模型在无标签数据中学习到额外知识。此外,基于语义相对距离(SRD)嵌入层和动态特征加权(CDW)层捕获属性词和上下文的关系:SRD嵌入层显式地将位置信息建模成特征向量,使上下文特征包含特定的属性信息;CDW层通过动态设置权重系数来感知上下文中与属性词更密切的部分。在SemEval14的2个公开数据集上的实验结果表明:UDE-PAN的准确率分别达到76.23%、82.47%,Macro-F1值分别达到72.13%、73.97%,优于对比的主流模型,验证了模型的有效性;借助CVT算法,无标签数据的训练对模型的准确率平均提升1%,Macro-F1平均提升2%,验证了无标签数据可以有效增强模型性能。

基于交互式叠加注意力网络的实体属性情感分类

当上下文中单词的情感对给定属性敏感时,仅通过注意力建模无法解决情感分类性能下降的问题。提出一种基于交互式叠加注意力(Attention-Over-Attention,AOA)网络的属性级情感分类模型。模型在词向量层用BERT代替传统静态词向量表示;用LSTM分别提取属性和上下文中单词的隐藏语义;用AOA网络计算属性和上下文中每个单词的注意力权重;将权重与对应的隐藏语义状态做点积分别得到属性和上下文的最终特征表示,拼接两个特征表示用来分类。研究并分析模型中词向量和属性单独建模对情感分类结果的影响。实验表明,该模型较其他LSTM结合注意力机制的模型在准确率和F1值上都有显著提高。

基于多任务联合训练的属性感知情感分类模型

在大数据时代,信息包含大量值得被挖掘和分析的价值,对情感进行自动分类的需求成为了自然语言处理的热门领域之一.由于大型预训练语言模型参数较多,针对下游任务进行微调时需要大量有标注语料以及时间对模型进行训练.本文基于多任务联合训练的思想,提出了一种多任务属性感知情感分类模型.首先,该模型采用提示学习的策略将多属性文本拆解为多条单属性文本,并针对可用语料不足的问题使用多个提示拼接文本进行训练;其次,该模型设计了对属性进行分类的辅助任务模块,让模型能关注到文本中属性信息从而作出更准确的预测;最后,在四个常用的公开数据集上进行了实验,通过分析证明该模型能够有效提高属性级情感分类的性能.

基于多通道BERT的跨语言属性级情感分类方法

属性级情感分类是情感分析领域中一个细粒度的情感分类任务,旨在判断文本中针对某个属性的情感极性。现有的属性级情感分类方法大多是使用同一种语言的标注文本进行模型的训练与测试,而现实中很多语言的标注文本规模并不足以训练一个高性能的模型,因此跨语言属性级情感分类是一个亟待解决的问题。跨语言属性级情感分类是指利用源语言文本的语义和情感信息对目标语言文本中包含的属性级情感进行挖掘和分类,相对于单语言的属性级情感分类任务而言,它具有更高的挑战性。该文提出了一个基于多通道BERT的跨语言属性级情感分类方法(Multi-BERT),该方法使用不同的BERT模型分别学习源语言文本和目标语言文本的语义特征,适应源语言和目标语言的语法特点,然后将多个BERT模型学习到的文本表示彼此交互,可以从中挖掘出更充分的属性级情感信息,提高跨语言属性级情感分类的性能。