情感分析中的方面提取综述

采用文献调研方法,以情感分析处理的文本粒度层次出发,对显式方面提取和隐式方面提取的实现技术和方法进行归类总结。介绍方面级情感分析的评测标准、数据集资源、相关会议及典型应用,指出当前对篇章级和句子级的情感分析研究相对很多,而方面级别的情感分析研究甚少。对情感分析中的方面提取进行综述,有助于比较不同方法和技术之间的差别,发现有价值的研究方向。进一步探讨了情感分析在跨领域、跨语言、应用领域延伸、隐式情感分析中的研究难点。

结合依存句法分析与交互注意力机制的隐式方面提取

隐式方面提取对于提升细粒度情感分析的准确性具有重要意义,然而现有隐式方面提取技术在处理大规模数据时泛化能力不强。为此,提出结合依存句法分析与交互注意力机制的隐式方面提取模型。首先利用预训练语言模型BERT生成文本的初始表征,然后传递给依存句法引导的自注意力层再次处理,再将两次处理的结果经交互注意力机制进一步提取特征,最终用分类器判断句子所属的隐式方面类别。与基线BERT及其他深度神经网络模型对比,所提模型在增强的SemEval隐式方面数据集上取得了更高的F_(1)与AUC值,证明了模型的有效性。

用于方面提取的软原型增强自适应损失模型

方面提取是方面级情感分析的一个核心任务,目前方法是用方面提取、观点提取、方面级情感分类间的关系构建多元关系协作学习模型。常用的数据集中存在大多数方面词和上下文词的出现次数较少,缺乏样本暴露量等问题,使序列标注器收敛到一个极差的区域,且由于在计算模型总损失时忽略了不同部分对方面提取效果的差异,导致神经网络模型几乎无法达到最佳性能。因此提出用于方面提取的软原型增强自适应损失模型(SPEAL),通过软检索建立低样本暴露量文本与高样本暴露量文本之间的动态关性,同时根据方面提取、观点提取、方面级情感分类对方面提取的贡献度自适应更新各部分损失的权重。在REST14、REST15、LAP14三个数据集上的实验结果表明,SPEAL在加速收敛的同时提升了方面提取的效果。

半监督自训练的方面提取

方面提取是观点挖掘和情感分析任务中的关键一步,随着社交网络的发展,用户越来越倾向于根据评论信息来帮助进行决策,并且用户也更加关注评论的细粒度的信息,因此,从海量的网络评论数据中快速挖掘方面信息对于用户快速决策具有重要意义。大部分基于主题模型和聚类的方法在方面提取的一致性上效果并不好,传统的监督学习的方法效果虽然表现很好,但是需要大量的标注文本作为训练数据,标注文本需要消耗大量的人力成本。基于以上问题,本文提出一种基于半监督自训练的方面提取方法,充分利用现存的大量未标签的数据价值,在未标签数据集上通过词向量模型寻找方面种子词的相似词,对每个方面建立与数据集最相关的方面表示词集合,本文方法避免了大量的文本标注,充分利用未标签数据的价值,并且本文方法在中文和英文数据集上都表现出了理想的效果。

基于词嵌入和自注意力机制的方面提取算法

方面提取是情感分析中的关键步骤,随着互联网的快速发展,短文本数据迅猛增加,对短文本数据加以整理和利用极为重要。本文针对短文本的特殊性,提出了短文本模型WESM。与现有模型不同的是,本文引入了词汇共现网络,丰富了词汇的上下文信息,针对中文数据,引入了cw2vec模型,能够充分利用中文词语的语义信息;为了提高短文本的上下文语义缺失,引入了自注意力机制,能够丰富模型的上下文语义信息,提高方面词汇权重,在词汇聚类过程中,降低了非方面词汇的影响。相较于传统方面提取算法性能有着显著的提升。

用于方面提取的多元关系协作学习模型

方面级情感分析广泛应用于商品评价、餐饮、电商决策等,该任务的一个核心点是方面词提取。目前常用方法是用观点词来辅助提取方面词对文本进行序列标注,或使用跨度标记法预测方面词开始与结束的位置。这些方法没有考虑到观点词提取、情感极性分类对方面词提取的影响。针对这个问题提出一种用于方面提取的多元关系协作学习模型,利用观点词提取、方面词提取、情感极性分类间的关系建模,在关系中实现多任务的协作学习与联合训练。在REST14、REST15和LAP14三个数据集上进行的实验结果表明,提出的方法优于目前的最新方法。

基于语义增强双编码器的方面情感三元组提取

方面情感三元组提取(Aspect Sentiment Triplet Extraction,ASTE)是方面级情感分析领域的一项关键任务,目的是提取出句子中给定的方面词、观点词及对应的情感极性。传统的ASTE方法因未充分考虑语义信息和语法结构之间的交互作用,导致模型性能受限。针对这一问题,文章提出了一种基于语义增强的双编码器三元组提取方法。首先,使用基于BERT(Bidirectional Encoder Representation from Transformers)的基本编码器提取单词的上下文信息。其次,基于GloVe词向量和Amazon特定评论词典,使用由门控循环单元(Gate Recurrent Unit,GRU)网络和图卷积网络(Graph Convolutional Network,GCN)结合构建的特定编码器提取深层语义信息,在此过程中通过引入图注意力机制实现基本语义特征与深层语义特征的交互融合。最后,使用边界驱动表填充(Boundary-Driven Table-Filling,BDTF)方法进行三元组提取。在4个公开的数据集上的实验验证表明,所提模型可以高效地捕获并利用句子的深层语义信息,实现较准确的方面情感三元组提取。

基于双记忆交互网络的领域自适应方面词提取方法

方面词提取是方面级情感分析中的一个核心任务,随着社交网络的不断发展,越来越多的用户倾向于根据评论文本来做决策,并且对评论文本的细节越来越关注。因此,从海量的评论文本中准确提取方面词对于用户快速决策具有重要意义。由于标注语料极其耗时耗力,成本高,所以当前公开的方面词数据集相对较少,从而影响了神经网络模型的有效训练。为了缓解这一问题,有研究者使用了领域自适应策略,该策略通过使用方面词和意见词之间的共同句法关系来弥补不同领域之间的差距,但这高度依赖于外部语言资源。针对上述问题,该文使用无监督领域自适应的方法,通过从粗粒度方面类别任务的丰富资源源域学习到的知识,来提高细粒度方面词任务的低资源目标域的学习能力。为了缓解领域间粒度不一致和特征不匹配问题,该文提出了一种双记忆交互网络,该网络通过将每个单词的局部记忆与全局方面词和方面类别记忆进行交互,不断迭代获得每个单词的相关向量,进而得到方面词与方面类别之间的相互联系,以及方面词或方面类别本身之间的内部相关性。最后为了验证方法的有效性,该文方法在Laptop、Restaurant和Device数据集上分别进行了实验。实验结果表明,与多个基线模型相比,该文提出的方法性能更优。

多特征交互的方面情感三元组提取

方面情感三元组提取是方面级情感分析的子任务之一,旨在提取句子中的方面词、其对应的意见词和情感极性。先前研究集中于设计一种新范式以端到端的方式完成三元组提取任务。然而,这些方法忽略外部知识在模型中的作用,没有充分挖掘和利用语义信息、词性信息以及局部上下文信息。针对上述问题,提出了多特征交互的方面情感三元组提取(MFI-ASTE)模型。首先,该模型通过BERT预训练模型学习句子中的上下文语义特征信息,并使用自注意力机制加强语义特征;其次,使语义特征与所提取到的词性特征交互,二者相互学习,加强词性的组合能力与语义信息;再次,使用多个不同窗口的卷积神经网络提取每个单词的多重局部上下文特征并使用多分门控机制筛选这些多重局部特征;然后,采用双线性层融合提取到的三类外部知识特征;最后,利用双仿射注意力机制预测网格标记并通过特定的解码方案解码三元组。实验结果表明,该模型在四个数据集上的F1值比现有的主流模型分别提升了6.83%、5.60%、0.54%和1.22%。

基于序列标注反馈模型的方面信息提取方法

针对已有方面信息提取方法存在信息利用效率低、易受错误传递影响的问题,提出一种基于编码器-解码器架构的序列标注反馈模型,将文本分类特征分为语义特征、词性特征、依赖特征3类,通过双路编解码、门控机制,将语义、词性、标签等信息多次融合,获取并提高最终特征表示能力;为降低错误传递问题对模型性能的不良影响,提出数据增强与反馈方法,将模型判断错误的样本经变换后生成新样本,反馈到训练样本集合中并融入下一轮训练流程,提高模型对各种语言现象的识别接受能力。在两个数据集上进行实验并与现有方法进行对比,实验结果表明,该方法能有效强化信息利用水平,降低错误传递问题的影响,具有更好的性能。

基于互学习网格标签的方面情感词提取

随着人们生活质量的提高,对服务质量的要求日益提高,用户对商家评论从简单的好坏判断提升到了具体方面,而传统的情感分类方法无法解决这个问题,其中,文本的情感方面提取是关键。现有模型大多使用分段式子任务来进行训练,为了解决模型在多个子任务中错误传播的问题,并提高对数据的深层学习,提出一种基于BERT的互学习网格标签的方面情感分析模型。首先,利用旋转位置编码来加强模型对位置的敏感度,同时采用降维方式对词对进行标注,以提升学习效率。然后,将两个基于位置编码的网格标签进行互学习,使模型具有更好的泛化能力。最后,为了进一步发挥互学习的效果,提出了两种数据扩充方法:拼接法和移花接木法,使模型的性能得到进一步提升。在4个标准数据集上测试了三元组提取和二元组提取任务,在F 1值上平均提升了4%以上,最高提升了7%。实验结果表明,IGTS-BERT模型在情感词提取上表现出优越的性能。

结合多种注意力机制的方面词提取方法

方面词提取是方面级情感分析中最重要的子任务之一,其旨在从评论文本中找出意见目标。当前对于方面词提取主要使用卷积神经网络(Convolutional Neural Networks,CNN)和双嵌入的方法,但传统的CNN模型受限于卷积核感受野,不能很好地获取全局信息。为此,该文提出了一种基于双嵌入和多种注意力的方面词提取模型。联合使用non-local网络能够更好地捕获长范围依赖关系,使用与跳跃连接相结合的空间注意力能够更好地捕获文本的字符特征。该文模型在Laptop数据集和Restaurant数据集上分别进行了实验,F_(1)值分别为83.39%和76.26%。与多个基线模型相比,该文提出的模型性能更优。

端到端方面级情感分析综述

方面级情感分析作为一种重要的细粒度情感分析任务,旨在从方面层面分析和理解用户的观点,近年来受到学术界和工业界的广泛关注.端到端方面级情感分析是方面级情感分析的一个重要分支,目的是同时提取方面术语并确定其情感极性.然而,目前尚缺乏单独对其现有方法的系统分类和性能比较的综述文章.针对这一现状,本文首先概述了方面级情感分析任务的定义及相关研究,并归纳了该领域现有数据集的情况.在此基础上,本文分别对不同类型的端到端方面级情感分析方法进行了归纳和总结,并进一步通过不同数据集上的对比介绍了不同方法的性能.最后,本文针对现有方法的发展进行了总结,归纳了当前研究仍然面临的挑战,并指出了未来研究可能的方向.

从餐馆评论中提取方面术语

方面术语提取是基于方面的情感分析中的一个关键的任务,其目的是从在线用户评论中提取关键的方面术语。本文通过在现实数据上使用了一个解决方面术语提取任务的新框架。该框架通过挖掘2个有用的线索,即意见摘要和方面预测的历史。意见摘要是从整个输入语句中提取出来的关键词,以每个当前标记为条件进行方面预测,因此确定的摘要可以帮助对该标记进行方面预测。另一条线索是方面预测的历史,是从以前的方面预测中提取出来的关键词,以便利用坐标结构和标注模式约束来更好地做出方面预测。用此模型分析餐馆的用户评论,最终的实验结果则展示了良好的提取结果。

语义和句法依赖增强的跨度级方面情感三元组抽取

本研究针对目前跨度级别的方面情感三元组抽取模型忽视词性和句法知识的问题且存在三元组冲突的情况,提出了语义和句法依赖增强的跨度级方面情感三元组抽取模型SSES-SPAN (semantic and syntactic enhanced span-based aspect sentiment triplet extraction).首先,在特征编码器中引入词性知识和句法依赖知识,使模型能够更精准地区分文本中的方面词和观点词,并且更深入地理解它们之间的关系.具体而言,对于词性信息,采用了一种加权求和的方法,将词性上下文表示与句子上下文表示融合得到语义增强表示,以帮助模型准确提取方面词和观点词.对于句法依赖信息,采用注意力机制引导的图卷积网络捕捉句法依赖特征得到句法依赖增强表示,以处理方面词和观点词之间的复杂关系.此外,鉴于跨度级别的输入缺乏互斥性的保证,采用推理策略以消除冲突三元组.在基准数据集上进行的大量实验表明,我们提出的模型在效果和鲁棒性方面超过了最先进的方法.

KENAOTE:一种知识增强的方面和意见对提取多任务学习模型

方面和意见对提取旨在根据给定句子提取方面和意见项并匹配关系,然而相关研究通常独立提取方面和意见项,而不识别关系。为了识别方面和意见项关系,提出一种知识增强的方面和意见对提取多任务学习模型。首先使用预训练语言模型为文本生成具有语义信息的词向量,为了实现知识增强的效果,使用遮蔽注意力的方式将知识图谱的语义信息融入词向量中,然后使用基于距离注意力和条件随机场的序列标注方法提取方面和意见项,最后再将提取的方面和意见项两两匹配预测对应关系。为了加强方面和意见项提取模块和匹配模块的联系,采用共享编码层的方式实现联合训练。在训练流程中,匹配模块采用真实标签作为输入,在测试过程中采用提取模块的结果作为输入。为了证明模型的有效性,使用三个通用领域数据集进行对比实验,该模型在方面和意见项匹配任务中F 1值分别达到66.99%、75.17%和67.30%,并优于其他比较模型。

基于注意力双层BiReGU模型的方面术语提取方法

方面术语提取是方面级情感分析中的一项重要任务,目的是从在线产品评论中提取关键的方面术语。针对方面术语提取问题,提出基于注意力机制的双层BiReGU模型。该模型在传统BiLSTM模型的基础上,引入双嵌入机制和ReGU(Residual Gated Unit)作为辅助,以提高特征提取的能力。使用BiReGU学习文本特征表示,更好地捕捉词语间的长期依赖关系;在第一层BiReGU之后引入注意力机制,为文本中每个词语赋予不同的权重,得到融合特征后新的知识表示,再输入到第二层BiReGU中学习更加全局的文本特征表示,最后完成提取方面术语的任务。分别在SemEval 2014的Restaurant数据集和Laptop数据集做了相关的对比实验,实验结果证明了所提出方法的有效性。

面向方面的自适应跨度特征的细粒度意见元组提取

面向方面的细粒度意见提取(AFOE)以意见对的形式从评论中提取方面词和意见词,或在此基础上再提取方面词的情感极性形成意见三元组。针对现有研究方法忽略了意见对与上下文相关性的问题,提出一种面向方面的自适应跨度特征的网格标记方案(ASF-GTS)模型。首先,利用BERT(Bidirectional Encode Representation from Transformers)模型获得句子的特征表示;然后,采用自适应跨度特征(ASF)方法加强意见对与局部上下文的联系;其次,通过网格标记方案(GTS)将意见对提取(OPE)转化为统一的网格标记任务;最后,使用特定的解码策略生成对应的意见对或意见三元组。在适用于意见元组提取任务的四个AFOE基准数据集上进行实验,结果表明,与GTS-BERT(Grid Tagging Scheme-BERT)模型相比,所提模型在意见对和意见三元组任务上的F1值分别提高了2.42%~7.30%和2.62%~6.61%。所提模型能够有效保留意见对与上下文的情感联系,更精确地提取意见对及其情感极性。

基于多模态方面术语提取和方面级情感分类的统一框架

通过方面术语提取和方面级情感分类任务提取句子中的方面-情感对,有助于Twitter,Facebook等社交媒体平台挖掘用户对不同方面的情感,对个性化推荐有重要的意义.在多模态领域,现有方法使用2个独立的模型分别完成2个子任务,方面术语提取提取句子中包含的商品、重要人物等实体或实体的方面,方面级情感分类根据给定的方面术语预测用户的情感倾向.上述方法存在2个问题:(1)使用2个独立的模型丢失了2个任务之间在底层特征的延续性,无法建模句子潜在的语义关联;(2)方面级情感分类1次预测1个方面的情感,与方面术语提取同时提取多个方面的吞吐量不匹配,且2个模型串行执行使得提取方面-情感对的效率低.为解决这2个问题,提出基于多模态方面术语提取和方面级情感分类的统一框架UMAS.首先,建立共享特征模块,实现任务间潜在语义关联建模,并且共享表示层使得2个子任务只需关心各自上层的网络,降低了模型的复杂性;其次,模型利用序列标注同时输出句子中包含的多个方面及其对应的情感类别,提高了方面-情感对的提取效率.此外,在这2个子任务中同时引入词性:利用其中蕴含的语法信息提升方面术语提取的性能;通过词性获取观点词信息,提升方面级情感分类的性能.实验结果表明,该统一框架在Twitter2015,Restaurant2014这2个基准数据集上相比于多个基线模型具有优越的性能.

网络评论方面级观点挖掘方法研究综述

网络评论的观点挖掘任务是文本分析的关键问题之一.随着网络评论的快速增长,用户在浏览评论时更加关注细粒度的信息,因此,对评论进行方面级观点挖掘能够帮助消费者更好地做出决策.过去的10多年间,研究人员在大量网络评论语料库上进行观点挖掘等相关研究,并取得了丰硕的研究成果和广泛的应用价值,更不乏优秀学者对观点挖掘方法现状进行综述总结.然而,有针对性地对观点挖掘中的方面提取与观点提取进行综述总结的成果较少.综述了近年来网络评论方面级观点挖掘的研究现状:首先,介绍了方面级观点挖掘的相关问题描述;然后,重点分类介绍方面提取方法及观点内容提取的主要方法;随后,总结了方面级观点挖掘的常见评价指标以及在社会中的广泛应用价值;最后,根据对现有方法提出具有挑战性的方向并进行系统总结.对方面级观点挖掘进行综述有助于比较不同方法的差异,从而发现有价值的研究方向.