双通道循环网络情感三元组抽取方法研究

传统三元组抽取任务的方面词与意见词的抽取相互关联,采用流水线(Pipeline)或联合(Joint)模型架构会存在误差传递、错误传播等问题.基于上述问题,本文设计基于位置提示的双通道循环网络(Position-prompt dual-channel recurrent neural network,PDRN)模型解决三元组抽取任务.采用预训练BERT模型生成词向量作为模型输入,通过双通道显示交互方法在多个循环中建立同步机制,作为两元组(方面、意见)抽取及配对,使用基于位置提示的BERT-BiLSTM模型进行情感极性判别.在3个三元组抽取数据集进行实验,F1值相较最好的流水线模型和同类联合模型提高了1%~2%,在ASOTE任务上F1值相较基线最高提升了2.9%.

融合思维链和低秩自适应微调的方面情感三元组抽取

方面情感三元组抽取(ASTE)任务是方面级情感分析的重要子任务之一,传统的监督学习方法在该任务上取得了SOTA或接近SOTA的效果。然而,随着深度神经网络的发展,生成式大型语言模型(LLM)为该任务带来了更多的可能性。目前大多数工作都是直接对LLM进行微调,但是忽略了LLM的幻觉现象,导致性能下降。提出一种融合思维链技术和LLM低秩自适应(Lo RA)微调LFC方法,实现生成式的ASTE新范式,以提升任务性能。在LFC中,首先基于思维链技术,通过人工构造少量推理样本,并利用LLM生成具有推理结构的增强数据集。将增强数据集用于微调Chat GLM3-6B模型的学习。在微调过程中,采用Lo RA微调技术提高在低资源环境下适配ASTE任务的效果。实验结果表明,LFC方法相比于最优的基线模型在Res14、Lap14、Res15和Res164个数据集上的F1值分别提升8.37、12.31、11.07和8.43个百分点,该方法不仅能够准确地识别三元组,而且在一定程度上优化了LLM的幻觉现象。

基于方面感知注意力增强的方面情感三元组抽取

在自然语言处理(NLP)的细粒度情感分析问题中,为探索携带结构偏差的预训练语言模型(PLM)对端到端式情感三元组抽取任务的影响,解决方面语义特征依赖容错率低的问题,结合方面感知注意力机制和图卷积网络(GCN),提出用于方面情感三元组抽取任务的方面感知注意力增强图卷积网络(AE-GCN)模型。首先,在方面情感三元组抽取任务中引入多种类型的关系;其次,采用双仿射注意力机制将这些关系嵌入句子中单词之间的相邻张量,并引入方面感知注意力机制以获取句子注意力评分矩阵,深入挖掘与方面相关的语义特征;再次,GCN通过将单词和关系相邻张量分别视为边和节点,将句子转换为多通道图以学习关系感知节点表示;最后,使用一种有效的词对表示细化策略确定词对是否匹配,以考虑方面和意见抽取的隐含结果。在ASTE-D1基准数据集上的实验结果表明,所提模型在14res、14lap、15res和16res子数据集上的F1值相较于增强型多通道图卷积网络(EMC-GCN)模型提升了0.20、0.21、1.25和0.26个百分点;在ASTE-D2基准数据集上,所提模型在14lap、15res和16res子数据集上的F1值相较于EMC-GCN模型提升了0.42、0.31和2.01个百分点。可见所提模型相较于EMC-GCN模型在精确率和有效性方面有较大改进。

融合注意力的方面情感三元组抽取研究

方面情感三元组抽取中,现有的端对端模型大多忽略了方面和观点词间的潜在关系,针对上述问题,提出了一种基于融合注意力的深度学习模型Bi-FA-GTS来抽取方面情感三元组。该模型结合使用了位置注意力和自注意力,便于对目标词与其上下文单词之间进行联合特征向量建模;其次引入了一种网络标记方案,并结合词对关系解码及输出最终三元组。在基准数据集上的实验结果表明,该模型在14lap、15res和16res子数据集上的F1值相比于JET模型提升了2.75、0.43和1.46个百分点,提高了情感三元组抽取的有效性。

基于Prompt和BERT的情感原因对抽取方法

情感原因对抽取是一项全新的自然语言处理任务,试图提取出文本中所有的情感子句以及相应的原因子句。现有的工作要么遵循多阶段方法,其中情感抽取、原因抽取及配对都是单独进行的;要么使用复杂的架构来解决其局限性,并且可解释性较低。针对这些问题,本文提出一种基于Prompt和BERT相结合的ECPE-Prompt模型。该模型以一种可解释性较强的两阶段方法将情感抽取和原因抽取链接起来,最后完成情感原因对抽取任务。实验结果表明,该模型的F1分数指标对比基线模型提高6%。

结合依存图卷积与文本片段搜索的方面情感三元组抽取

现有基于序列标注或文本生成的三元组抽取模型通常未考虑完整文本片段级别的交互,且忽略了句法知识的应用。为解决上述问题,提出一种基于依存图卷积与文本片段搜索的深度学习模型来联合抽取方面情感三元组。通过预训练语言模型BERT编码层学习句子中每个单词的上下文表达,同时利用图卷积神经网络学习句子单词之间的依存关系和句法标签信息,以捕获远距离的方面词与观点词之间的语义关联关系,并采用文本片段搜索构造候选方面词与观点词及其特征表示,最终使用多个分类器同时进行方面词与观点词抽取及情感极性判断。在ASTE-Data-V2数据集上的实验结果表明,该模型在14res、14lap、15res和16res子集上的F1值相比于JET模型提升了10.61、10.54、4.91和8.48个百分点,具有较高的方面情感三元组抽取效率。

基于MUBTM的方面词情感三元组抽取方法研究

方面词情感三元组抽取旨在从评论文本中识别方面词、评论观点词及情感极性。针对现有研究容易忽略三元组中部分实体与其情感极性在标记空间中的关联关系,并且较易出现三元组边界识别错误的问题,提出一种基于表格填充的多类别统一及边界标记模型(MUBTM)。首先,采用双仿射注意力机制学习词对间的交互,并构建多类别统一标记空间;然后,利用标记空间的对称性结构化约束与级联二进制边界约束,限制词对间的概率分布;最后,根据子元素在统一标记空间中结构为正方形或矩形的特性,逐步解码生成方面词情感三元组。实验结果表明,与其他基线模型相比,本模型在方面词情感三元组抽取上的F1值有显著提升,表明了所提出方法的可行性。

片段级别的双编码器方面情感三元组抽取模型

方面情感三元组抽取(ASTE)是方面级情感分析的子任务之一,旨在识别出句子中所有的方面词及其对应的观点词和情感极性。目前,ASTE任务通过流水线模型或端到端模型完成,前者无法解决三元组方面词重叠问题,且忽视了观点词和情感极性之间的依赖关系;后者将ASTE任务分解为方面词和观点词抽取子任务以及情感极性分类子任务,通过共享编码器进行多任务学习,未区分两个子任务的特征差异,导致特征混淆问题。针对上述问题,提出了片段级别的双编码器方面情感三元组抽取模型(SD-ASTE)。该模型是流水线模型,分为两个模块。第一个模块基于片段抽取方面词和观点词,在片段特征表示中融入片段首尾和长度信息,关注方面词和观点词的边界信息;第二个模块判断方面词-观点词片段对表达的情感极性,采用基于悬浮标记的片段对特征表示方式,侧重于学习三元组各元素之间的依赖关系。模型利用两个独立编码器,分别为两模块提取不同的特征信息。多个数据集上的对比实验结果表明,该模型相较于目前最优的流水线模型和端到端模型具有更优的效果。通过有效性实验,验证了片段特征表示和片段对特征表示以及两个独立编码器的有效性。

基于分类的微博新情感词抽取方法和特征分析

情感或情绪分析在舆情分析、商品评论分析、商品推荐等领域应用广泛,而文本中的情感或情绪分析通常以情感词典为基础.人工情感词典虽然准确但构建代价大、难以及时更新,很难适应微博这类新情感词快速更迭的数据.微博平台为新情感词的发布和传播提供了便捷的途径,是新情感词的重要来源.考虑到已有规模较大的人工情感词典及大量包含新情感词的微博数据,在统计、分析、对比中、英两种语言微博中情感词分布差异的基础上,提出了与特定语言无关的基于分类思想的微博新情感词抽取方法cNSEm.cNSEm根据微博数据集和情感词典自动构建训练数据、训练分类器并判别候选词的情感极性,最后采用投票机制确定候选词的情感极性.通过大量而细致的实验,分析了cNSEm在中、英文两种语言的微博数据上的表现、六类特征的作用和用法以及抽取的新情感词对微博情感分类任务的帮助作用.实验结果表明,cNSEm比经典的基于共现和极性传播的方法要好,特别是当考虑中文微博数据集中的名词类情感词时.对cNSEm抽取的新情感词进行了直接和间接两种方法评测,前者利用人工情感词典作参照,后者考察抽取的新情感词对情感分类的帮助作用,从评测指标上看,cNSEm抽取的新情感词与人工情感词典的质量相当,并且cNSEm能适应有较大差异的中、英两个语种.

面向中文文本的情感信息抽取语料库构建

情感信息抽取是情感分析中的一个重要子任务。虽然该任务已经开展有一段时间,但是面向中文文本的情感信息抽取任务研究才刚刚起步。目前中文文本的情感信息抽取面临的首要困难在于现有的相关中文语料库还非常有限。为了更好开展中文文本的情感信息抽取研究,该文重点研究了中文语料标注体系,构建一个规模较大、标注类型丰富的中文情感信息抽取语料库。除了常见语料库标注的情感倾向性、评价对象、情感词等信息外,重点标注了评价对象的省略、无情感词情感句表达及极性转移等情况。由语料信息统计可知,该文所指出的特殊现象(例如,评价对象的省略)在中文情感表达中是非常普遍的,开展这方面的研究很有必要。该文所构建的中文文本语料库将为中文情感信息抽取任务提供语料基础。

一种基于多重词典的中文文本情感特征抽取方法

情感特征抽取是文本情感分类的重要步骤,正确的选择情感特征并赋予合理的情感权重是保障分类精度的前提。利用基础情感词词典、连词词典及词语距离,提出了一种基于多重词典的中文文本情感特征抽取算法,实验证明该方法优于HM,SO-PMI和词语语义距离等经典的特征抽取算法。

子句级别的自注意力机制的情感原因抽取模型

情感原因抽取(ECE)是情感分析领域的一项重要子任务,旨在识别给定文档中某种情绪表达所对应的原因.现有的一些工作将该任务定义为子句分类任务,关注了文档和子句之间的联系,而忽略情感描述子句与情感原因子句的直接语义联系,同时存在标签不平衡问题,使得情感原因子句位置难以定位.因此,提出了一个基于子句的自注意力机制同时结合了子句相对位置关系的神经网络模型去寻找情感原因子句.为了更加突显句子的局部特征,利用卷积神经网络抽取每个子句的上下文特征.模型首先使用双向长短期记忆网络编码子句信息,融合子句位置特征后,利用自注意力机制计算情感原因子句和情感描述子句之间的语义信息,并结合子句局部上下文特征,抽取情感原因子句.在基于新浪城市新闻的情感原因抽取中文数据集上,查全率R达到83.83%,优于目前的基线方法.

基于循环神经网络的互联网短文本情感要素抽取

针对大数据互联网短文本信息,比较几种深度循环神经网络(Recurrent Neural Networks,RNN)模型,提出了一种基于双向长短时记忆(Bidirectional Long Short-Term Memory,BLSTM)的循环神经网络模型的互联网短文本情感要素抽取方法。实验结果表明,该方法不仅可以有效完成互联网短文本中情感要素抽取工作,而且明显提高了抽取准确率。

面向数字人文的古诗文本情感术语抽取与应用研究

在跨学科知识范式下,数字人文的研究范畴随着自身学科体系的拓展而不断泛化,采取关键语义技术解析文化对象中的人文内涵与情感知识对于重拾学科"人文性"与"计算性"特质具有重要意义。本文以古诗文本为例,面向汉语诗文及其鉴赏实现大规模人文情感术语的自动化抽取与分析。首先在无标注集环境下提出一种基于"冷启动"的字序列自动标引方法来获取学习语料,随后在字向量(Char2Vec)指导下将汉字特征(部首、拼音等)和BERT语言学模型分别引入机器学习与深度学习模型,并从知识发现的角度定义新术语识别规则。研究发现,将现代鉴赏融入古诗原文显著优化了情感知识的广度与深度,领域术语能够被有效标引。训练的BERT-BiLSTM-CRFs深度学习模型的效果明显优于CRFs机器学习,最佳F1与F1distinct可分别达到95.63%和85.43%;同时汉字特征的引入也有效提升了传统CRFs效果,以领域特征和基于"竖心旁""心字底"部首约束特征为最优。相较于机器学习抽取出的长篇幅新术语,深度学习能够拓展出更多寄托情感知识的新意象词。源于诗文与鉴赏的情感术语为文学信息资源的情感分析与知识服务提供了参考(人文性),基于汉字语言特征的抽取方案为中文领域自然语言处理技术的深化提供了启迪(计算性)。

基于情感词抽取与LDA特征表示的情感分析方法

情感分析作为文本挖掘的一个新型领域,可用于分类、归纳用户发布的产品评论,从而有助于商家改善服务,提高产品质量;同时为其他消费者提供购买决策。本文提出一种基于情感词抽取与LDA特征表示的情感分析方法,对产品评论进行褒贬二元分类。在情感词抽取中,采用人工构造的情感词典对预处理之后的文本抽取情感词;用LDA模型建立文档的主题分布,以评论-主题分布作为特征,用SVM分类器进行分类。实验结果表明,本文方法在评论褒贬分类方面有着良好的效果。

面向商品评价的情感要素抽取

商品评价的细粒度倾向性分析的目标是对评价信息中所涉及评价对象的各个侧面进行情感极性判别,进而准确反映用户的商品评价意图。情感要素抽取是商品评价的细粒度倾向性分析的关键步骤。提出了一种面向商品评价细粒度分析的情感要素抽取方法,该方法将情感要素词典及聚类代码引入CRF模型中,实现情感对象和情感词同步抽取。在3类不同领域的商品评价数据集上进行实验,准确率平均达到了96.06%,召回率平均达到了91.39%,F值平均达到了93.66%,在混合商品评价数据集上的实验结果显示,准确率、召回率、F值分别达到了96.84%、93.34%和95.06%。

基于图依存分析的情感原因对抽取任务

情感原因对抽取是情感分析任务中的子任务,旨在抽取出给定文档中的所有情感子句以及引起该情感所对应的原因子句。先前的研究在生成情感子句与原因子句表示时忽略了情感子句与原因子句之间的相互联系。为了解决上述问题,基于图依存分析的思想并融入了图注意力机制,提出了GAT-ECPE模型。该模型在获取到情感子句表示与原因子句表示时,将句向量作为节点输入图注意力层从而学习到子句之间关系的信息,而后进行双仿射映射得到情感原因对的编码表示。并且设置了多任务来将情感抽取与原因抽取任务建立联系。在ECPE数据集上的实验结果证明,该模型相较于先前的一系列模型,在评估指标上有所提升。

文本情感分析研究综述

对文本情感分析的研究现状与进展进行总结。从情感分析的任务情感分类、情感检索、情感抽取3个方面详细介绍了相关研究和技术方法,重点阐述了基于语义的情感词典分类方法和基于机器学习的情感分类方法,并介绍了文本情感分析的评测,提出了未来的研究方向。

中文微博情感分析研究综述

随着微博的风靡,与之相关的研究得到学术界和工商界的广泛关注。针对中文微博情感分析的研究进行综述。将中文微博文本情感分析分为三类任务:文本预处理、情感信息抽取和情感分类,对各自的研究方法和进展进行总结。其中情感信息抽取分为情感词、主题和关系的抽取,将微博主观文本情感分类方法归结为基于语义词典的情感计算和基于机器学习的情感分类。此外,从微博网站数据构成的角度出发,对情感分析做了延伸分析。最后总结微博情感分析的研究现状,并提出今后的研究方向。

文本情感分析

对文本情感分析的研究现状与进展进行了总结.首先将文本情感分析归纳为3项主要任务,即情感信息抽取、情感信息分类以及情感信息的检索与归纳,并对它们进行了细致的介绍和分析;进而介绍了文本情感分析的国内外评测和资源建设情况;最后介绍了文本情感分析的应用.重在对文本情感分析研究的主流方法和前沿进展进行概括、比较和分析.