联合句法与位置信息的方面情感三元组抽取

为提高方面级情感三元组抽取任务的准确率,提出一种联合依存句法关系和位置偏移信息的抽取模型。在模型上下文编码中添加句法关系,结合图卷积网络捕获结构和结点属性信息,增强三元组要素之间的交互能力;在多任务学习部分加入相对位置偏移信息,充分挖掘方面-观点词对的关系,提高三元组要素抽取的精度。在4个基准英文数据集上的实验结果表明,该方法效果显著且优于其它基线模型。

基于方面情感三元组抽取的游客评论大数据细粒度情感分析

目前游客细粒度情感分析的研究多集中于基于主题聚类下的频次统计等的大致分析,缺乏更精准地从每一条评论中抽取所有属性情感特征的细致定量刻画。因此,文章基于国内四大知名旅游电商平台上有关贵州省数百家A级旅游景区的游客评论大数据,建构较大规模的旅游评论方面级情感分析(ABSA)中文标注数据集;采用基于BERT的LCF-AEPC方面情感三元组抽取联合模型,在近8万条主观评论文本集上端到端地实现17万余个方面情感三元组的预测输出;并基于此输出结果进行可视化量化分析,探究游客在景区不同方面以及在不同级别和不同类型景区上的情感特征差异及其原因,构建了包含四类要素的游客情感感知影响因素模型。文章通过人工智能领域的深度学习技术实现ABSA多任务可快速有效地捕捉游客对景区各方面的偏好、需求和意见等信息,将成为旅游领域细粒度情感研究的有益尝试和最新应用。

多特征交互的方面情感三元组提取

方面情感三元组提取是方面级情感分析的子任务之一,旨在提取句子中的方面词、其对应的意见词和情感极性。先前研究集中于设计一种新范式以端到端的方式完成三元组提取任务。然而,这些方法忽略外部知识在模型中的作用,没有充分挖掘和利用语义信息、词性信息以及局部上下文信息。针对上述问题,提出了多特征交互的方面情感三元组提取(MFI-ASTE)模型。首先,该模型通过BERT预训练模型学习句子中的上下文语义特征信息,并使用自注意力机制加强语义特征;其次,使语义特征与所提取到的词性特征交互,二者相互学习,加强词性的组合能力与语义信息;再次,使用多个不同窗口的卷积神经网络提取每个单词的多重局部上下文特征并使用多分门控机制筛选这些多重局部特征;然后,采用双线性层融合提取到的三类外部知识特征;最后,利用双仿射注意力机制预测网格标记并通过特定的解码方案解码三元组。实验结果表明,该模型在四个数据集上的F1值比现有的主流模型分别提升了6.83%、5.60%、0.54%和1.22%。

结合语法结构和语义信息的情感三元组提取

针对目前大多数方面情感三元组提取方法存在着没有充分考虑语法结构和语义相关性的问题.本文提出一种结合语法结构和语义信息的方面情感三元组提取模型,首先提出使用依赖解析器得到所有依赖弧的概率矩阵构建语法图,提取丰富的语法结构信息.其次利用自注意力机制构建语义图,表示单词与单词之间的语义相关性,从而减低噪声词的干扰.最后设计了一个相互仿射变换层,让模型可以更好地交换语法图和语义图之间的相关特征,提升模型情感三元组提取的表现.在多个公开数据集上进行验证.实验表明,与现有的情感三元组提取模型相比,精确度(P)、召回率(R)和F1值整体都有提高,验证了结合语法结构和语义信息在方面情感三元组提取的有效性.

融合语义和句法信息的方面情感三元组抽取

方面情感三元组抽取(ASTE)是方面情感分析中一项极具挑战性的子任务,目的是提取所给句子中的方面项、观点项和对应的情感极性。现有的面向ASTE任务的模型分为流水线模型和端到端模型。针对流水线模型易受到错误传播的影响,且大部分现有端到端模型忽略了句子中丰富的句法信息问题,提出一种语义和句法增强的双通道方面情感三元组抽取模型(SSED-ASTE)。首先,使用BERT(Bidirectional Encoder Representation from Transformers)编码器对上下文编码;其次,使用双向长短期记忆(Bi-LSTM)网络捕捉上下文语义依赖关系;再次,通过2个并行的图卷积网络(GCN)分别使用自注意力机制和依存句法分析提取语义特征和句法特征并融合;最后,使用网格标记方案(GTS)抽取三元组。在4个公开数据集上进行实验分析,与GTS-BERT模型相比,所提模型的F1值分别提升了0.29、1.50、2.93和0.78个百分点。实验结果表明,所提模型可以有效利用句子中隐含的语义信息和句法信息,实现较准确的三元组抽取。

融合思维链和低秩自适应微调的方面情感三元组抽取

方面情感三元组抽取(ASTE)任务是方面级情感分析的重要子任务之一,传统的监督学习方法在该任务上取得了SOTA或接近SOTA的效果。然而,随着深度神经网络的发展,生成式大型语言模型(LLM)为该任务带来了更多的可能性。目前大多数工作都是直接对LLM进行微调,但是忽略了LLM的幻觉现象,导致性能下降。提出一种融合思维链技术和LLM低秩自适应(Lo RA)微调LFC方法,实现生成式的ASTE新范式,以提升任务性能。在LFC中,首先基于思维链技术,通过人工构造少量推理样本,并利用LLM生成具有推理结构的增强数据集。将增强数据集用于微调Chat GLM3-6B模型的学习。在微调过程中,采用Lo RA微调技术提高在低资源环境下适配ASTE任务的效果。实验结果表明,LFC方法相比于最优的基线模型在Res14、Lap14、Res15和Res164个数据集上的F1值分别提升8.37、12.31、11.07和8.43个百分点,该方法不仅能够准确地识别三元组,而且在一定程度上优化了LLM的幻觉现象。

基于方面感知注意力增强的方面情感三元组抽取

在自然语言处理(NLP)的细粒度情感分析问题中,为探索携带结构偏差的预训练语言模型(PLM)对端到端式情感三元组抽取任务的影响,解决方面语义特征依赖容错率低的问题,结合方面感知注意力机制和图卷积网络(GCN),提出用于方面情感三元组抽取任务的方面感知注意力增强图卷积网络(AE-GCN)模型。首先,在方面情感三元组抽取任务中引入多种类型的关系;其次,采用双仿射注意力机制将这些关系嵌入句子中单词之间的相邻张量,并引入方面感知注意力机制以获取句子注意力评分矩阵,深入挖掘与方面相关的语义特征;再次,GCN通过将单词和关系相邻张量分别视为边和节点,将句子转换为多通道图以学习关系感知节点表示;最后,使用一种有效的词对表示细化策略确定词对是否匹配,以考虑方面和意见抽取的隐含结果。在ASTE-D1基准数据集上的实验结果表明,所提模型在14res、14lap、15res和16res子数据集上的F1值相较于增强型多通道图卷积网络(EMC-GCN)模型提升了0.20、0.21、1.25和0.26个百分点;在ASTE-D2基准数据集上,所提模型在14lap、15res和16res子数据集上的F1值相较于EMC-GCN模型提升了0.42、0.31和2.01个百分点。可见所提模型相较于EMC-GCN模型在精确率和有效性方面有较大改进。

语义和句法依赖增强的跨度级方面情感三元组抽取

本研究针对目前跨度级别的方面情感三元组抽取模型忽视词性和句法知识的问题且存在三元组冲突的情况,提出了语义和句法依赖增强的跨度级方面情感三元组抽取模型SSES-SPAN (semantic and syntactic enhanced span-based aspect sentiment triplet extraction).首先,在特征编码器中引入词性知识和句法依赖知识,使模型能够更精准地区分文本中的方面词和观点词,并且更深入地理解它们之间的关系.具体而言,对于词性信息,采用了一种加权求和的方法,将词性上下文表示与句子上下文表示融合得到语义增强表示,以帮助模型准确提取方面词和观点词.对于句法依赖信息,采用注意力机制引导的图卷积网络捕捉句法依赖特征得到句法依赖增强表示,以处理方面词和观点词之间的复杂关系.此外,鉴于跨度级别的输入缺乏互斥性的保证,采用推理策略以消除冲突三元组.在基准数据集上进行的大量实验表明,我们提出的模型在效果和鲁棒性方面超过了最先进的方法.

结合依存图卷积与文本片段搜索的方面情感三元组抽取

现有基于序列标注或文本生成的三元组抽取模型通常未考虑完整文本片段级别的交互,且忽略了句法知识的应用。为解决上述问题,提出一种基于依存图卷积与文本片段搜索的深度学习模型来联合抽取方面情感三元组。通过预训练语言模型BERT编码层学习句子中每个单词的上下文表达,同时利用图卷积神经网络学习句子单词之间的依存关系和句法标签信息,以捕获远距离的方面词与观点词之间的语义关联关系,并采用文本片段搜索构造候选方面词与观点词及其特征表示,最终使用多个分类器同时进行方面词与观点词抽取及情感极性判断。在ASTE-Data-V2数据集上的实验结果表明,该模型在14res、14lap、15res和16res子集上的F1值相比于JET模型提升了10.61、10.54、4.91和8.48个百分点,具有较高的方面情感三元组抽取效率。

片段级别的双编码器方面情感三元组抽取模型

方面情感三元组抽取(ASTE)是方面级情感分析的子任务之一,旨在识别出句子中所有的方面词及其对应的观点词和情感极性。目前,ASTE任务通过流水线模型或端到端模型完成,前者无法解决三元组方面词重叠问题,且忽视了观点词和情感极性之间的依赖关系;后者将ASTE任务分解为方面词和观点词抽取子任务以及情感极性分类子任务,通过共享编码器进行多任务学习,未区分两个子任务的特征差异,导致特征混淆问题。针对上述问题,提出了片段级别的双编码器方面情感三元组抽取模型(SD-ASTE)。该模型是流水线模型,分为两个模块。第一个模块基于片段抽取方面词和观点词,在片段特征表示中融入片段首尾和长度信息,关注方面词和观点词的边界信息;第二个模块判断方面词-观点词片段对表达的情感极性,采用基于悬浮标记的片段对特征表示方式,侧重于学习三元组各元素之间的依赖关系。模型利用两个独立编码器,分别为两模块提取不同的特征信息。多个数据集上的对比实验结果表明,该模型相较于目前最优的流水线模型和端到端模型具有更优的效果。通过有效性实验,验证了片段特征表示和片段对特征表示以及两个独立编码器的有效性。