融合思维链和低秩自适应微调的方面情感三元组抽取

方面情感三元组抽取(ASTE)任务是方面级情感分析的重要子任务之一,传统的监督学习方法在该任务上取得了SOTA或接近SOTA的效果。然而,随着深度神经网络的发展,生成式大型语言模型(LLM)为该任务带来了更多的可能性。目前大多数工作都是直接对LLM进行微调,但是忽略了LLM的幻觉现象,导致性能下降。提出一种融合思维链技术和LLM低秩自适应(Lo RA)微调LFC方法,实现生成式的ASTE新范式,以提升任务性能。在LFC中,首先基于思维链技术,通过人工构造少量推理样本,并利用LLM生成具有推理结构的增强数据集。将增强数据集用于微调Chat GLM3-6B模型的学习。在微调过程中,采用Lo RA微调技术提高在低资源环境下适配ASTE任务的效果。实验结果表明,LFC方法相比于最优的基线模型在Res14、Lap14、Res15和Res164个数据集上的F1值分别提升8.37、12.31、11.07和8.43个百分点,该方法不仅能够准确地识别三元组,而且在一定程度上优化了LLM的幻觉现象。

结合依存图卷积与文本片段搜索的方面情感三元组抽取

现有基于序列标注或文本生成的三元组抽取模型通常未考虑完整文本片段级别的交互,且忽略了句法知识的应用。为解决上述问题,提出一种基于依存图卷积与文本片段搜索的深度学习模型来联合抽取方面情感三元组。通过预训练语言模型BERT编码层学习句子中每个单词的上下文表达,同时利用图卷积神经网络学习句子单词之间的依存关系和句法标签信息,以捕获远距离的方面词与观点词之间的语义关联关系,并采用文本片段搜索构造候选方面词与观点词及其特征表示,最终使用多个分类器同时进行方面词与观点词抽取及情感极性判断。在ASTE-Data-V2数据集上的实验结果表明,该模型在14res、14lap、15res和16res子集上的F1值相比于JET模型提升了10.61、10.54、4.91和8.48个百分点,具有较高的方面情感三元组抽取效率。

片段级别的双编码器方面情感三元组抽取模型

方面情感三元组抽取(ASTE)是方面级情感分析的子任务之一,旨在识别出句子中所有的方面词及其对应的观点词和情感极性。目前,ASTE任务通过流水线模型或端到端模型完成,前者无法解决三元组方面词重叠问题,且忽视了观点词和情感极性之间的依赖关系;后者将ASTE任务分解为方面词和观点词抽取子任务以及情感极性分类子任务,通过共享编码器进行多任务学习,未区分两个子任务的特征差异,导致特征混淆问题。针对上述问题,提出了片段级别的双编码器方面情感三元组抽取模型(SD-ASTE)。该模型是流水线模型,分为两个模块。第一个模块基于片段抽取方面词和观点词,在片段特征表示中融入片段首尾和长度信息,关注方面词和观点词的边界信息;第二个模块判断方面词-观点词片段对表达的情感极性,采用基于悬浮标记的片段对特征表示方式,侧重于学习三元组各元素之间的依赖关系。模型利用两个独立编码器,分别为两模块提取不同的特征信息。多个数据集上的对比实验结果表明,该模型相较于目前最优的流水线模型和端到端模型具有更优的效果。通过有效性实验,验证了片段特征表示和片段对特征表示以及两个独立编码器的有效性。

融合语义和句法信息的方面情感三元组抽取

方面情感三元组抽取(ASTE)是方面情感分析中一项极具挑战性的子任务,目的是提取所给句子中的方面项、观点项和对应的情感极性。现有的面向ASTE任务的模型分为流水线模型和端到端模型。针对流水线模型易受到错误传播的影响,且大部分现有端到端模型忽略了句子中丰富的句法信息问题,提出一种语义和句法增强的双通道方面情感三元组抽取模型(SSED-ASTE)。首先,使用BERT(Bidirectional Encoder Representation from Transformers)编码器对上下文编码;其次,使用双向长短期记忆(Bi-LSTM)网络捕捉上下文语义依赖关系;再次,通过2个并行的图卷积网络(GCN)分别使用自注意力机制和依存句法分析提取语义特征和句法特征并融合;最后,使用网格标记方案(GTS)抽取三元组。在4个公开数据集上进行实验分析,与GTS-BERT模型相比,所提模型的F1值分别提升了0.29、1.50、2.93和0.78个百分点。实验结果表明,所提模型可以有效利用句子中隐含的语义信息和句法信息,实现较准确的三元组抽取。