基于局部全局上下文引导的方面级情感分析

情感分析是自然语言处理领域的重要方向之一,现有研究在探索方面词上下文对方面词情感极性的影响时仍存在句法信息捕捉困难、语义信息丢失、语义上下文缺失的问题。针对这些问题,提出一种新颖的结合局部全局上下文引导网络(LGCG)用于提升方面级情感分析的性能和表达能力。该方法首先通过构建文本的依赖句法分析树,为模型引入更多元化的信息特征;然后通过引入上下文聚焦机制将原始文本与依赖句法分析树的特征进行提炼,同时将提练后的局部特征向量与全局特征向量进行特征交互,有效保留方面词的上下文特征信息;最后使用特征聚合模块对局部全局特征进行聚合处理,提高了模型对方面词情感极性预测的准确度。在多个基准数据集上的实验结果表明,该模型相比于基线模型在准确率上分别提高了1.67%、1.67%、0.7%、0.16%,在F1值上分别提高了2.55%、2.03%、1.57%、2.08%。

基于双注意力的段落级问题生成研究

段落级问题生成是指从给定的段落中生成一个或多个与之相关的问题。目前的研究主要使用序列到序列的神经网络最大程度地利用段落信息,但这种方法存在冗余信息干扰、无法聚焦重点句子的问题。针对上述问题,该文提出了一种基于双注意力的段落级问题生成模型。该模型首先对段落和答案所在句子分别使用注意力机制,然后利用门控机制动态地分配权重并融合上下文信息,最后利用改进的指针生成网络结合上下文向量和注意力分布来生成问题。实验结果表明,该模型在SQuAD数据集上比现有主流模型具有更高的性能。

面向机器阅读理解的多任务层次微调模型

机器阅读理解与问答一直以来被认为是自然语言理解的核心问题之一,要求模型通过给定的文章与问题去挑选出最佳答案.随着BERT等预训练模型的兴起,众多的自然语言处理任务取得了重大突破,然而在复杂的阅读理解任务方面仍然存在一些不足,针对该任务,提出了一个基于回顾式阅读器的机器阅读理解模型.模型使用RoBERTa预训练模型对问题与文章进行编码,并将阅读理解部分分为词级别的精读模块与句子级别的泛读模块两个模块.这两个模块以两种不同的粒度来获取文章和问题的语义信息,最终结合两个模块的预测答案合并输出.该模型在CAIL2020的数据集上综合F1值达到了66.15%,相较于RoBERTa模型提升了5.38%,并通过消融实验证明了本模型的有效性.

基于双通道语义差网络的方面级别情感分类

方面级别情感分类旨在分析一个句子中不同方面词的情感极性。先前的研究在文本表示上,难以产生依赖于特定方面词的上下文表示;在语义特征分析上,忽略了方面词的双侧文本在整体语义上与方面词情感极性之间具备不同关联度这一特征。针对上述问题,该文设计了一种双通道交互架构,同时提出了语义差这一概念,并据此构建了双通道语义差网络。双通道语义差网络利用双通道架构捕捉相同文本中不同方面词的上下文特征信息,并通过语义提取网络对双通道中的文本进行语义特征提取,最后利用语义差注意力增强模型对重点信息的关注。该文在SemEval2014的Laptop和Restaurant数据集以及ACL的Twitter数据集上进行了实验,分类准确率分别达到了81.35%、86.34%和78.18%,整体性能超过了所对比的基线模型。