基于擦除和生成式模型的情感可解释性分析

情感可解释性分析是近年来比较新颖的研究方向,其目标是在预测文本的情感极性的同时给出决定情感极性的证据片段。该文在仅有情感分类任务数据集的基础上,提出了基于擦除的情感可解释性片段抽取方法,通过被擦除单词对情感极性逻辑判断的波动影响来决定证据的抽取。随后,利用擦除的方法使用模型对公开情感分析数据集中的部分数据进行片段抽取并人工过滤得到有监督数据,再使用T5序列生成式模型进行有监督训练,从而进一步提升证据抽取的性能。最终在“百度2022语言与智能技术竞赛:情感可解释评测”中获得第三名的成绩。

基于神经机器翻译编码器的语义学习分析

神经机器翻译凭借其良好性能成为目前机器翻译的主流方法,然而,神经机器翻译编码器能否学习到充分的语义信息一直是学术上亟待探讨的问题。为了探讨该问题,该文通过利用抽象语义表示(abstract meaning representation, AMR)所包含的语义特征,分别从单词级别、句子级别两种不同的角度去分析神经机器翻译编码器究竟在多大程度上能够捕获到语义信息,并尝试利用额外的语义信息提高机器翻译性能。实验表明:首先神经机器翻译编码器能够学习到较好的单词级和句子级语义信息;其次,当神经机器翻译的训练集规模较小时,利用额外语义信息能够提高翻译性能。

基于多任务预训练的AMR文本生成研究

抽象语义表示(abstract meaning representation,简称AMR)文本生成的任务是给定AMR图,生成与其语义一致的文本.相关工作表明,人工标注语料的规模大小直接影响了AMR文本生成的性能.为了降低对人工标注语料的依赖,提出了基于多任务预训练的AMR文本生成方法.特别地,基于大规模自动标注AMR语料,提出与AMR文本生成任务相关的3个预训练任务,分别是AMR降噪自编码、句子降噪自编码以及AMR文本生成任务本身.此外,基于预训练模型,在朴素微调方法的基础上,进一步提出了基于多任务训练的微调方法,使得最终模型不仅适用于AMR文本生成,同时还适用于预训练任务.基于两个AMR标准数据集的实验结果表明:使用0.39M自动标注数据,提出的预训练方法能够大幅度提高AMR文本生成的性能,在AMR2.0和AMR3.0上分别提高了12.27和7.57个BLEU值,性能分别达到40.30和38.97.其中,在AMR2.0上的性能为目前报告的最优值,在AMR3.0上的性能为目前为止首次报告的性能.

基于预训练的无监督神经机器翻译模型研究

依赖于大规模的平行语料库,神经机器翻译在某些语言对上已经取得了巨大的成功。无监督神经机器翻译UNMT又在一定程度上解决了高质量平行语料库难以获取的问题。最近的研究表明,跨语言模型预训练能够显著提高UNMT的翻译性能,其使用大规模的单语语料库在跨语言场景中对深层次上下文信息进行建模,获得了显著的效果。进一步探究基于跨语言预训练的UNMT,提出了几种改进模型训练的方法,针对在预训练之后UNMT模型参数初始化质量不平衡的问题,提出二次预训练语言模型和利用预训练模型的自注意力机制层优化UNMT模型的上下文注意力机制层2种方法。同时,针对UNMT中反向翻译方法缺乏指导的问题,尝试将Teacher-Student框架融入到UNMT的任务中。实验结果表明,在不同语言对上与基准系统相比,本文的方法最高取得了0.8~2.08个百分点的双语互译评估(BLEU)值的提升。

论如何从传统中汲取精华开展小学国学教育

传统文化是国学教育的重要组成部分,对传承民族精神、弘扬民族文化有着深远的意义。小学是学生认知发展的关键时期,教师要注重国学经典教学,挖掘传统文化的精髓,以深化学生对民族精神的认知,提升学生的文化素养。