基于标签嵌入的作文自动评分方法

目前的作文自动评分方法往往采用大型预训练模型来获取语义特征,由于预训练语料与作文领域特征不符,且对长篇作文提取特征效果不佳,因此该类方法的性能并不理想。文中提出了一种基于标签嵌入的作文自动评分方法,使用了一个改进的BiLSTM网络和BERT模型来提取作文的领域特征与抽象特征,同时利用门控机制调整两者对作文评分的影响,最后经过特征融合对作文进行自动评分。实验结果表明,所提出模型在Kaggle ASAP竞赛的作文自动评分数据集上性能显著提升,平均QWK值达到81.22%,验证了标签嵌入方法在作文自动评分任务中的有效性。

自然语言预训练模型知识增强方法综述

将知识引入到依靠数据驱动的人工智能模型中是实现人机混合智能的一种重要途径。当前以BERT为代表的预训练模型在自然语言处理领域取得了显著的成功,但是由于预训练模型大多是在大规模非结构化的语料数据上训练出来的,因此可以通过引入外部知识在一定程度上弥补其在确定性和可解释性上的缺陷。该文针对预训练词嵌入和预训练上下文编码器两个预训练模型的发展阶段,分析了它们的特点和缺陷,阐述了知识增强的相关概念,提出了预训练词嵌入知识增强的分类方法,将其分为四类:词嵌入改造、层次化编解码过程、优化注意力和引入知识记忆。将预训练上下文编码器的知识增强方法分为任务特定和任务通用两大类,并根据引入知识的显隐性对其中任务通用的知识增强方法进行了进一步的细分。该文通过分析预训练模型知识增强方法的类型和特点,为实现人机混合的人工智能提供了模式和算法上的参考依据。

文本情绪分析中词嵌入模型对比研究

在利用神经网络进行文本情绪分析时,不同的词嵌入会得到不同的判断结果。该文对比了由文本自身建立的基线模型和预训练词嵌入模型GloVe以及FastText的识别效果,通过实验得出了在不同情况下两种类型的识别优劣性。此外,针对两种预训练词嵌入,得出高频词汇的缺失对总体结果无重要影响的结论。