基于ERNIE模型的中文文本分类研究

针对基于深度学习的中文文本分类任务中词向量表示无法充分利用语义信息的问题,提出一种基于知识增强语义表示(enhanced representation through knowledge integration,ERNIE)模型的中文文本分类方法。首先,通过ERNIE模型获得语义表达更充分的分布式文本表示;然后引入深度卷积神经网络对上下文的编码特征进一步提取,以获得更深层次的文本特征表达;最后采用分类器(soft maximum,softmax)实现中文文本分类。在3个公开的中文数据集上进行了多组对比试验,发现本模型与传统基于双向编码器表征量(bidirectional encoder representation from transformers,BERT)的分类模型相比,准确率和F_(1)值分别平均提升了6.34%、4.82%,表明基于ERNIE模型的文本分类方法能有效提高中文文本分类的性能。本方法在多领域中文文本数据集上能够更准确地实现文本的分类,可为后续自然语言处理领域研究提供参考。

融合GRU和注意力机制的知识追踪优化模型研究

【目的】现有基于注意力机制的知识追踪模型存在忽略序列顺序信息,模型组成结构单一,对序列信息提取不够充分等问题,对此提出一种多特征融合多结构的新知识追踪模型。模型由循环神经网络,带有位置编码的注意力机制以及因果卷积组成。【方法】首先将经过门控单元网络反应序列和练习序列输入注意力机制中,然后将此输出和经过门控单元网络反应序列的练习序列再一次输入注意力机制中,最后将得到的序列输入到因果卷积中。在序列隐藏信息的提取及注意力权重的分配上进行了优化。【结果】在Assistment2009、Assistment2015及Synthetic-5数据集上与现有的知识追踪模型相比,本文模型AUC(area under curve,曲线下方面积)值平均提升8%。【结论】本研究结果可为智能教育系统的实际应用提供一些参考。