Uni-LSDPM:基于预训练的统一在线学习会话退出预测模型

为了辅助学习者维持在线学习的连贯性以引导最优学习路径的执行,智能辅导系统(intelligent tutoring system,ITS)需要及时发现学习者退出学习的倾向,在合适的时间采取相应的干预措施,因此,在线学习会话退出预测研究十分必要.然而,与传统的课程辍学相比,会话退出发生的频率更高,单次学习时长更短,故需要在有限的行为数据中对学习会话退出状态进行准确预测.因此,学习行为的碎片性和预测结果的即时性、准确性是学习会话退出预测任务的挑战和难点.针对会话退出预测任务,提出了一种基于预训练-微调的统一在线学习会话退出预测模型(unified online learning session dropout prediction model,Uni-LSDPM).该模型采用多层Transformer结构,分为预训练阶段和微调阶段.在预训练阶段,使用双向注意机制对学习者连续行为交互特征序列的特征表示进行学习.在微调阶段,应用序列到序列(sequenceto-sequence,Seq2Seq)的注意力机制对学习者连续行为交互特征序列与退出状态联合序列进行学习.基于EdNet公共数据集对模型进行预训练和微调,通过消融实验以获得最佳预测效果,并基于多个数据集进行了对比测试实验.实验结果表明,Uni-LSDPM在AUC和ACC方面优于现有的模型,并证明该模型具有一定的鲁棒性和扩展性.

Prefix-LSDPM:面向小样本的在线学习会话退出预测模型

在线学习会话退出预测旨在准确预测在线学习过程中的学习会话退出,是智慧教育领域中十分重要的一项研究任务。针对现有模型在小样本场景下预测准确率较低的问题,提出了基于前缀提示的在线学习会话退出预测模型Prefix-LSDPM。该模型为获取单个学习行为内部特征及连续学习行为之间的隐含关联信息,在改进了键值向量的Transformer网络中对提示形式的合成序列进行掩码学习;为降低模型训练涉及的参数量以适应小样本学习,将学习会话退出预测任务建模形式靠近预训练任务,并在冻结的预训练参数基础上对提示参数进行调优。基于多个数据集的实验结果表明,Prefix-LSDPM的预测准确率优于现有模型,且在小样本学习中仍能达到较好的预测效果。