基于多模态的线上学习专注度评价

针对线上学习状态难以有效评估问题,提出一种基于多模态的线上学习专注度评价模型CE-HPE。CE-HPE利用头部姿态与面部表情两种模态特征进行专注度估计,结合6DRepNet算法预测头部偏航角和俯仰角,利用改进的DAN算法RES-DAN实现表情分类,对两种模态进行量化,并结合权重计算专注度得分。基于RAF-DB数据集实验结果表明,RES-DAN在准确率上优于对比模型,消融研究也验证RES-DAN各模块的有效性。所设计的线上学习专注度评价系统实现了单人和多人的实时或定期专注度量化评估,能有效地对线上学习状态进行检测和评估。