基于AU的多任务学生情绪识别方法研究

智能教育快速发展,运用人工智能提升教育质量和效率已成为趋势。学生作为教育的核心,其情绪状态对教育成效具有至关重要的影响。为了深入研究学生情绪,收集了课堂场景中的学生学习视频,包括听课和小组讨论两种情境,并据此建立了一个多任务学生情绪数据库。面部作为内在情绪状态的直接外在体现,显示出AU与情绪之间的紧密关联。在此基础上,提出了一个基于多任务学习的学生情绪识别模型Multi-SER。该模型通过结合AU识别和学生情绪识别两项任务,挖掘各个AU与学生情绪之间的关联关系,进而提升模型在学生情绪识别方面的性能。在多任务实验中,Multi-SER模型的情绪识别准确率达到了80.87%,相比单情绪识别任务模型SE-C3DNet+,效果提升了3.11%。实验结果表明,通过多任务学习挖掘AU和情绪之间的关联关系,模型在分类各种情绪方面的性能得到了提升。