融合脸部外观和多行为特征的学生专注度识别网络

在线学习环境中,专注度是衡量用户学习体验的重要指标。提高专注度识别的准确率可以帮助老师及时获得课程反馈,提升用户的学习体验。然而大多数现有的基于视频的专注度识别方法都只利用用户面部外观信息。除了面部外观信息之外,头部姿态和注视角度以及眨眼频率在内的细粒度行为线索也和学习专注度密切相关,但是,前人在专注度识别任务中没有很好地综合考虑以上特征。因此,本文提出一种新的专注度识别模型。该方法结合深度残差网络(ResNet)提取的脸部特征和基于OpenFace捕获的行为特征,这些特征输入到时序卷积网络(TCN)用于分析视频帧时空上的变化,以此识别出学习专注度。我们的模型在大型公开的专注度检测数据集DAiSEE上训练,在专注度四分类达到61.4%的准确率,实验结果表明,我们的方法超过DAiSEE上专注度识别的最先进方法。

用“文学性”唤醒阅读的“灵性”

阅读是语文学习必不可少的组成部分,能够提高高中生的语文学习能力,促进高中生文学素养的养成。高中语文教师在教学中要不断鼓励学生参与灵活多变的阅读活动,并以阅读为契机,引导学生对经典文学作品进行鉴赏。另外,在阅读鉴赏之余,教师还要采取行之有效的读写训练来培养高中生的创作意识。

基于标签分布学习的眼部情绪识别

眼部情绪识别指的是仅从眼部区域的情绪特征识别用户的情绪状态,分析出用户佩戴智能头盔的情景下被遮挡的真实情绪。为了改善眼部区域情绪信息量少、标签歧义性所带来的识别准确度低和识别效率低的问题,本文提出一种用于识别眼部情绪的神经网络模型。该模型包含情绪标签分布生成网络和轻量级的眼部情绪识别网络两个模块。情绪标签分布生成网络会生成眼部图像的情绪分布标签,用于辅助眼部情绪识别网络的参数训练。眼部情绪识别网络包含基于注意力机制的全局特征增强模块以及局部特征增强模块,能够从信息量少的眼部图像推理出用户情绪类别。同时,为了评估网络模型性能,我们构建了2个数据集,分别是REED (Realistic Eye Emotion Datasets)和EMUG (Eye-Multimedia Understanding Group)。实验结果表明,在REED和EMUG数据集的四分类的平均准确率分别达到68.5%和80.9%,七分类的平均准确率分别达到62.0%和68.1%。同时,虽然本文模型的参数量远小于其他网络模型,但是识别效率也要优于其他模型。