基于自注意力机制与特征融合的课堂学生表情识别模型

为解决通常课堂场景下学生人脸表情识别的遮挡问题,通过部分分割和随机遮挡策略将原图分割成多路人脸图像,采用相同的残差网络提取特征,借助自注意力机制为多路网络分配不同权重,再对损失函数进行约束以限制遮挡支路权重始终小于眼部支路权重,进而得到加权后的支路特征并通过特征融合形成全局特征。在公开数据集FERplus上实验表明,模型能够大幅度提升人脸表情识别的准确率,有效缓解复杂场景下因遮挡造成的信息损失问题。