融合局部语义与全局信息的人脸表情识别

人脸表情识别在人机交互等人工智能领域发挥着重要作用,当前研究忽略了人脸的语义信息。本文提出了一种融合局部语义与全局信息的人脸表情识别网络,由两个分支组成:局部语义区域提取分支和局部-全局特征融合分支。首先利用人脸解析数据集训练语义分割网络得到人脸语义解析,通过迁移训练的方法得到人脸表情数据集的语义解析。在语义解析中获取对表情识别有意义的区域及其语义特征,并将局部语义特征与全局特征融合,构造语义局部特征。最后,融合语义局部特征与全局特征构成人脸表情的全局语义复合特征,并通过分类器分为7种基础表情之一。本文同时提出了解冻部分层训练策略,该训练策略使语义特征更适用于表情识别,减少语义信息冗余性。在两个公开数据集JAFFE和KDEF上的平均识别准确率分别达到了93.81%和88.78%,表现优于目前的深度学习方法和传统方法。实验结果证明了本文提出的融合局部语义和全局信息的网络能够很好地描述表情信息。