基于网络融合的改进MobileViT人脸表情识别

从轻量化模型的角度提出一种基于网络融合的改进MobileViT人脸表情识别网络。该网络将多尺度卷积PSConv和注意力机制通过残差结构进行融合,形成RAPSConv特征重构模块,该模块能从细粒度角度更高效地提取多尺度特征,加强关键特征表达,进而提高网络的表达能力,构建出一个端到端的表情识别网络。同时,为了进一步缩小同类表情间差距,提出联合使用Softmax Loss和Center Loss损失函数,有效减少了表情识别的误判率。实验结果表明,改进后的网络在3个自然场景表情数据集FER2013、FER+和RAF-DB上的准确率均优于基础网络MobileViT,准确率分别提高了1.73%,2.18%和1.64%,改进后的网络参数量较少,鲁棒性较强,便于实现轻量化和集成,适合人脸表情识别在现实场景中的应用。