基于颜色和光流的多注意力机制微表情识别

针对光流法无法充分利用微表情面部颜色信息,导致识别准确率不高的问题,本文提出一种基于颜色和光流的多注意力双流网络方法。首先,提出以CIE Luv色差图的形式,初步提取人脸情感生理特征,弥补微表情光流特征的单一性和局限性;然后,将PAM模块和ECA block并行组合得到轻量化的双注意力模块,提取空间和通道关键特征;最后,设计一种交叉注意力机制以获取颜色和光流混合特征,将其与空间通道关键特征融合用于分类。本模型在实验中采用留一交叉验证法进行评估,在SAMM数据集上的准确率和F1分数分别达到69.18%和67.04%,在CASMEⅡ数据集上的准确率和F1分数分别达到72.38%和70.85%。实验结果均优于目前主流算法,进一步证明本文模型及其模块在识别微表情方面的有效性。