RGB-D动态序列的人脸自然表情识别

区别于以二维静态图像为对象的传统人脸表情识别,提出一种针对RGB-D动态图像序列分析的人脸自然表情自动识别算法.首先针对预处理后的RGB-D表情图像序列提取四维时空纹理特征作为局部动态特征;再利用慢特征分析自动检测表情序列的峰值图像,并提取脸部三维几何模型为全局静态特征;最后结合动、静态特征,经主成分分析降维后输入条件随机场模型完成特征训练和表情识别.经由BU-4DFE人脸表情库验证表明,该算法不但比传统静态表情识别算法和其他动态算法具有优越性,而且能够针对自然展现的表情实现自动识别,为今后算法的实用化提供了可能.

全局卷积和双注意力机制在动态表情识别中的应用

静态面部表情识别无法捕捉表情的动态变化,识别过程中丢失了表情的连续性特征,同时现实情境中存在的表情强度差异给识别带来不利影响。针对以上问题,提出一种全局卷积双注意力机制的强感知学习神经网络模型,对动态表情序列进行识别。该模型通过全局卷积双注意力块重新缩放特征映射通道,引入全局卷积双注意力块(squeeze and excitation-global convolution attention,GCSA)增强残差网络的学习能力,提高表情识别的准确率。在训练的过程中,引入强感知交叉熵损失函数(cross entropy-auxiliary-intensity aware loss,CAI)来处理视频序列中存在不同感知强度帧的问题。通过在公开数据集DFEW和FERV39K上进行实验,从客观指标和主观视觉效果上与经典方法进行比较。结果表明,所提方法在多个性能指标上均优于对比方法,证明了方法的有效性。