一种基于光流双输入网络的微表情顶点帧检测方法

微表情顶点帧蕴含着丰富的微表情信息,为了准确地检测出微表情顶点帧,本文提出了一种基于光流特征的神经网络分类,并利用先验知识规则进行取舍的检测方法.该方法针对固定滑窗大小内的图像进行光流信息提取,利用双输入特征提取网络对x,y方向的光流信息进行时空特征提取,并进行分类,经根据微表情先验知识所设计的取舍规则后处理后,改善了检测准确度.实验结果表明,在数据集CASMEⅡ上测试,顶点定位率(apex spotting rate,ASR)指标达到了0.945,F_(1)-score指标达到了0.925.

基于卷积注意力模块和双通道网络的微表情识别算法

微表情是一种人类在试图隐藏自己真实情感时作出的面部动作,具有持续时间短、幅度小的典型特点。针对微表情识别难度大、识别效果不理想的问题,提出一种基于卷积注意力模块(CBAM)和双通道网络(DPN)的微表情识别算法——CBAM-DPN。首先,进行典型微表情数据集的数据融合;然后,分析序列帧中像素的变化值以确定顶点帧位置,再对顶点帧进行图像增强处理;最后,基于CBAM-DPN对图像增强后的微表情顶点帧进行特征的有效提取,并构建分类器对微表情进行识别。优化后模型的未加权F1值(UF1)和未加权平均召回率(UAR)分别可以达到0.7203和0.7293,相较于DPN模型分别提高了0.0489和0.0379,相较于CapsuleNet模型分别提高了0.0683和0.0787。实验结果表明,CBAM-DPN算法融合了CBAM和DPN的共同优势,可增强微小特征的信息提取能力,有效改善微表情识别性能。