基于图卷积神经网络的面部动作单元检测

情绪识别已广泛应用于教学效果评估和心理疾病检测等场景,面部动作单元检测是情绪识别的关键步骤。在图卷积神经网络基础上,融合残差网络(Residual Network,ResNet)、压缩激励网络(Squeeze and Excitation Networks,SENet)、全卷积神经网络(Fully Convolutional Networks,FCN)4种网络结构,建立带有注意力机制的面部动作单元检测模型,并在丹佛大学自发面部运动单元数据库(Denver Intensity of Spontaneous Facial Action,DISFA)和CK+两个公共数据集上进行了验证实验。实验结果表明,该模型的性能优于传统面部动作单元检测模型。

基于自监督的人脸面部动作单元检测

为了能够更好地从无标注图像中提取和人脸信息相关的特征,从而提升面部动作单元检测的准确度,提出了基于自监督的人脸面部动作单元检测方法。该方法将vision transformer作为编码器提取视频序列中每一帧的人脸特征,并利用视频序列中自然存在的时序特性对这些特征构造三元组损失函数。同时利用每个视频中个体信息的一致性,将提取出的人脸特征解耦为个体特征和表情特征,从而为人脸面部动作单元检测等下游任务剔除掉无关的噪音,进而提升下游任务的表现性能。通过在BP4D数据集上进行的实验与其他最先进的自监督方法进行对比,本文的方法在性能上超越了已有的其他方法。

基于深度学习的面部动作单元识别算法

面部动作单元识别任务是理解人脸表情最重要的环节之一,但因为类别极度不平衡和属于多标签分类等问题,给算法设计带来了不小的困难。针对这些问题设计了一种基于深度学习的面部动作单元识别算法。首先,基于迁移学习理论,以人脸识别任务为目标驱动,使用大规模数据集预训练卷积网络,使模型具有提取人脸抽象特征的能力;其次,设计了一个根据分类置信度来动态加权样本损失大小的目标函数,使得模型更关注于优化少数类样本;最后,结合多标签共现关系拟合和人脸关键点回归两个相关任务,联合训练模型并测试。实验结果表明,该方法在CK+和MMI数据集上能有效提升分类正确率与F1分数。

面部动作单元检测方法进展与挑战

人脸动作编码系统从人脸解剖学的角度定义了一组面部动作单元(action unit,AU),用于精确刻画人脸表情变化。每个面部动作单元描述了一组脸部肌肉运动产生的表观变化,其组合可以表达任意人脸表情。AU检测问题属于多标签分类问题,其挑战在于标注数据不足、头部姿态干扰、个体差异和不同AU的类别不均衡等。为总结近年来AU检测技术的发展,本文系统概述了2016年以来的代表性方法,根据输入数据的模态分为基于静态图像、基于动态视频以及基于其他模态的AU检测方法,并讨论在不同模态数据下为了降低数据依赖问题而引入的弱监督AU检测方法。针对静态图像,进一步介绍基于局部特征学习、AU关系建模、多任务学习以及弱监督学习的AU检测方法。针对动态视频,主要介绍基于时序特征和自监督AU特征学习的AU检测方法。最后,本文对比并总结了各代表性方法的优缺点,并在此基础上总结和讨论了面部AU检测所面临的挑战和未来发展趋势。

基于多源视觉信息和特征选择的疲劳检测方法

针对传统疲劳检测方法因提取的特征比较单一,导致检测精度较低的问题,本文结合面部动作单元和头部姿态两种维度的视觉信息表征疲劳,并在视频段上分别提取这两种信息的8个统计量作为疲劳特征。同时提出MI-FCBF特征选择算法,该算法通过比较特征的互信息值和对称不确定性去除无关特征和冗余特征,在不影响分类精度的前提下降低特征维度。实验结果表明,本文提出的基于多源视觉信息和特征选择的疲劳检测方法能够以较低维度的特征有效检测驾驶员的疲劳状态,提高了检测模型的泛化能力。

类别敏感的全局时序关联视频动作检测

目的视频动作检测是视频理解领域的重要问题,该任务旨在定位视频中动作片段的起止时刻并预测动作类别。动作检测的关键环节包括动作模式的识别和视频内部时序关联的建立。目前主流方法往往试图设计一种普适的检测算法以定位所有类别的动作,忽略了不同类别间动作模式的巨大差异,限制了检测精度。此外,视频内部时序关联的建立对于检测精度至关重要,图卷积常用于全局时序建模,但其计算量较大。针对当前方法的不足,本文提出动作片段的逐类检测方法,并借助门控循环单元以较低的计算代价有效建立了视频内部的全局时序关联。方法动作模式识别方面,首先对视频动作进行粗略分类,然后借助多分支的逐类检测机制对每类动作进行针对性检测,通过识别视频局部特征的边界模式来定位动作边界,通过识别动作模式来评估锚框包含完整动作的概率;时序建模方面,构建了一个简洁有效的时序关联模块,利用门控循环单元建立了当前时刻与过去、未来时刻间的全局时序关联。上述创新点整合为类别敏感的全局时序关联视频动作检测方法。结果为验证本文方法的有效性,使用多种视频特征在两个公开数据集上进行实验,并与其他先进方法进行比较。在ActivityNet-1.3数据集中,该方法在双流特征下的平均mAP(mean average precision)达到35.58%,优于其他现有方法;在THUMOS-14数据集中,该方法在多种特征下的指标均取得了最佳性能。实验结果表明,类别敏感的逐类检测思路和借助门控循环单元的时序建模方法有效提升了视频动作检测精度。此外,提出的时序关联模块计算量低于使用图卷积建模的其他主流模型,且具备一定的泛化能力。结论提出了类别敏感的全局时序关联视频动作检测模型,实现了更为细化的逐类动作检测,同时借助门控循环单元设计了时序关联模块,提升了视频动作检测的精度。