结合面部动作单元感知的三维人脸重建算法

三维人脸重建在计算机视觉及动画领域是一项重要任务,它可以为人脸多模态应用提供三维模型结构和丰富的语义信息.然而,单目二维人脸图像缺乏深度信息,预测的三维模型参数不够可靠,从而导致重建效果不佳.提出采用与模型参数高度相关的面部动作单元和人脸关键点作为桥梁,引导模型相关参数回归,以解决单目人脸重建的不适定问题.基于人脸重建的现有数据集,提供一套完整的面部动作单元半自动标注方案,并构建300W-LP-AU数据集.进而提出一种结合动作单元感知的三维人脸重建算法.该算法实现端到端的多任务学习,有效降低了整体训练难度.实验结果表明,该算法能有效地提升三维人脸重建性能,重建的人脸模型具有更高的保真度.

语义关系引导的面部动作单元分析

面部动作单元分析旨在识别人脸图像每个面部动作单元的状态,可以应用于测谎,自动驾驶和智能医疗等场景.近年来,随着深度学习在计算机视觉领域的普及,面部动作单元分析逐渐成为人们关注的热点.面部动作单元分析可以分为面部动作单元检测和面部动作单元强度预测两个不同的任务,然而现有的主流算法通常只针对其中一个问题.更重要的是,这些方法通常只专注于设计更复杂的特征提取模型,却忽略了面部动作单元之间的语义相关性.面部动作单元之间往往存在着很强的相互关系,有效利用这些语义知识进行学习和推理是面部动作单元分析任务的关键.因此,通过分析不同人脸面部行为中面部动作单元之间的共生性和互斥性构建了基于面部动作单元关系的知识图谱,并基于此提出基于语义关系的表征学习算法(semantic relationship embedded representation learning,SRERL).在现有公开的面部动作单元检测数据集(BP4D、DISFA)和面部动作单元强度预测数据集(FERA2015、DISFA)上,SRERL算法均超越现有最优的算法.更进一步地,在BP4D+数据集上进行泛化性能测试和在BP4D数据集上进行遮挡测试,同样取得当前最优的性能.

基于图卷积神经网络的面部动作单元检测

情绪识别已广泛应用于教学效果评估和心理疾病检测等场景,面部动作单元检测是情绪识别的关键步骤。在图卷积神经网络基础上,融合残差网络(Residual Network,ResNet)、压缩激励网络(Squeeze and Excitation Networks,SENet)、全卷积神经网络(Fully Convolutional Networks,FCN)4种网络结构,建立带有注意力机制的面部动作单元检测模型,并在丹佛大学自发面部运动单元数据库(Denver Intensity of Spontaneous Facial Action,DISFA)和CK+两个公共数据集上进行了验证实验。实验结果表明,该模型的性能优于传统面部动作单元检测模型。

基于事例的面部动作单元识别算法

本文提出基于事例的交互式遗传算法进行面部动作单元识别的算法,将用户的比较能力融入到搜索过程,快速检索到与待识别图像匹配的事例图像,从而实现动作单元的半自动识别。该方法不需抽取图像特征,因而可用于识别非控制成像条件下自发面部图像或图像序列中的动作单元,具有较好的鲁棒性和实用性。文中采用16幅受控成像条件下收集的简单图像进行实验,单独AU的平均识别率达到77.5%,AU组合的平均相似度为82.8%。采用10幅有干扰的非受控成像条件下收集的复杂图像进行实验,单独AU的平均识别率为82.8%,AU组合的平均相似度为93.1%。相对于特征脸算法,本文算法的平均识别率和相似度都有较大程度的提高。

基于深度学习的面部动作单元识别算法

面部动作单元识别任务是理解人脸表情最重要的环节之一,但因为类别极度不平衡和属于多标签分类等问题,给算法设计带来了不小的困难。针对这些问题设计了一种基于深度学习的面部动作单元识别算法。首先,基于迁移学习理论,以人脸识别任务为目标驱动,使用大规模数据集预训练卷积网络,使模型具有提取人脸抽象特征的能力;其次,设计了一个根据分类置信度来动态加权样本损失大小的目标函数,使得模型更关注于优化少数类样本;最后,结合多标签共现关系拟合和人脸关键点回归两个相关任务,联合训练模型并测试。实验结果表明,该方法在CK+和MMI数据集上能有效提升分类正确率与F1分数。

基于自监督的人脸面部动作单元检测

为了能够更好地从无标注图像中提取和人脸信息相关的特征,从而提升面部动作单元检测的准确度,提出了基于自监督的人脸面部动作单元检测方法。该方法将vision transformer作为编码器提取视频序列中每一帧的人脸特征,并利用视频序列中自然存在的时序特性对这些特征构造三元组损失函数。同时利用每个视频中个体信息的一致性,将提取出的人脸特征解耦为个体特征和表情特征,从而为人脸面部动作单元检测等下游任务剔除掉无关的噪音,进而提升下游任务的表现性能。通过在BP4D数据集上进行的实验与其他最先进的自监督方法进行对比,本文的方法在性能上超越了已有的其他方法。

时空关联与图注意力引导的微表情识别网络

微表情作为典型非自发表情可以揭示人类的真实意图,在公安测谎、情感识别以及医学辅助诊断等领域有着重要的应用。现有微表情识别方法主要关注面部局部区域肌肉运动,往往忽略了与微表情产生相关的全局区域关联性。针对上述问题,提出基于时空区域关联与图注意力引导的微表情识别网络。网络由时空关联模块和图注意力模块组成,时空关联模块利用AU结合时空图卷积聚合面部全局区域不同节点的时空特征,并使用Transformer Encoder进一步构建面部远距离节点间的区域相关性,用以加强全局区域间的时空联系。图注意力模块以面部局部区域为基础建立图结构,并指导自注意力的运算,从而获得精确的局部区域关联特征。最后将全局时空和局部关联特征相融合用于微表情的识别。在CASME、CASME II、SAMM 3个主流的微表情数据集上进行了实验,分别取得了82.46%、86.59%和80.88%的优秀识别结果。实验结果表明,本文提出的方法与其他方法相比有更好的表现。

基于生成对抗网络与FACS的面部表情合成研究

为实现从单张图片合成连续变化的目标表情,提出一种基于生成对抗网络(GAN)和面部表情编码系统FACS(Facial Action Coding System)的表情合成方法。通过提取面部表情AU(Action Unit)作为生成表情的一种约束,利用生成对抗算法合成目标表情,这种结合表情编码的合成更具合理性。同时在网络中引入注意力机制,使网络在特征提取阶段更关注表情变化。实验表明,该方法能够克服图像中的光照和背景影响,合成表情具备连续性和真实性。该合成表情方法可应用于数字娱乐、影视制作等领域。

面部动作单元检测方法进展与挑战

人脸动作编码系统从人脸解剖学的角度定义了一组面部动作单元(action unit,AU),用于精确刻画人脸表情变化。每个面部动作单元描述了一组脸部肌肉运动产生的表观变化,其组合可以表达任意人脸表情。AU检测问题属于多标签分类问题,其挑战在于标注数据不足、头部姿态干扰、个体差异和不同AU的类别不均衡等。为总结近年来AU检测技术的发展,本文系统概述了2016年以来的代表性方法,根据输入数据的模态分为基于静态图像、基于动态视频以及基于其他模态的AU检测方法,并讨论在不同模态数据下为了降低数据依赖问题而引入的弱监督AU检测方法。针对静态图像,进一步介绍基于局部特征学习、AU关系建模、多任务学习以及弱监督学习的AU检测方法。针对动态视频,主要介绍基于时序特征和自监督AU特征学习的AU检测方法。最后,本文对比并总结了各代表性方法的优缺点,并在此基础上总结和讨论了面部AU检测所面临的挑战和未来发展趋势。

微表情类别与区域间关联度的分析方法研究

为了揭示微表情类别与面部各区域之间的关联度,提出一种局部区域划分和分析方法。该方法首先根据各类微表情对应动作单元所在的位置确定出人脸中最为关键的7个局部区域,然后采用面部形变鉴别模型自动检测出面部49个关键点坐标,再根据这些点确定上述局部区域的4个边界。最后,分别提取各区域的时空模式特征并进行微表情分类,通过各区域对各类微表情的分类准确率来分析两者之间的关联度。实验结果表明,局部区域划分方案科学合理,微表情"惊奇"及"厌恶"与眼睛区域、微表情"高兴"与嘴巴区域、微表情"压抑"与下巴区域有较高的关联度。

基于分布式边缘计算的情绪识别系统

近年来,边缘计算和人工智能结合的模式越来越流行。面部动作单元(ActionUnit)检测分析是一种通过分析局部面部区域中某些原子肌肉运动的线索来识别面部表情的方法。根据面部特征点的检测,可以计算出AU的值,然后通过对这些AU值进行分类来进行实时情绪检测。然而,在实际的生产过程中,由于传输面部动作单元特征数据网络的开销巨大,这会给在生产中的通信网络带来新的挑战,因此可以选择使用树莓派,实验中设计了基于轻量级边缘计算的分布式系统,优化了数据传输和组件部署。将部分计算任务转移到服务器附近,前端和后端处理模式分开可以有效缩短往返延迟,从而完成复杂的计算任务,并提高可靠性,大规模连接服务。

基于多源视觉信息和特征选择的疲劳检测方法

针对传统疲劳检测方法因提取的特征比较单一,导致检测精度较低的问题,本文结合面部动作单元和头部姿态两种维度的视觉信息表征疲劳,并在视频段上分别提取这两种信息的8个统计量作为疲劳特征。同时提出MI-FCBF特征选择算法,该算法通过比较特征的互信息值和对称不确定性去除无关特征和冗余特征,在不影响分类精度的前提下降低特征维度。实验结果表明,本文提出的基于多源视觉信息和特征选择的疲劳检测方法能够以较低维度的特征有效检测驾驶员的疲劳状态,提高了检测模型的泛化能力。

基于VGG的人脸表情识别与分类

为了使人脸表情识别更加快速、准确,以满足复杂社会情境中的需求,本文研究了基于深度卷积神经网络的人脸表情识别方法,实现了人脸不同离散表情识别分类。针对现有数据集数据量不足、深度网络计算易出现过拟合现象等问题,本文基于人脸图片关键点进行了剪裁,获得64个子区域,将数据扩充为64倍,以达到数据增强的目的;使用基于VGG-19网络模型的卷积神经网络,对动作单元进行分类与强度计算,使用Sigmoid函数,使网络具备多标签多分类能力,并在VGG-19网络的第四组卷积层之后加入一个加权处理层,提高准确率。结果显示,增强后叠加的人脸表情识别与分类基本能够完成,而引入加权处理层后的准确率则得到了显著提高。

基于ADCP-TOP的微表情识别方法

微表情识别的难点是情绪持续时间短,面部动作变化微小。为此,提出一种基于相邻双交叉局部二值模式(ADCP-TOP)的微表情识别方法,针对微表情特点将邻域像素之间关系引入,使得对细节信息提取更丰富,捕捉微小变化能力增强。通过对奇偶位置的采样点分开编码,将结构信息量化,在保证信息量增加的同时使维度减小,并增强鲁棒性。此外,通过面部动作单元划分细粒度感兴趣区域(FROI)提取ADCP-TOP特征,以进一步增强对细节信息提取能力。最后,在SMIC和CASME2数据库中的实验表明,提出的识别方法取得更高识别率。