结合面部动作单元感知的三维人脸重建算法

三维人脸重建在计算机视觉及动画领域是一项重要任务,它可以为人脸多模态应用提供三维模型结构和丰富的语义信息.然而,单目二维人脸图像缺乏深度信息,预测的三维模型参数不够可靠,从而导致重建效果不佳.提出采用与模型参数高度相关的面部动作单元和人脸关键点作为桥梁,引导模型相关参数回归,以解决单目人脸重建的不适定问题.基于人脸重建的现有数据集,提供一套完整的面部动作单元半自动标注方案,并构建300W-LP-AU数据集.进而提出一种结合动作单元感知的三维人脸重建算法.该算法实现端到端的多任务学习,有效降低了整体训练难度.实验结果表明,该算法能有效地提升三维人脸重建性能,重建的人脸模型具有更高的保真度.

语义关系引导的面部动作单元分析

面部动作单元分析旨在识别人脸图像每个面部动作单元的状态,可以应用于测谎,自动驾驶和智能医疗等场景.近年来,随着深度学习在计算机视觉领域的普及,面部动作单元分析逐渐成为人们关注的热点.面部动作单元分析可以分为面部动作单元检测和面部动作单元强度预测两个不同的任务,然而现有的主流算法通常只针对其中一个问题.更重要的是,这些方法通常只专注于设计更复杂的特征提取模型,却忽略了面部动作单元之间的语义相关性.面部动作单元之间往往存在着很强的相互关系,有效利用这些语义知识进行学习和推理是面部动作单元分析任务的关键.因此,通过分析不同人脸面部行为中面部动作单元之间的共生性和互斥性构建了基于面部动作单元关系的知识图谱,并基于此提出基于语义关系的表征学习算法(semantic relationship embedded representation learning,SRERL).在现有公开的面部动作单元检测数据集(BP4D、DISFA)和面部动作单元强度预测数据集(FERA2015、DISFA)上,SRERL算法均超越现有最优的算法.更进一步地,在BP4D+数据集上进行泛化性能测试和在BP4D数据集上进行遮挡测试,同样取得当前最优的性能.

一种结合专家先验知识和运动关联性的人脸运动单元检测算法

目的面部运动单元(AU)为表情识别、微表情分析、压力检测、疲劳检测、测谎等任务提供支撑。本研究的目的是在融合人脸区域专家先验知识及各AU间相互关系的基础上,开发一种稳定而精确的人脸AU检测算法。方法首先利用人脸的关键点,根据人脸区域专家先验知识对人脸图像的各个区域进行精细划分,通过卷积神经网络提取各区域面部图像的高维度特征;然后利用Transformer模型中的编码器对各个区域人脸的高维特征进行AU关系建模以及特征编码;最后利用全连接层构建AU分类器。针对数据集中的类别不均衡和正负样本不平衡问题,在损失函数中融入了一种加权可微F1损失对AU检测模型进行约束。结果本研究在BP4D和DISFA数据集上进行了三折交叉验证实验,其对AU进行检测的平均F1分数分别达到63.8%、61.8%。结论实验结果表明,相比于现有的主流AU检测算法,本文提出的算法在不同的数据集上表现出了更高的稳定性和检测精度。该算法能准确地检测出人脸运动单元,从而为其他人脸表情分析等任务提供有效支撑。

基于AU-GCN与注意力机制的微表情识别

微表情作为一种持续时间非常短的表情,能够隐晦地将人试图压抑与隐藏的真正情感表达出来,在国家安全、司法系统、医学范畴和政治选举等有着较好的应用。但由于微表情有着数据集较少、持续时间短暂、表情幅度低等特点,在识别微表情时存在数据样本量较少、计算量较大、缺失重点特征的关注、易过拟合等困难。因此本文将针对微表情只出现在面部部分区域的特点,借助面部动作单元(Action Units,AU),对其使用加权注意力机制凸显局部特征,并且应用图卷积神经网络找到AU各个节点间的依赖关系,聚合为全局特征,用于微表情识别。实验结果表明,相较于现有方法,本文提出的方法将准确率提高至79.3%。

基于面部运动单元和时序注意力的视频表情识别方法

针对视频序列中表情强度不一致,长短时记忆网络(LSTM)难以有效地提取其特征的问题,提出一种基于面部运动单元和时序注意力的视频表情识别方法.首先在卷积LSTM(ConvLSTM)的基础上引入时序注意力模块,对视频序列进行时序建模,在降低维度的同时保留丰富人脸图像特征信息;其次提出基于面部动作单元的人脸图像分割规则,解决面部表情活跃区域难以界定的问题;最后在模型中嵌入标签修正模块,解决自然条件下数据集中样本不确定性的问题.在MMI,Oulu-CASIA和AFEW数据集上的实验结果表明,所提方法的模型参数量低于已公开的主流模型,且在MMI数据集上的平均识别准确率达到87.22%,高于目前主流方法,在整体效果上优于目前具有代表性的方法.

基于复杂度的抑郁障碍患者作答童年创伤问卷的面部运动特征分析

目的探究抑郁症患者在作答童年创伤问卷过程中的特异性面部运动特征。方法编制常识判断题目作为自然语料对照测验,招募47名抑郁障碍患者(患者组)及53名健康对照者(对照组)分别作答常识判断测验及童年创伤问卷,采用广义估计方程分析被试20个面部运动单元(AU)或组合的识别数据。结果患者组及对照组在童年创伤的五个维度上均存在显著差异。AU复杂度的模型检验报告患者组有6个AU的复杂度在童年创伤测验中与对照测验中存在显著差异,其中5个小于对照测验,1个大于对照测验;对照组有13个AU的复杂度在童年创伤测验中与对照测验中存在显著差异,全部小于对照测验。童年创伤测验中,8个AU的复杂度在患者组与对照组间存在显著差异;对照测验中,两组受试者不存在组间差异。结论抑郁症患者在回答童年创伤问卷过程中,比健康人群表现出更为显著的面部运动反应,为抑郁障碍多质融合检测中应用面部运动分析提供了理论基础。

人脸表情识别方法综述

人脸表情识别是模式识别中一个非常重要却十分复杂的课题。首先对计算机人脸表情识别技术的研究背景及发展历程作了简单回顾。然后对近期人脸表情识别的方法进行了分类综述。通过对各种识别方法的分析与比较 ,提出了人脸表情识别技术实用化所需要考虑的几个方面 ,进而展望了今后人脸表情识别技术的发展方向。

人脸活动单元自动识别研究综述

人脸活动单元(action units,AU)的自动识别能应用于行为科学、人机交互、安全、医疗诊断等众多领域,近年来得到了广泛关注.文中阐述了AU自动识别的基本概念、一般过程及其主要特征提取和分类方法,介绍了具有AU编码的代表性人脸表情数据库,并对单个AU与AU组合的识别、AU强度与AU动态性分析的研究现状进行了评述.最后总结了目前AU自动识别研究中存在的主要难点,并展望了其发展方向.

基于事例的面部动作单元识别算法

本文提出基于事例的交互式遗传算法进行面部动作单元识别的算法,将用户的比较能力融入到搜索过程,快速检索到与待识别图像匹配的事例图像,从而实现动作单元的半自动识别。该方法不需抽取图像特征,因而可用于识别非控制成像条件下自发面部图像或图像序列中的动作单元,具有较好的鲁棒性和实用性。文中采用16幅受控成像条件下收集的简单图像进行实验,单独AU的平均识别率达到77.5%,AU组合的平均相似度为82.8%。采用10幅有干扰的非受控成像条件下收集的复杂图像进行实验,单独AU的平均识别率为82.8%,AU组合的平均相似度为93.1%。相对于特征脸算法,本文算法的平均识别率和相似度都有较大程度的提高。

基于面部动作单元组合特征的表情识别

人脸表情可以被看作是由面部表情编码系统(FACS)定义的不同面部运动单元的组合。不同于人脸图像的灰度、纹理等表象特征,基于面部运动单元的表情混合特征能够更准确地描述表情,然而,面部运动单元很难精确定位,为了避免这个问题,在前人的工作中通过将图像分成许多子块,并从子块中提取面部运动单元信息来组成基于面部运动单元的表情成分特征。在此基础上,本文首先通过对人脸图像的眼睛和口部作粗定位,接着根据眼睛和口部的水平位置,提取眼睛区域、口部区域和鼻子区域的图像子块,然后对每个子块提取Haar特征,并采用错误率最小策略从这些子块中选出面部运动单元组合特征,最后使用组合特征进行学习得出弱分类器,并嵌入到Boost学习结构中构造出强分类器。通过在Cohn-Kanada数据库上的测试,证明本文的方法能够取得很好的表情分类效果。

基于小数据集下贝叶斯网络建模的面部表情识别

针对面部表情识别过程中获得的特征样本稀少的问题,提出了一种基于小数据集下贝叶斯网络(BN)建模的面部表情识别方法。首先提取面部表情图像的几何特征和HOG特征,经特征融合和归一化等处理构成动作单元(AU)标签样本集;其次提出了用于面部表情识别的BN结构,并将定性专家经验转化为BN条件概率之间的约束集合,随后引入凸优化最大化求解完成BN模型参数的估算;最后利用联合树推理算法识别出面部表情。实验结果表明:在小数据集条件下,与支持向量机(SVM)、Adaboost和卷积神经网络(CNN)等人脸表情分类方法相比,该方法能够取得更准确的面部表情识别结果。

基于语义属性的人脸表情识别新方法

针对人脸表情底层视觉特征无法表达高层语义的问题,提出一种基于语义属性的人脸表情识别新方法.该方法利用表情语义属性这一中间人脸表情特征表示方法可在个别类别样本很少的情况下共享情感特征信息的特点,通过统计CK+库中人脸表情AU(Action Unit)编码建立表情语义属性与表情类别矩阵,然后采用SIFT(Scale-Invariant Feature Transform)底层视觉特征训练获得语义属性标注器,最后利用贝叶斯模型识别人脸表情.在CK+和BU-3DFE两个公开人脸表情数据库上的实验结果表明,与其它底层特征提取方法相比,该方法能有效提取表情特征信息并且把8种表情类别的平均识别率提高了4%.

面部认知行为特征提取探索

为了较全面表征面部外显的语义信息,在当前研究成果的基础上,借鉴人类认知经验,提出面部认知行为特征这一概念,并对其计算模型与分析方法进行了初步的探索.在认知心理学与心理学研究的基础上,提出一种具有时空结合、多分辨率、动态等特点的面部认知行为特征识别模型,初步抽取了11种面部认知行为特征,并建立了它们与对应面部运动单元之间的对应关系;在面部认知行为模型的基础上,给出了一种融合阈值决策与隐马尔科夫模型进行面部认知行为特征识别的方法,主要包括FACS AUs特征的时空分析、基于AUs的面部认知行为特征检测两部分.实验表明:本文所提方案可以有效识别面部认知行为特征.

基于深度学习的面部动作单元识别算法

面部动作单元识别任务是理解人脸表情最重要的环节之一,但因为类别极度不平衡和属于多标签分类等问题,给算法设计带来了不小的困难。针对这些问题设计了一种基于深度学习的面部动作单元识别算法。首先,基于迁移学习理论,以人脸识别任务为目标驱动,使用大规模数据集预训练卷积网络,使模型具有提取人脸抽象特征的能力;其次,设计了一个根据分类置信度来动态加权样本损失大小的目标函数,使得模型更关注于优化少数类样本;最后,结合多标签共现关系拟合和人脸关键点回归两个相关任务,联合训练模型并测试。实验结果表明,该方法在CK+和MMI数据集上能有效提升分类正确率与F1分数。

基于卷积神经网络的三维动画表情生成及情感监督方法

针对在线学习,提出一种三维动画表情生成方法,复现学生学习过程中的情感状态,同时对学生进行情感监督。将视频作为输入,通过卷积神经网络识别人脸动作单元,将识别结果作为驱动虚拟替身的数据使其面部发生形变从而生成表情;基于识别结果计算情感指数,进行可视化分析生成情感监督图表。研究得出:用户对提供的表情生成效果和情感指数符合程度的评分均值达到83.97。手动生成的表情同自动生成表情的对比实验证明:效果一致。最终呈现3种可视化结果(动画表情生成效果、情感指数波动图和情感指数分布图),为教师提供了具有学生隐私保护的情感监督和学习状态反馈。

抑郁障碍高危人群特质测验中面部运动表情特征提取与识别

目的针对传统以自陈式量表和结构化访谈等方式进行的心理测量容易受心理医师专业素养、被试情绪及诚实度等主观因素影响的缺点,将面部表情这种客观生理信息特征引入心理测量中,提出一种基于频域面部运动特征的辅助心理测量方法,将其应用于抑郁障碍高危人群特质测验中。方法利用抑郁障碍高危人群特质筛查量表为刺激材料,采集被试面部视频数据,计算面部运动单元强度序列并将其转换到频域,提取低频分量,通过主成分分析消除特征间的相关性并降低特征维数,利用支持向量机分类器并结合相应的特征选择算法,训练出最优的分类模型。结果军队抑郁障碍高危人群的筛查中的5折交叉验证结果表明,在量表所有条目的刺激下,该方法可以取得的识别准确率达到88%,特异度达到90%,灵敏度达到90%。结论本文提出的客观面部运动表情特征提取及分类算法是有效的,可作为辅助心理测量工具。

基于深度学习和表情AU参数的人脸动画方法

为了利用计算机方便快捷地生成表情逼真的动漫人物,提出一种基于深度学习和表情AU参数的人脸动画生成方法.该方法定义了用于描述面部表情的24个面部运动单元参数,即表情AU参数,并利用卷积神经网络和FEAFA数据集构建和训练了相应的参数回归网络模型.在根据视频图像生成人脸动画时,首先从单目摄像头获取视频图像,采用有监督的梯度下降法对视频帧进行人脸检测,进而对得到的人脸表情图像准确地回归出表情AU参数值,将其视为三维人脸表情基系数,并结合虚拟人物相对应的24个基础三维表情形状和中立表情形状,在自然环境下基于表情融合变形模型驱动虚拟人物生成人脸动画.该方法省去了传统方法中的三维重建过程,并且考虑了运动单元参数之间的相互影响,使得生成的人脸动画的表情更加自然、细腻.此外,基于人脸图像比基于特征点回归出的表情系数更加准确.

面部运动单元检测研究综述

面部运动单元检测旨在让计算机从给定的人脸图像或视频中自动检测需要关注的运动单元目标。经过二十多年的研究,尤其是近年来越来越多的面部运动单元数据库的建立和深度学习的兴起,面部运动单元检测技术发展迅速。首先,阐述了面部运动单元的基本概念,介绍了已有的常用面部运动单元检测数据库,概括了包括预处理、特征提取、分类器学习等步骤在内的传统检测方法;然后针对区域学习、面部运动单元关联学习、弱监督学习等几个关键研究方向进行了系统性的回顾梳理与分析;最后讨论了目前面部运动单元检测研究存在的不足以及未来潜在的发展方向。

微表情类别与区域间关联度的分析方法研究

为了揭示微表情类别与面部各区域之间的关联度,提出一种局部区域划分和分析方法。该方法首先根据各类微表情对应动作单元所在的位置确定出人脸中最为关键的7个局部区域,然后采用面部形变鉴别模型自动检测出面部49个关键点坐标,再根据这些点确定上述局部区域的4个边界。最后,分别提取各区域的时空模式特征并进行微表情分类,通过各区域对各类微表情的分类准确率来分析两者之间的关联度。实验结果表明,局部区域划分方案科学合理,微表情"惊奇"及"厌恶"与眼睛区域、微表情"高兴"与嘴巴区域、微表情"压抑"与下巴区域有较高的关联度。

基于分布式边缘计算的情绪识别系统

近年来,边缘计算和人工智能结合的模式越来越流行。面部动作单元(ActionUnit)检测分析是一种通过分析局部面部区域中某些原子肌肉运动的线索来识别面部表情的方法。根据面部特征点的检测,可以计算出AU的值,然后通过对这些AU值进行分类来进行实时情绪检测。然而,在实际的生产过程中,由于传输面部动作单元特征数据网络的开销巨大,这会给在生产中的通信网络带来新的挑战,因此可以选择使用树莓派,实验中设计了基于轻量级边缘计算的分布式系统,优化了数据传输和组件部署。将部分计算任务转移到服务器附近,前端和后端处理模式分开可以有效缩短往返延迟,从而完成复杂的计算任务,并提高可靠性,大规模连接服务。