结合面部动作单元感知的三维人脸重建算法

三维人脸重建在计算机视觉及动画领域是一项重要任务,它可以为人脸多模态应用提供三维模型结构和丰富的语义信息.然而,单目二维人脸图像缺乏深度信息,预测的三维模型参数不够可靠,从而导致重建效果不佳.提出采用与模型参数高度相关的面部动作单元和人脸关键点作为桥梁,引导模型相关参数回归,以解决单目人脸重建的不适定问题.基于人脸重建的现有数据集,提供一套完整的面部动作单元半自动标注方案,并构建300W-LP-AU数据集.进而提出一种结合动作单元感知的三维人脸重建算法.该算法实现端到端的多任务学习,有效降低了整体训练难度.实验结果表明,该算法能有效地提升三维人脸重建性能,重建的人脸模型具有更高的保真度.

语义关系引导的面部动作单元分析

面部动作单元分析旨在识别人脸图像每个面部动作单元的状态,可以应用于测谎,自动驾驶和智能医疗等场景.近年来,随着深度学习在计算机视觉领域的普及,面部动作单元分析逐渐成为人们关注的热点.面部动作单元分析可以分为面部动作单元检测和面部动作单元强度预测两个不同的任务,然而现有的主流算法通常只针对其中一个问题.更重要的是,这些方法通常只专注于设计更复杂的特征提取模型,却忽略了面部动作单元之间的语义相关性.面部动作单元之间往往存在着很强的相互关系,有效利用这些语义知识进行学习和推理是面部动作单元分析任务的关键.因此,通过分析不同人脸面部行为中面部动作单元之间的共生性和互斥性构建了基于面部动作单元关系的知识图谱,并基于此提出基于语义关系的表征学习算法(semantic relationship embedded representation learning,SRERL).在现有公开的面部动作单元检测数据集(BP4D、DISFA)和面部动作单元强度预测数据集(FERA2015、DISFA)上,SRERL算法均超越现有最优的算法.更进一步地,在BP4D+数据集上进行泛化性能测试和在BP4D数据集上进行遮挡测试,同样取得当前最优的性能.

基于事例的面部动作单元识别算法

本文提出基于事例的交互式遗传算法进行面部动作单元识别的算法,将用户的比较能力融入到搜索过程,快速检索到与待识别图像匹配的事例图像,从而实现动作单元的半自动识别。该方法不需抽取图像特征,因而可用于识别非控制成像条件下自发面部图像或图像序列中的动作单元,具有较好的鲁棒性和实用性。文中采用16幅受控成像条件下收集的简单图像进行实验,单独AU的平均识别率达到77.5%,AU组合的平均相似度为82.8%。采用10幅有干扰的非受控成像条件下收集的复杂图像进行实验,单独AU的平均识别率为82.8%,AU组合的平均相似度为93.1%。相对于特征脸算法,本文算法的平均识别率和相似度都有较大程度的提高。

基于深度学习的面部动作单元识别算法

面部动作单元识别任务是理解人脸表情最重要的环节之一,但因为类别极度不平衡和属于多标签分类等问题,给算法设计带来了不小的困难。针对这些问题设计了一种基于深度学习的面部动作单元识别算法。首先,基于迁移学习理论,以人脸识别任务为目标驱动,使用大规模数据集预训练卷积网络,使模型具有提取人脸抽象特征的能力;其次,设计了一个根据分类置信度来动态加权样本损失大小的目标函数,使得模型更关注于优化少数类样本;最后,结合多标签共现关系拟合和人脸关键点回归两个相关任务,联合训练模型并测试。实验结果表明,该方法在CK+和MMI数据集上能有效提升分类正确率与F1分数。

基于自监督的人脸面部动作单元检测

为了能够更好地从无标注图像中提取和人脸信息相关的特征,从而提升面部动作单元检测的准确度,提出了基于自监督的人脸面部动作单元检测方法。该方法将vision transformer作为编码器提取视频序列中每一帧的人脸特征,并利用视频序列中自然存在的时序特性对这些特征构造三元组损失函数。同时利用每个视频中个体信息的一致性,将提取出的人脸特征解耦为个体特征和表情特征,从而为人脸面部动作单元检测等下游任务剔除掉无关的噪音,进而提升下游任务的表现性能。通过在BP4D数据集上进行的实验与其他最先进的自监督方法进行对比,本文的方法在性能上超越了已有的其他方法。

面部动作单元检测方法进展与挑战

人脸动作编码系统从人脸解剖学的角度定义了一组面部动作单元(action unit,AU),用于精确刻画人脸表情变化。每个面部动作单元描述了一组脸部肌肉运动产生的表观变化,其组合可以表达任意人脸表情。AU检测问题属于多标签分类问题,其挑战在于标注数据不足、头部姿态干扰、个体差异和不同AU的类别不均衡等。为总结近年来AU检测技术的发展,本文系统概述了2016年以来的代表性方法,根据输入数据的模态分为基于静态图像、基于动态视频以及基于其他模态的AU检测方法,并讨论在不同模态数据下为了降低数据依赖问题而引入的弱监督AU检测方法。针对静态图像,进一步介绍基于局部特征学习、AU关系建模、多任务学习以及弱监督学习的AU检测方法。针对动态视频,主要介绍基于时序特征和自监督AU特征学习的AU检测方法。最后,本文对比并总结了各代表性方法的优缺点,并在此基础上总结和讨论了面部AU检测所面临的挑战和未来发展趋势。

基于分布式边缘计算的情绪识别系统

近年来,边缘计算和人工智能结合的模式越来越流行。面部动作单元(ActionUnit)检测分析是一种通过分析局部面部区域中某些原子肌肉运动的线索来识别面部表情的方法。根据面部特征点的检测,可以计算出AU的值,然后通过对这些AU值进行分类来进行实时情绪检测。然而,在实际的生产过程中,由于传输面部动作单元特征数据网络的开销巨大,这会给在生产中的通信网络带来新的挑战,因此可以选择使用树莓派,实验中设计了基于轻量级边缘计算的分布式系统,优化了数据传输和组件部署。将部分计算任务转移到服务器附近,前端和后端处理模式分开可以有效缩短往返延迟,从而完成复杂的计算任务,并提高可靠性,大规模连接服务。

基于多源视觉信息和特征选择的疲劳检测方法

针对传统疲劳检测方法因提取的特征比较单一,导致检测精度较低的问题,本文结合面部动作单元和头部姿态两种维度的视觉信息表征疲劳,并在视频段上分别提取这两种信息的8个统计量作为疲劳特征。同时提出MI-FCBF特征选择算法,该算法通过比较特征的互信息值和对称不确定性去除无关特征和冗余特征,在不影响分类精度的前提下降低特征维度。实验结果表明,本文提出的基于多源视觉信息和特征选择的疲劳检测方法能够以较低维度的特征有效检测驾驶员的疲劳状态,提高了检测模型的泛化能力。

基于ADCP-TOP的微表情识别方法

微表情识别的难点是情绪持续时间短,面部动作变化微小。为此,提出一种基于相邻双交叉局部二值模式(ADCP-TOP)的微表情识别方法,针对微表情特点将邻域像素之间关系引入,使得对细节信息提取更丰富,捕捉微小变化能力增强。通过对奇偶位置的采样点分开编码,将结构信息量化,在保证信息量增加的同时使维度减小,并增强鲁棒性。此外,通过面部动作单元划分细粒度感兴趣区域(FROI)提取ADCP-TOP特征,以进一步增强对细节信息提取能力。最后,在SMIC和CASME2数据库中的实验表明,提出的识别方法取得更高识别率。