融合三维人脸动态信息和光流信息的人脸表情识别

人脸表情识别在静态图像上取得了卓越的成效,但这些方法应用于视频或图像序列时,准确度和鲁棒性往往会受到影响。传统的方法通常无法基于空间信息和光流信息进行人脸表情的识别,然而这些辅助识别信息都是二维信息,没有考虑到人脸的表情变化是一种三维的变化过程。为充分挖掘人脸表情识别的深层语义信息,提出了一种基于三维人脸动态信息和光流信息相结合的融合表情识别方法。该方法构建基于人脸深度图像、光流图像和RGB图像的多流卷积神经网络,通过融合3种模态的信息进行人脸表情识别。所提方法在CAER,RAVDESS数据集上进行了充分验证,实验结果表明,其在表情识别性能上优于目前的主流方法,证明了其有效性。

基于深度学习的人脸局部遮挡表情动态识别算法

针对因人脸局部遮挡,导致表情动态特征较难提取和识别问题,提出一种基于深度学习的人脸局部遮挡表情动态识别算法。建立深度信念网络模型,将前一层输出值作为后一层输入值,设计特征堆叠单元,计算可见层中神经元的状态变量分布情况,根据面部五官间动态关联性,将可见层的状态值作为隐藏层的输入值求得隐藏神经元状态变量。将识别过程分为训练和正向传播2个步骤,输出特征变化规律,在正向传播过程中查找符合规律变化的像素点,求解该像素点权重,同时作为损失函数标准,比对面部多个位置的识别权重,约束识别率,完成人脸局部遮挡表情动态识别。实验数据证明,该方法能降低图像失真和细节丢失,提高图像分辨率,识别率高,针对不同局部遮挡情况均能完成高效识别。

跨文化表情识别中的群内优势效应:自发性和呈现方式对气愤和厌恶表情识别的影响

以往研究发现,识别与自身文化背景相同的个体的面部表情比跨文化背景个体更准确,这被称为群内优势效应。然而,以往研究主要关注静态表演表情,对动态表情和自发表情识别中的群内优势效应知之甚少。为了探究群内优势效应是否受表情自发性(表演和自发)和呈现方式(静态和动态)的调节,本研究招募了中国和加拿大/荷兰被试,分别对中国和荷兰模特表演和自发的气愤和厌恶表情(实验1),以及静态和动态表演的气愤和厌恶表情(实验2)进行识别。研究结果显示,在多数情况下,表演和自发表情的识别都呈现群内优势效应,且表演表情的群内优势效应显著高于自发表情;静态和动态表演表情的识别也出现群内优势效应,但两者总体上没有显著差异。这些结果表明,表情识别的群内优势效应会受到表情自发性的调节,但可能不受表情呈现方式的影响。本研究结果对于拓展群内优势效应研究和深化跨文化表情识别理解具有重要意义。

女性重性抑郁症患者识别动态面部表情的神经基础的fMRI研究

目的:利用事件相关设计的功能磁共振成像技术探讨汉族女性抑郁症患者明确和不明确识别动态面部表情的神经基础。方法:以15例女性重性抑郁症患者为病例组(抑郁组),与之相匹配的健康者为对照组,利用配对t检验比较两组在明确和不明确识别动态面部表情时激活脑区的差异,设对比有差异(P<0.001,未校正)的体素范围(K值)≥10为具有显著性差异。结果:(1)与对照组相比,抑郁组在明确识别动态喜悦表情时右枕中回、右顶下小叶、左中央后回、右中央前回、右楔前叶活动增高,而右顶上小叶、左顶上小叶等区域活动降低;抑郁组在不明确识别动态喜悦表情时右顶下小叶活动增高,而右楔叶、右中央后回、左顶上小叶等区域活动降低。(2)与对照组相比,抑郁组在明确识别动态悲伤表情时右枕中回、左中央后回、左楔前叶活动增高,而左额中回活动降低;抑郁组在不明确识别动态悲伤表情时左梭状回、右中央前回、右楔前叶、左颞上回、左缘上回、边缘叶(两侧海马旁回、左后扣带回)、皮质下区以及中脑等区域活动增高,而右中央后回、颞叶等区域活动降低。结论:抑郁症患者和正常对照在识别喜悦情绪时,与情绪产生的相关脑区活动无明显差异,脑区激活的主要差异表现为明确状态下感知面部运动能力降低,而在不明确状态时却增强;而患者在识别悲伤表情时都表现为情绪产生相关脑区活动增强,而情绪调节相关脑区活动减弱,这种异常在无意识状态下(不明确条件下)更为明显。

基于混合注意力机制的动态人脸表情识别

针对自然环境中存在人脸遮挡、姿势变化等复杂因素,以及卷积神经网络(CNN)中的卷积滤波器由于空间局部性无法学习大多数神经层中不同面部区域之间的长程归纳偏差的问题,提出一种用于动态人脸表情识别(DFER)的混合注意力机制模型(HA-Model),以提升DFER的鲁棒性和准确性。HA-Model由空间特征提取和时序特征处理两部分组成:空间特征提取部分通过两种注意力机制——Transformer和包含卷积块注意力模块(CBAM)的网格注意力模块,引导网络从空间角度学习含有遮挡、姿势变化的鲁棒面部特征并关注人脸局部显著特征;时序特征处理部分通过Transformer引导网络学习高层语义特征的时序联系,用于学习人脸表情特征的全局表示。实验结果表明,HA-Model在DFEW和AFEW基准上的准确率分别达到了67.27%和50.41%,验证了HA-Model可以有效提取人脸特征并提升动态人脸表情识别的精度。

基于动态特征的真伪笑容表达与识别

笑容是人类最普遍、最频繁的表情。人类进化出伪装笑容的能力,也拥有部分识别伪装的能力。在表情的表达与识别上,动态信息起着重要的作用。一方面,笑容表达的动态特征可能为区分真伪笑容提供重要的信息,所以我们拟借助近年发展的计算机视觉的特征提取技术,系统地量化分析真伪笑容的动态特征(时长、方向、速度、流畅性、运动对称性、不同部位同步性、头动模式等),考察笑容在不同伪装方式及不同情境下的区别与一致性,深入理解人类笑容表达的特点。另一方面,通过探索有效动态特征与正确识别率的关系,检验知觉-注意假说,了解真伪笑容的识别特点及研究识别机制。通过比较动态真伪笑容的表达特点与识别特点,进一步理解人类表情信号编码与解码之间的关系。

基于动态序列特征的人脸表情识别方法

基于静态灰度图特征识别表情的方法简单、快捷,在进行特定人表情识别时可以取得很好的识别结果,但在进行非特定人表情识别时却容易受到肤色、光照等因素的影响,识别效果较差。通过动态序列提取的运动特征能有效地反映表情运动的形变过程,用于非特定人表情识别时可以取得较好的识别结果。研究了通过光流和帧间灰度差两类方法提取表情序列动态特征,再与支持向量机(SVM)和隐马尔柯夫模型(HMM)两种分类器组合,进行非特定人表情识别,并分析比较了两类方法的特点与优劣,说明了利用运动特征识别人脸表情的有效性。

小学生动态面孔表情识别的眼动特征研究

为探究小学生识别不同动态面孔表情时的眼动特征,以33名小学生为被试,向他们呈现喜、怒、哀、惧四种动态面孔表情的视频,采用眼动仪记录他们识别四种动态面孔表情时的平均瞳孔尺寸、各兴趣区注视时间等眼动特征指标。结果发现:小学生对四种动态表情的识别率存在显著差异,喜的识别率显著高于其他3类表情,怒的识别率则相反;四种动态面孔表情识别时的平均瞳孔尺寸存在显著差异,从大到小依次为惧、哀、怒、喜;小学生对不同兴趣区的注视时间有显著差异,眼睛和眉毛部位的注视时间显著长于其他部位;识别喜、怒、惧时,一年级和五年级小学生对兴趣区的总注视时间显著长于三年级,而在识别哀时则相反。结论:小学生识别动态面孔表情时,最易识别喜,最难识别怒;瞳孔尺寸大小可作为不同类型动态表情识别的较好客观指标;动态表情识别过程中,包含眼睛和眉毛、鼻子部位的上半部分面孔的注视时间明显长于包含嘴巴的下半部分;五年级小学生对动态表情的识别能力最高,三年级小学生呈现出偏好注视哀的独有特征。

材料呈现方式对高功能孤独症儿童面部表情识别的影响

采用6(面部表情类型:高兴、愤怒、悲伤、恐惧、惊讶、厌恶)×2(儿童类型:高功能孤独症儿童、正常儿童)×2(材料呈现方式:静态图片、动态视频)三因素混合实验设计,考察高功能孤独症儿童和正常儿童在静态图片和动态视频两种材料呈现方式下对6种面部表情的识别能力。结果发现:高功能孤独症儿童对面部表情的识别能力较弱,其面部表情识别正确率显著低于正常儿童,对高兴表情的识别正确率显著高于其他5种表情;高功能孤独症儿童和正常儿童对面部表情的识别受材料呈现方式的影响,对动态视频下的面部表情识别正确率显著高于静态图片下,存在"动态加工优势效应",尤其是在对厌恶和恐惧两种表情的识别上。

基于自回归模型的动态表情识别

采用几何信息和纹理信息融合的混合特征,基于自回归(AR)模型,提出一种基于线段的相似度判决方法实现动态表情识别.首先在6种基本表情的图像序列训练集上进行训练得到6种AR模型,然后给定测试表情序列,对每一个测试序列通过6种AR模型生成6种预测序列,接着比较每种预测序列与实际给定序列的相似性,最终根据相似性判断所给序列的表情类别.为了更好地比较预测序列与给定序列的相似性,提出了一种基于线段的相似度判决方法.基于Cohn-Kanade+人脸表情库进行实验结果表明,该方法在动态表情识别上取得了良好的效果.

孤独症儿童对静态与动态面部表情识别的比较

目的比较孤独症儿童对静态和动态面部表情识别的差异。方法采用45名被试进行3(被试类型:ASD、ID、TD)×2(呈现方式:静态、动态)×3(面部表情:高兴、中性、愤怒)三因素重复测量实验,考察孤独症儿童、智力障碍儿童、正常儿童在呈现静态与动态表情时,对高兴、中性和生气表情的识别能力。结果在正确率层面,被试类型、呈现方式和表情类型的交互效应显著(F==2.02,P<0.01),孤独症儿童在两种呈现方式下的表情识别率显著低于对照组被试。在反应时层面,被试类型、呈现方式和表情类型的交互效应显著(F==5.96,P<0.01),孤独症儿童在两种呈现方式的表情反应时显著慢于对照组被试。结论孤独症儿童对积极表情的识别能力优于消极表情;孤独症儿童对静态表情的识别能力优于动态表情。

基于MLGBP-TOP的人脸动态序列表情识别

作为基于Gabor的混合二值模式人脸表情序列图像局部特征提取方法的基础,文章首先介绍了LBP-TOP算子的基本原理,对该方法的不足进行了分析,同时引入中心化二值模式(CBP)和局部微分算子(LDP),以及Gabor滤波器,进而引出了一种新的局部序列图像动态特征提取方法MLGBP-TOP,并将该方法用于人脸表情序列图像特征的提取,最后通过表情识别实验验证方法的有效性。

动态情境对特质焦虑个体面孔表情知觉的影响

本研究探讨动态情境对不同特质焦虑水平者面孔表情知觉的影响。结果显示恐惧情境下的中性面孔唤醒度显著高于中性和愉悦情境下;相比于低特质焦虑组,高特质焦虑组对中性与恐惧情境下中性面孔表情的效价评价更消极;高、低特质焦虑组对不同情境下中性面孔表情的分类结果没有差异,都倾向于将中性面孔分类为与前面情境一致的情绪类型。结果表明动态情境的情感性信息与高特质焦虑者的负性归因偏向会共同影响其对表情的效价知觉。

基于视频序列的疼痛估计研究方法综述

在临床治疗中,病人的面部疼痛估计受到了广泛的关注,尤其是在诸如儿童、脑损伤病人等具有语言功能障碍的患者中显得尤为重要。与此同时,伴随着模式识别方法的广泛应用,基于视频序列的自动疼痛评估方法引起了很多科研人员的兴趣。本文回顾了近些年来相关文献中关于疼痛估计的方法,尤其着眼于深度学习和弱监督学习在该领域上的应用。此外,本文对每类方法中算法的优缺点进行了深入的分析和比较,并列举了现阶段关于在疼痛估计领域中数据库和方法所面对的挑战。最后,对未来研究的方向做了大胆的预测。

微表情识别中面部动力谱特征提取的PCA改进

针对用于人脸微表情识别的面部动力谱特征(FDM)提取方法中迭代算法抽取时空立方体主方向时时间复杂度高的问题,提出基于主元分析(PCA)的改进算法。首先将数据中心平移到原点,其次估计相关矩阵,最后估计其特征向量和特征值,取最大特征值对应的特征向量方向作为时空立方体的主方向。采用Oulu大学SMIC微表情数据库中的微表情片段作为实验样本,选择支持向量机(SVM)作为分类器,对改进算法和原算法进行人脸微表情识别对比实验。结果表明,两种算法识别率相近,但改进算法在计算时间上远短于原算法。可见,改进算法在准确找出时空立方体主方向的同时,能大大降低原算法的计算复杂度。

基于并行Gan的有遮挡动态表情识别

为了解决实际中动态表情识别存在的局部遮挡问题,提出一种基于并行Gan网络的有遮挡动态表情识别方法。构建一个并联网络P-IncepNet进行上下文特征提取,利用条件对抗网络训练了一个处理不同程度遮挡的图像修复网络。将构建的并联网络与LSTM进行级联,充分利用并联网络的特征提取和LSTM的时空信息获取能力,训练得到一个更具鲁棒性的动态表情识别网络。实验结果表明,在CelebA和MMI数据集上训练的局部遮挡补全网络对中小程度遮挡的补全优于其他网络;构建的级联表情识别网络对于不同程度遮挡的识别结果显示,修复表情图的平均识别率比未修复表情图高4.45个百分点,尤其愤怒、惊讶、高兴有6.36个百分点的较大识别率提升得益于遮挡图像的修复;在AFEW和MMI数据集的无遮挡实验表明,该网络对无遮挡的识别同样具有优越性能,平均识别准确率达51.12%和80.31%。因此构建的P-IncepNet是稳定的,对图像的遮挡修复和表情识别性能均有明显改善。

结合FDM与STLBP-IP特征的微表情识别

针对面部动力谱(FDM)特征易受光照影响、对运动信息描述不准确的缺陷,提出基于FDM特征与时空局部二值模式积分投影(STLBP-IP)特征相结合的微表情识别方法。将FDM特征与STLBP-IP特征相结合,在弥补FDM对运动信息描述不足的同时对人脸面部信息进行补充描述以提升识别率。使用支持向量机进行分类,在SMIC和CASMEⅡ微表情数据库上进行实验。实验结果表明,该算法识别率有所提高,分别达到57.14%和64.59%。

学龄前孤独症儿童的动态面部表情识别研究

本研究探讨学龄前孤独症儿童对动态面部表情的识别能力及其对四种基本表情(快乐、悲伤、愤怒和恐惧)的识别是否具有优势效应。选取年龄和智力水平匹配的学龄前孤独症儿童和典型发展儿童各30名,让他们完成动态的表情匹配任务。结果发现,学龄前孤独症儿童完成任务的正确率显著低于典型发展儿童,且孤独症组儿童对快乐表情的识别正确率显著高于其他三种表情,表现出优势效应。这些结果表明,学龄前孤独症儿童对动态面部表情的识别存在障碍。

结合滑动窗口动态时间规整和CNN的视频人脸表情识别

目的相比静态表情图片,视频序列中蕴含更多的情感信息,视频序列中的具有明显表情的序列在特征提取与识别中具有关键作用,但是视频中同时存在的中性表情也可能会对模型参数的训练造成干扰,影响最终的判别。为了减少这种干扰带来的误差,本文对动态时间规整算法进行改进,提出一种滑动窗口动态时间规整算法(SWDTW)来自动选取视频中表情表现明显的图片序列;同时,为了解决人脸图像受环境光照因素影响较大和传统特征提取过程中存在过多人为干预的问题,构建一种基于深度卷积神经网络的人脸视频序列处理方法。方法首先截取表情视频中人脸正面帧,用梯度方向直方图特征计算代价矩阵,并在代价矩阵上增加滑动窗口机制,计算所有滑动窗口的平均距离;然后通过平均距离最小值选取全局最优表情序列;最后采用深度卷积神经网络对规整后的人脸表情图像序列进行无监督学习和面部表情分类,统计视频序列图像分类概率和,进而得出视频序列的表情类别。结果在CK+与MMI数据库上进行5次交叉实验,分别取得了92.54%和74.67%的平均识别率,与随机选取视频序列相比,分别提高了19.86%和22.24%;此外,与目前一些优秀的视频表情识别方法相比,也表现出了优越性。结论本文提出的SWDTW不仅有效地实现了表情序列的选取,而且增强了卷积神经网络在视频面部表情分类中的鲁棒性,提高了视频人脸表情分析的自适应性度和识别率。