基于特征解码的表情识别方法研究

针对目前大多数面部表情提取未充分考虑语义特征以及个人独特面部特征导致面部表情识别准确性低的问题,提出一种基于特征解码的高效表情识别方法,称为FER-FD方法。该方法由两个模块组成,即特征解耦模块(FFD)和语义强化模块(VTS)。首先,FFD模块使用两个深度二维卷积神经网络从输入图像中提取面部和表情特征,面部特征解耦器将面部特征与表情特征解耦,以最大限度地减少个人独特面部特征的影响;其次,VTS模块采用两个关键思想以无监督的方式自动捕获面部运动,从而建立全局面部区域的深层语义信息;最后,将两个模块的特征串联起来,以更准确地预测样本的面部表情。实验结果表明,本文提出的特征解码方法在CK+数据集上获得了98.78%的准确率,对不同场景具有可扩展性和适应性,具有较好的泛化能力。

全局卷积和双注意力机制在动态表情识别中的应用

静态面部表情识别无法捕捉表情的动态变化,识别过程中丢失了表情的连续性特征,同时现实情境中存在的表情强度差异给识别带来不利影响。针对以上问题,提出一种全局卷积双注意力机制的强感知学习神经网络模型,对动态表情序列进行识别。该模型通过全局卷积双注意力块重新缩放特征映射通道,引入全局卷积双注意力块(squeeze and excitation-global convolution attention,GCSA)增强残差网络的学习能力,提高表情识别的准确率。在训练的过程中,引入强感知交叉熵损失函数(cross entropy-auxiliary-intensity aware loss,CAI)来处理视频序列中存在不同感知强度帧的问题。通过在公开数据集DFEW和FERV39K上进行实验,从客观指标和主观视觉效果上与经典方法进行比较。结果表明,所提方法在多个性能指标上均优于对比方法,证明了方法的有效性。

跨文化表情识别中的群内优势效应:自发性和呈现方式对气愤和厌恶表情识别的影响

以往研究发现,识别与自身文化背景相同的个体的面部表情比跨文化背景个体更准确,这被称为群内优势效应。然而,以往研究主要关注静态表演表情,对动态表情和自发表情识别中的群内优势效应知之甚少。为了探究群内优势效应是否受表情自发性(表演和自发)和呈现方式(静态和动态)的调节,本研究招募了中国和加拿大/荷兰被试,分别对中国和荷兰模特表演和自发的气愤和厌恶表情(实验1),以及静态和动态表演的气愤和厌恶表情(实验2)进行识别。研究结果显示,在多数情况下,表演和自发表情的识别都呈现群内优势效应,且表演表情的群内优势效应显著高于自发表情;静态和动态表演表情的识别也出现群内优势效应,但两者总体上没有显著差异。这些结果表明,表情识别的群内优势效应会受到表情自发性的调节,但可能不受表情呈现方式的影响。本研究结果对于拓展群内优势效应研究和深化跨文化表情识别理解具有重要意义。

权重推断与标签平滑的轻量级人脸表情识别

针对轻量级网络在复杂环境下对面部表情的特征提取不够充分、模型参数存在冗余以及单标签数据集无法有效描述复杂情感倾向所带来的歧义表情等问题,提出了一种结合改进ShuffleNet与标签平滑学习的人脸表情识别方法。通过对原始网络的分析与剪裁,得到了改进后更紧凑的K5_Light_ShuffleNet,不仅优化了网络参数,还提高了模型的表征能力。为了增强模型对人脸表情图像局部细节特征的提取能力,抑制非表情特征,在模型中嵌入了设计的轻量化通道空间关键权重推断模块。通过标签平滑学习方法,在不引入额外信息的前提下,利用软标签分布监督网络的学习,以减少由于歧义表情对识别性能所带来的不利影响。实验结果表明,在公开的RAF-DB、AffectNet-7和AffectNet-8数据集上分别达到了86.91%、61.80%和58.75%的表情识别准确率,相较于目前其他人脸表情识别方法,其识别率有一定提高,同时模型参数量和计算量均保持在较低水平,利于其在实际中的应用。

人脸表情的自动生成算法概述

人脸表情生成技术是人机接口的重要应用之一,从特征提取、单张人脸表情的生成算法和基于视频序列的人脸表情生成算法3个方面出发,简要概述了相关的概念、理论和技术,为开展相应的研究工作提供基础和参考。

人脸表情识别研究的新进展

人脸表情识别(fac ial expression recogn ition,简称FER)作为智能化人机交互技术中的一个重要组成部分,近年来得到了广泛的关注,涌现出许多新方法。本文综述了国内外近4年人脸表情识别(FER)技术的最新发展。首先,介绍了FER系统的组成:人脸检测、表情特征提取和表情分类,并详细叙述了其中表情特征提取和表情分类的方法。然后,对目前广泛应用的人脸表情数据库进行了介绍,并在此基础上对当前一些FER系统的性能进行了比较分析。最后,对FER领域的研究现状和挑战给予了评述,对FER可能的发展方向进行了讨论。

微表情的特征、识别、训练和影响因素

微表情是人压抑的真实情绪的泄露，时间约为1／25-1／2s，常出现在说谎情境，可能源于椎体束运动系统控制的自主面部运动和椎体束外运动系统控制的非自主面部运动的“拔河比赛”。已有研究构建了微表情数据库，开发了BART和JACBART等微表情识别测验以及METT训练，并探讨了微表情识别及训练与认知、人格、文化、职业等的关系。但这些研究考察的中性表情背景下微表情只是镶嵌在各表情背景下真实微表情的特例，生态程度不高；少量研究探索了表情背景对微表情识别的影响但未建立标准测验。未来应开发生态化微表情识别标准测验和训练，尝试跨越微表情发生和识别的界限，并采用生理一心理、电生理和脑成像技术探索其机制。

基于方法的表情生成技术综述

表情生成技术是智能人机接口领域的重要研究内容之一。基于方法的表情生成技术多数以图像为研究对象,不需要3维建模,同时又具有丰富的纹理细节,在表情生成的逼真度和降低复杂性方面具有相当的优势,一些方法也可扩展至3维应用。本文根据各种算法的技术本质将已公开发表的研究总结归纳为渐变技术、表情映射技术、统计学方法、2维网格法、面色表情和表演驱动技术等几类,从概念、理论和技术方法等方面对典型成果进行讨论,分析了不同算法的特点和存在的问题以及今后的发展方向,为开展相关研究提供参考。

基于多任务学习的课堂表情分类模型

基于课堂视频图像理解的学生表情识别与学习情感分析技术已然成为当前智慧教育领域的研究热点,但在图像视频采集质量低、环境复杂、多目标遮挡严重的真实应用场景中往往面临很大的挑战。针对目前大多课堂表情分类模型仅关注离散表情单一维度存在的不足,提出了一种多任务识别的学生表情分类模型。首先,基于课堂表情分类模型构建了真实场景下的多任务课堂表情数据集,并通过数据平衡技术解决数据集类别标签分布不平衡问题。其次,提出了一种基于多任务学习的课堂表情分类模型,通过引入知识蒸馏并设计双通道融合机制,有效融合离散表情、人脸动作单元和效价-唤醒三个表情识别任务,利用多任务之间的关系进一步增强离散表情分类任务的性能。最后,该方法在多个数据集上与现有先进方法进行了实验对比分析,结果表明所提模型能够有效提升表情分类精度,且在课堂表情多任务识别中具有优越表现,为实现课堂情感多维度评估分析提供技术支持。

微表情面部肌电跨模态分析及标注算法

长久以来,微表情的小样本问题始终制约着微表情分析的发展,而小样本问题归根到底是因为微表情的数据标注十分困难。本研究希望借助面部肌电作为技术手段,从微表情数据自动标注、半自动标注和无标注三个方面各提出一套解决方案。对于自动标注,提出基于面部远端肌电的微表情自动标注方案;对于半自动标注,提出基于单帧标注的微表情起止帧自动标注;对于无标注,提出了基于肌电信号的跨模态自监督学习算法。同时,本研究还希望借助肌电模态,对微表情的呈现时间和幅度等机理特征进行拓展研究。

基于关键区域遮挡与重建的人脸表情识别

为了解决自然场景下人脸表情识别任务中的无用信息干扰和遮挡对识别性能的影响问题,提出一种基于关键区域遮挡与重建的人脸表情识别模型。利用多尺度特征提取网络,提取人脸图像的全局特征。根据68个人脸关键点划分出68个关键区域,并通过插值法提取68个关键区域的特征,同时采用注意力机制学习关键区域特征之间的先验关系。设计自监督的遮挡与重建模块,对关键区域特征进行随机遮挡,并利用已知区域信息来预测和重建被遮挡区域的特征,从而提高模型在自然场景下的表情识别性能。设计多个实验验证了该模型的泛化能力,并通过消融实验验证了模型中每个模块的有效性。实验结果表明,该模型在真实世界的情感面孔数据集(RAF-DB)和Occlusion-RAF-DB数据集上分别达到了88.44%和86.09%的识别准确率,相比于视觉Transformer(Vi T)等模型有效地提升了自然场景下人脸表情识别的性能。

基于加权多头并行注意力的局部遮挡面部表情识别

面部表情识别在诸多领域具有广泛的应用价值,但在识别过程中局部遮挡会导致面部难以提取有效的表情识别特征,而局部遮挡的面部表情识别可能需要多个区域的表情特征,单一的注意力机制无法同时关注面部多个区域特征.针对这一问题,本文提出了一种基于加权多头并行注意力的局部遮挡面部表情识别模型,该模型通过并行多个通道-空间注意力提取局部未被遮挡的多个面部区域表情特征,有效缓解了遮挡对表情识别的干扰,大量的实验结果表明,本文的方法相比于很多先进的方法取得了最优的性能,在RAF-DB和FERPlus上的准确率分别为89.54%、89.13%,在真实遮挡的数据集Occlusion-RAF-DB和Occlusion-FERPlus的准确率分别为87.47%、86.28%.因此,本文的方法具有很强的鲁棒性.

社交媒体中青年表情包的文化隐喻探析

当前,数字化已成为人类生存和生活方式的新表征。在“数字化生存”时代,表情包作为一种网络文化符号,因其多样性、时效性和互动性等特征获得青年青睐,是视觉文化和青年亚文化的重要载体,已成为一道重要的青年亚文化景观。表情包是青年交流互动的重要媒介,具有文化认同、情感表达、社会批判等多重文化隐喻。表情包流行背后的文化隐喻动力在于青年社交的心理需求、文化的演化和媒介环境的塑造。运用辩证思维客观评价青年表情包文化,需要释放表情包的优势效能:引导主流文化与青年亚文化的互动与融合;引导青年在拥抱社交媒介的同时链接生活世界;引导青年在网络社交中形成积极的自我认同和情感共鸣,建构高质量的社交网络;把握青年表情包的情感需求,构建青年交往的情感共同体。

语言范畴对面部表情知觉的影响

研究采用H1、H2、F1、F2四个从快乐到恐惧渐变的面部表情图片为主要实验材料,招募三组被试分别完成无干扰、语言干扰和范畴干扰视觉搜索任务,探讨语言范畴是否影响面部表情知觉,以及其作为语言还是范畴影响表情知觉。结果显示:无干扰、语言干扰和范畴干扰三组被试的视觉搜索任务分别出现了右视野表情范畴知觉、右视野劣势表情知觉模式以及无视野差异表情知觉模式。结果说明语言范畴会影响面部表情知觉;偏右视野表情范畴知觉主要是语言范畴作为范畴影响表情知觉的效应,但其语言属性也会在一定程度上影响表情知觉。

基于多尺度多层次多任务网络的长视频微表情分析

与宏表情不同,微表情具有持续时间短、动作幅度小、覆盖面积小的典型特点,长视频中微表情与宏表情交织在一起,使得微表情的检测和识别困难,并且严重依赖于专家经验。针对以上问题,开发了一种多任务模型用于长视频微表情分析,该模型采用级联的网络结构,分别完成检测子任务与识别子任务。针对微表情仅发生于面部局部区域且因个体差异特征分布不同导致关键帧定位不准或漏检,在检测子网络中采用Dual-CBAM-Inception模块,增强模型空间感受野,对全局与局部区域提取多尺度光流特征增强模型的鲁棒性;针对长视频中表情类别分布不均衡且微表情发生时面部动作细微导致长视频微表情分类识别准确率低,提出模型在识别子网络中采用深度可分离DenseNet模块,在控制模型的运算量和计算成本的前提下,通过多层次提取光流信息的浅层与深层语义特征提高模型的表情识别准确性。所提出的方法在CAS(ME)2长视频以及CASMEⅡ、SMIC短视频数据集上进行实验,结果表明,所提方法能够对长视频进行微表情检测并识别表情类别,性能优于当前诸多方法。

生态化微表情识别测验EMERT的建立——对JACBART微表情识别测验的改进与发展

经典JACBART微表情识别测验只考察平静表情背景下微表情识别,生态效度不高。本研究创建生态化微表情识别测验,考察所有7种基本表情背景下的6种微表情识别特征。结果发现:(1)该测验具有良好的重测信度、校标效度和生态效度,能够稳定有效地测量生态化微表情识别。(2)信效度检验揭示了生态化微表情识别特征。某些生态化微表情识别存在训练效应。生态化微表情与经典微表情或普通表情普遍相关。恐惧、悲伤、厌恶、愤怒微表情背景主效应显著;惊讶和愉快微表情背景主效应不显著,成对比较发现各背景下惊讶/愉快微表情差异不显著,但是与普通表情有广泛的显著差异。用不同背景下微表情识别正确率的标准差定义生态化微表情识别波动,发现生态化微表情识别具有稳定的波动性。

表情肌功能训练配合热敏灸治疗孕期周围性面瘫疗效观察

目的:观察表情肌功能训练配合热敏灸治疗孕期周围性面瘫的疗效。方法:30例按随机数字表法分为两组各15例。对照组用常规针刺,治疗组用表情肌功能训练配合热敏灸治疗。结果:治疗后治疗组TFGS评分、FDIP评分及No水平均高于对照组(P<0.05),治疗组FDIS评分、ET水平及H-B评分均低于对照组(P<0.05),治疗组总有效率高于对照组(P<0.05)。结论:表情肌功能训练配合热敏灸治疗孕期周围性面瘫疗效较好,且安全。

三维面部表情识别技术的研究进展

三维采集设备的快速发展,极大推动了三维数据技术的研究。其中,以三维人脸数据为载体的三维面部表情识别研究成果不断涌现。三维面部表情识别可以极大克服二维识别中的姿态和光照变化等方面问题。对三维表情识别技术进行了系统概括,尤其针对三维表情的关键技术,即对表情特征提取、表情编码分类及表情数据库进行了总结分析,并提出了三维表情识别的研究建议。三维面部表情识别技术在识别率上基本满足要求,但实时性上需要进一步优化。相关内容对该领域的研究具有指导意义。

多类表情符号短文本情感分析模型研究

相关研究数据表明在使用社交网络进行社交活动的95后中有69.8%的网民倾向于使用各类表情符号表述情感倾向。表情符号的高频使用与其自身带有的鲜明情感倾向使得表情符号成为文本情感分析的重要语料资源。基于此,提出了一种多类表情符号的短文本情感模型EMME。模型针对Twitter语料库以5类表情符号融入文本语言进行情感分析,首先利用CBOW模型构建词向量,继而使用卷积对拼接的词向量进行特征融合,后使用MLP实现文本正负情感分类,并针对5类表情符号与文本情感概率进行线性回归。实验数据表明对含各类表情符号短文本情感倾向判别中,EMME模型相比于MNB模型、SVM模型以及EMB模型的MacroF1值分别提高了14.81%、10.42%与9.01%;且EMME模型在不同样本容量规模中均取得了最好的分类准确率。

基于注意力融合特征增强的座舱表情识别模型

针对智能座舱驾驶员表情识别深度学习模型准确率和实时性难以兼顾的问题,提出一种基于注意力融合与特征增强网络的表情识别模型EmotionNet。模型以GhostNet为基础,在特征提取模块内利用两个检测分支融合坐标注意力和通道注意力机制,实现注意力机制互补与对重要特征的全方位关注;建立特征增强颈部网络以融合不同尺度特征信息;最终通过头部网络实现不同尺度特征信息决策级融合。在训练中则引入迁移学习思想和中心损失函数以进一步提高模型的识别准确性。在RAF-DB和KMU-FED数据集实验中,模型分别取得85.23%和99.95%识别准确率,并达到59.89 FPS的识别速度。EmotionNet平衡了识别准确率和实时性,达到了较为先进的水平并具备一定的智能座舱表情识别任务的适用性。