基于LBP-TOP特征的微表情识别

微表情是一个人试图隐藏内心真实情感却又不由自主流露出的不易被察觉的面部表情。与一般面部表情相比,微表情最显著的特点是持续时间短、强度弱,往往难以有效识别。文中提出了一种基于LBP-TOP(Local Binary Pattern from Three Orthogonal Planes)特征和支持向量机(Support Vector Machine,SVM)分类器的微表情识别方法。首先,采用LBP-TOP算子来提取微表情特征;然后,提出一种基于ReliefF与局部线性嵌入(Locally Linear Embedding,LLE)流形学习算法相结合的特征选择算法,对提取的LBP-TOP特征向量进行降维;最后,使用径向基函数(Radial Basis Function,RBF)核的SVM分类器进行分类,将测试样本图像序列的微表情分为5类:高兴、厌恶、压抑、惊讶、其他。在CASME Ⅱ微表情数据库上采用"留一人交叉验证"(Leave-One-Subject-Out Cross Validation,LOSO-CV)的方式进行了实验,可得到58.98%的分类准确率。实验结果表明了该算法的有效性。

基于光流与LBP-TOP特征结合的微表情识别

微表情区别于普通的面部表情,具有持续时间短、面部强度低的特点,往往难以有效识别,制约了该领域的研究。针对上述难点,提出一种新颖的特征结合方法。采用全局光流技术在相邻帧间进行计算,得到微弱光流,通过传递前后各帧的运动信息,在相隔多帧的两幅图像间体现更为明显的变化,解决了短历时和动作微弱的难题;将光流特征与LBP-TOP(Local Binary Patterns from Three Orthogonal Planes)算子提取的时空局部纹理特征相结合,补充描述人脸大多数区域的细节信息。选择随机森林分类器进行实验,实验结果表明,两种特征具有很好的互补性,在CASMEII数据库下,能识别5类情感,准确率由40.50%提高至64.46%,类间区分度也有相应改善。

多角度特征融合的视频人脸纹理表示及识别

提出了一种在Gabor变换幅值域内提取3个正交平面上的局部二值模式的多角度特征融合的视频人脸纹理表示及其识别方法。首先对视频帧集合中归一化的每幅人脸图像进行不同尺度和方向的Gabor小波变换得到增强的Gabor幅值图谱。然后采用3个正交平面上的局部二值模式提取视频纹理特征。最后采用基于Fisher加权的Chi平方概率统计最近邻方法进行视觉人脸识别。通过在Honda/UCSD视频库进行的相关实验,验证了算法的有效性,该方法对光照变化、表情变化等具有较好的鲁棒性。

基于面部显著块动态信息的视频表情自动识别

为自动识别视频中表情类别,提出基于面部块表情特征编码的视频表情识别方法框架。检测并精确定位视频中人脸关键点位置,以检测到的关键点为中心,提取面部显著特征块。沿着时间轴方向,对面部各特征块提取LBP-TOP(local binary pattern from three orthogonal planes)动态特征描述子,将这些描述子作为表情特征并输入Adaboost分类器进行训练和识别,预测视频表情类型。在国际通用表情数据库BU-4DFE的纹理图像上进行测试,取得了81.2%的平均识别率,验证了所提算法的有效性,与同领域其它主流算法相比,其具有很强的竞争性。

微表情识别综述

微表情的微妙和微表情数据集的通病,对人脸微表情识别任务提出了巨大挑战,同时也使得该课题具有旺盛的生命力和极高的研究价值。文章阐述了人脸微表情识别的定义,介绍了主流的微表情数据集,并总结了微表情识别领域中基于三个正交平面局部二值模型的经典方法和基于深度学习的最新技术。

微表情识别研究综述

微表情是人类在试图掩饰自己情感时所产生的面部细微变化,在测谎、安防、心理学治疗和微表情识别机器人等方面有着非常广泛的应用,因此微表情识别也开始得到重视。从微表情识别的主流的方法:卷积神经网络及其改进、光流法及其改进、局部二值模式及其改进方法进行分析,对现存的几种方法从使用的算法、准确率、各方法的优缺点、各方法的特点等几个角度进行对比总结;阐述微表情识别目前存在的问题,并对未来的发展方向进行展望。

基于肢体动作序列三维纹理特征的情绪识别

目前基于人脸表情的情绪识别已经相对成熟,而根据人类肢体动作进行情绪识别的研究却不多。通过VLBP和LBP-TOP算子从三维空间中提取图像序列的肢体动作特征,分析愤怒、无聊、厌恶、恐惧、高兴、疑惑和悲伤七种自然情绪的特点,并用参数优化的支持向量机对情绪分类进行识别,识别率最高能够达到77. 0%。实验结果表明,VLBP和LBP-TOP算子具有较强的鲁棒性,能有效地从肢体动作中识别人的情绪。

面部动态特征描述的抑郁症识别

目的抑郁症是一种严重的精神类障碍,会显著影响患者的日常生活和工作。目前的抑郁症临床评估方法几乎都依赖于临床访谈或问卷调查,缺少系统有效地挖掘与抑郁症密切相关模式信息的手段。为了有效帮助临床医生诊断患者的抑郁症严重程度,情感计算领域涌现出越来越多的方法进行自动化的抑郁症识别。为了有效挖掘和编码人们面部含有的具有鉴别力的情感信息,本文提出了一种基于动态面部特征和稀疏编码的抑郁症自动识别框架。方法在面部特征提取方面,提出了一种新的可以深层次挖掘面部宏观和微观结构信息的动态特征描述符,即中值鲁棒局部二值模式—3D正交平面(median robust local binary patterns from three orthogonal planes,MRELBP-TOP)。由于MRELBP-TOP帧级特征的维度较高,且含有部分冗余信息。为了进一步去除冗余信息和保留关键信息,采用随机映射(random projection,RP)对帧级特征MRELBP-TOP进行降维。此外,为了进一步表征经过降维后的高层模式信息,采用稀疏编码(sparse coding,SC)来抽象紧凑的特征表示。最后,采用支持向量机进行抑郁程度的估计,即预测贝克抑郁分数(the Beck depression inventory-II,BDI-II)。结果在AVEC2013(the continuous audiovisual emotion and depression 2013)和AVEC2014测试集上,抑郁程度估计值与真实值之间的均方根误差(root mean square error,RMSE)分别为9.70和9.22,相比基准算法,识别精度分别提高了29%和15%。实验结果表明,本文方法优于当前大多数基于视频的抑郁症识别方法。结论本文构建了基于面部表情的抑郁症识别框架,实现了抑郁程度的有效估计;提出了帧级特征描述子MRELBP-TOP,有效提高了抑郁症识别的精度。