基于改进的局部二值模式的微表情识别方法

为了从微表情中获得更显著的特征,从而识别出微表情所表达的情感,需要更全面的提取微表情图像纹理特征,解决图像时空变化的问题,避免出现冗余差分等现象,提出了一种基于局部二值模式(Local Binary Patterns,LBP)的微表情识别方法的改进。该算法将微表情序列划分成三个正交平面,三个正交平面相交可以获得相交点,去除掉冗余的相交点,提供更紧凑和显著的表达,从而获得更小的计算复杂度。实验表明,该算法获得了较好的识别精度和计算复杂度。

基于肢体动作序列三维纹理特征的情绪识别

目前基于人脸表情的情绪识别已经相对成熟,而根据人类肢体动作进行情绪识别的研究却不多。通过VLBP和LBP-TOP算子从三维空间中提取图像序列的肢体动作特征,分析愤怒、无聊、厌恶、恐惧、高兴、疑惑和悲伤七种自然情绪的特点,并用参数优化的支持向量机对情绪分类进行识别,识别率最高能够达到77. 0%。实验结果表明,VLBP和LBP-TOP算子具有较强的鲁棒性,能有效地从肢体动作中识别人的情绪。

视频中非特定人的面部表情分析算法

针对视频人脸表情识别存在对非特定人的面部表情识别率低(约75%),有效的特征信息提取困难等问题,提出了基于分块的三维正交平面的完全局部二值模式(CLBP-TOP)的特征提取方法,实现了对任意长度视频的面部表情识别和分析。对表情视频序列进行预处理;对人脸主要区域的每个分块提取CLBP-TOP特征,得到最后的联合统计直方图特征;利用动态时间规划度量距离的最近邻规则进行表情识别;提出的表情持续时间和表情强度指数实现了对表情分析的详细描述。在CK+数据库上测试,提出的方法与LBP-TOP方法相比平均识别率提高了12. 04%,且能够对任意长度的表情视频片段进行表情识别和相关系数分析。

面部动态特征描述的抑郁症识别

目的抑郁症是一种严重的精神类障碍,会显著影响患者的日常生活和工作。目前的抑郁症临床评估方法几乎都依赖于临床访谈或问卷调查,缺少系统有效地挖掘与抑郁症密切相关模式信息的手段。为了有效帮助临床医生诊断患者的抑郁症严重程度,情感计算领域涌现出越来越多的方法进行自动化的抑郁症识别。为了有效挖掘和编码人们面部含有的具有鉴别力的情感信息,本文提出了一种基于动态面部特征和稀疏编码的抑郁症自动识别框架。方法在面部特征提取方面,提出了一种新的可以深层次挖掘面部宏观和微观结构信息的动态特征描述符,即中值鲁棒局部二值模式—3D正交平面(median robust local binary patterns from three orthogonal planes,MRELBP-TOP)。由于MRELBP-TOP帧级特征的维度较高,且含有部分冗余信息。为了进一步去除冗余信息和保留关键信息,采用随机映射(random projection,RP)对帧级特征MRELBP-TOP进行降维。此外,为了进一步表征经过降维后的高层模式信息,采用稀疏编码(sparse coding,SC)来抽象紧凑的特征表示。最后,采用支持向量机进行抑郁程度的估计,即预测贝克抑郁分数(the Beck depression inventory-II,BDI-II)。结果在AVEC2013(the continuous audiovisual emotion and depression 2013)和AVEC2014测试集上,抑郁程度估计值与真实值之间的均方根误差(root mean square error,RMSE)分别为9.70和9.22,相比基准算法,识别精度分别提高了29%和15%。实验结果表明,本文方法优于当前大多数基于视频的抑郁症识别方法。结论本文构建了基于面部表情的抑郁症识别框架,实现了抑郁程度的有效估计;提出了帧级特征描述子MRELBP-TOP,有效提高了抑郁症识别的精度。