视频序列中基于多尺度时空局部方向角模式直方图映射的表情识别

针对局部二元模式在概念上是无方向性的,不能充分捕捉详细信息的问题,提出局部方向角模式(LOP)方法.该方法通过比较2个近邻点上2个方向角的差值来标注图像中的像素点,对邻域内方向角差值的变化进行编码;将LOP扩展到三维空间,提出时空局部方向角模式(SLOP),将从3个正交平面上提取到的特征串接成一个向量;最后采用多尺度SLOP直方图作为人脸表征,并将其投影到保局映射空间以获取低维特征.在Cohn-Kanade与MMI人脸表情数据库上的实验结果表明,文中方法在识别准确率和识别速度方面都优于已有方法.

视频序列中表情和姿态的双模态情感识别

针对时空局部方向角模式应用到视频情感识别时,出现的特征稀疏、噪声敏感等问题,提出了一种新的特征提取算法——时空局部三值方向角模式(SLTOP)。考虑到表情和姿态特征的互补性,提出云加权决策融合的分类方法。对视频图像进行预处理,得到表情和姿态两种模态的序列;分别提取表情序列和姿态序列的SLTOP特征,并借鉴灰度矩阵思想解决特征直方图过于稀疏的问题;在决策分类阶段,引入云模型对表情和姿态两种模态进行云加权决策融合,实现双模态情感的最终识别。在FABO数据库中,表情和姿态单模态分别取得了92.21%和96.76%的平均识别率;与体积局部二值模式、三正交平面局部二值模式(LBP-TOP)、时空局部三值模式矩(TSLTPM)比较时,在表情模态上分别高约18.42%、22.01%、9.15%,而在姿态模态上分别高约26.59%、29.53%、1.98%。通过云加权融合得到平均识别率为97.54%,均高于其他实验得到的数据。所提出的SLTOP,对噪声和光照具有很好的稳健性。利用云模型的加权决策融合方法可以较好地发挥表情和姿态分类器的性能,得到较好的识别结果,与其他分类识别方法进行对比实验,结果同样表现出优越性。