双模态融合特征下的说话人识别

为提高说话人识别的准确率,提出一种双模态融合特征的算法。提取韵律特征和伽玛通滤波倒谱系数两种声学特征,计算其统计特性;提取舌、唇和下颌分别相对于鼻梁的发音动作参数,获得参考点发音动作特征;将声学特征和参考点发音动作特征进行融合,对其进行嵌入式特征选择,获得双模态融合特征;通过支持向量机、高斯混合模型-支持向量机进行分类。实验结果表明,参考点发音动作特征识别效果优于传统发音动作特征识别效果,双模态融合特征识别率明显高于单模态特征的识别率,验证了所提方法的有效性。

双通道决策信息融合下的微表情识别

微表情作为揭示潜在情绪的一个重要通道,是一种无意识的、不受大脑控制的非语言面部信息,能够反映人们最真实的心理感受和心理状态。但是,微表情存在动作幅度小且快速出现、不易被捕捉等特性,使得单一模态的微表情识别准确率难以提升。针对上述问题,提出一种微表情面部颜色特征提取算法,并将其提取的特征与微表情纹理特征进行决策融合,从而构成微表情双模态情感识别模型。该模型首先通过均匀动态纹理识别方法从经过预处理的微表情数据中提取相应的纹理特征;其次计算微表情两帧序列图片的每一个像素点之间的Lab色差,由此获得面部的颜色特征,并对其进行嵌入式特征选择以剔除冗余的特征;然后分别训练两种模态的分类器,并将两种模态训练得到的分类信息进行决策融合;最后得到微表情情绪分类结果。模型在微表情数据集CAMSEⅡ和SMIC上进行了实验。实验结果表明,微表情的纹理单模态和面部颜色单模态的平均识别准确率约为64.73%、51.64%和63.58%、50.48%,而决策融合后微表情情绪的识别结果约为68.11%和66.43%,高于融合前微表情的识别准确率,说明文中提出的微表情双模态情感识别模型明显提高了微表情的识别能力。