基于语音、表情与姿态的三模态普通话情感识别

为了克服单模态普通话情感识别效率低、可靠性差的问题,对情感识别非常重要的语音、表情与姿态三个模态进行特征层融合,提出普通话三模态情感识别方法。首先从语音声学、面部表情和运动姿态中分别提取不同的情感特征,然后采用改进的遗传算法IAGA进行三模态情感特征融合,最后利用SVM分类器构建预测模型并完成情感识别。将三模态融合方法在CHEAVD中文多模态情感数据集进行测试,并和传统的单模态、双模态情感识别进行对比,实验结果表明,双模态融合的情感识别率要高于单模态,三模态融合的情感识别率高于双模态,验证了普通话三模态情感识别方法的有效性。