融合语音、脑电和人脸表情的多模态情绪识别

本文提出了一种多模态情绪识别方法,该方法融合语音、脑电及人脸的情绪识别结果来从多个角度综合判断人的情绪,有效地解决了过去研究中准确率低、模型鲁棒性差的问题.对于语音信号,本文设计了一个轻量级全卷积神经网络,该网络能够很好地学习语音情绪特征且在轻量级方面拥有绝对的优势.对于脑电信号,本文提出了一个树状LSTM模型,可以全面学习每个阶段的情绪特征.对于人脸信号,本文使用GhostNet进行特征学习,并改进了GhostNet的结构使其性能大幅提升.此外,我们设计了一个最优权重分布算法来搜寻各模态识别结果的可信度来进行决策级融合,从而得到更全面、更准确的结果.上述方法在EMO-DB与CK+数据集上分别达到了94.36%与98.27%的准确率,且提出的融合方法在MAHNOB-HCI数据库的唤醒效价两个维度上分别得到了90.25%与89.33%的准确率.我们的实验结果表明,与使用单一模态以及传统的融合方式进行情绪识别相比,本文提出的多模态情绪识别方法有效地提高了识别准确率.