基于多模态融合的情绪识别

多模态情绪识别利用语音、文本、图像等多种数据形式,通过综合分析这些数据中的情绪信息来识别人类的情绪状态。相较于单一模态的情绪识别,这种方法能更全面地捕捉情绪的复杂性和微妙差异。为提高从特征提取到情绪分类的高效性,提出了一种端对端的网络结构,直接利用音频与视频数据进行特征提取和情绪识别,并通过实验比较了三种不同的特征融合方法。实验结果表明,改进中间注意力融合方法在RAVDESS测试集上取得了71.67%的最高平均准确率,显示出优于其他融合策略的性能。