基于多模态轻量化混合模型的情绪识别

实现更加准确的情绪识别是当前面临的一项富含挑战性且十分有意义的任务。由于情绪的复杂多样性,单一模态的脑电信号难以对情绪进行全面客观的度量。因此本文提出一种多模态轻量化混合模型PCA-MWReliefFGAPSO-SVM,该混合模型由PCA-MWReliefF特征通道选择器和GAPSO-SVM分类器构成。选用脑电信号(EEG)、肌电信号(EMG)、体温信号(TEM)三模态信号进行情绪识别。在DEAP公共数据集上进行多次实验验证,在效价维度、唤醒维度和四分类中分别取得了97.5000%、95.8333%、95.8333%的分类准确率。实验结果表明,提出的混合模型有助于提高情绪识别准确率且明显优于单模态情绪识别。与近期的类似工作相比,本文提出的混合模型具有较高准确率、计算量小且通道数少的优点,更易于实际应用。

基于SAE和LSTM RNN的多模态生理信号融合和情感识别研究

为了提高情感识别的分类准确率,提出一种将栈式自编码神经网络(SAE)和长短周期记忆单元循环神经网络(LSTM RNN)融合的多模态融合特征情感识别方法。该方法通过SAE对不同模态的生理特征进行信息融合和压缩,随后用LSTM RNN对长时间周期的融合进行情感分类识别。通过将该方法用到开源数据集中进行验证,得到情感分类准确率达到0.792 6。实验结果表明,SAE对多模态生理特征进行了有效融合,LSTM RNN能够有效地对长时间周期中的关键特征进行识别。

基于长短记忆与信息注意的视频–脑电交互协同情感识别

基于视频–脑电信号交互协同的情感识别是人机交互重要而具有挑战性的研究问题.本文提出了基于长短记忆神经网络(Long-short term memory,LSTM)和注意机制(Attention mechanism)的视频–脑电信号交互协同的情感识别模型.模型的输入是实验参与人员观看情感诱导视频时采集到的人脸视频与脑电信号,输出是实验参与人员的情感识别结果.该模型在每一个时间点上同时提取基于卷积神经网络(Convolution neural network,CNN)的人脸视频特征与对应的脑电信号特征,通过LSTM进行融合并预测下一个时间点上的关键情感信号帧,直至最后一个时间点上计算出情感识别结果.在这一过程中,该模型通过空域频带注意机制计算脑电信号α波,β波与θ波的重要度,从而更加有效地利用脑电信号的空域关键信息;通过时域注意机制,预测下一时间点上的关键信号帧,从而更加有效地利用情感数据的时域关键信息.本文在MAHNOB-HCI和DEAP两个典型数据集上测试了所提出的方法和模型,取得了良好的识别效果.实验结果表明本文的工作为视频–脑电信号交互协同的情感识别问题提供了一种有效的解决方法.