基于模糊核聚类的多模式情感识别算法研究

为了克服单模式情感识别存在的局限性,该文以语音信号和面部表情信号为研究对象,提出了一种新型的多模式情感识别算法,实现对喜悦、愤怒、惊奇和悲伤4种人类基本情感的识别。首先,将获取的信号进行预处理并提取情感特征参数,然后利用模糊核聚类算法对其进行聚类分析,即利用Mercer核,将原始空间通过非线性映射到高维特征空间,在高维特征空间中对多模式情感特征进行模糊核聚类分析。由于经过了核函数的映射,使原来没有显现的特征突现出来。实验结果验证了该方法的可行性和有效性。

E-learning系统的多模式情感识别模块的研究

针对当前存在的大多数情感识别的方法是单模式的,且基于刻意的情感表达和情感模型,不适用于现实生活的问题,并根据现实生活中人体外部表象的微妙变化能表示情感行为的改变,不像单模式方法那样每一类单一识别方法,需要一些夸大的外部表象才能表明这些情感的改变的特点。根据此本文采用多模式识别方法,设计了基于情感计算的E-learning系统的情感识别模块,将视觉与听觉结合起来共同识别无意识情况下的情感状态。

基于深度学习的多模式权重网络语音情感识别

语音的单一特征如声学信息往往不能涵盖所有的语音特性,从而导致语音情感识别率低,为此提出了一种基于深度学习的多模式权重网络模型.该模型先采用循环神经网络和ResNet-50网络基于语音声学特征、语音转化成文本信息后的语义特征、语音频谱特征建立3种分类器,然后将这3种分类器的分类结果作为权重网络模型的输入进行训练以获取最优权重,最终基于该权重构建权重网络分类器实现语音情感识别.实验结果表明,其语音情感识别率达到了75.4%,比单一特征语音情感识别模型提高了5%以上,相对应用集成学习结合3种特征的模型提高了10.4%,并且与现有语音情感识别模型相比,多模式权重网络模型具有更高的识别率.