基于关联认知网络的语音情感识别模型

人们通过语言表达情感是一个不断变化的过程,为了使用语音信号的时间连续性表达具体情感,本文搭建了一种基于关联认知网络的GA-GRUS-ICN模型.首先,对输入的语音特征使用GRUS网络提取深度时序特征;然后,引入自注意力机制给重要的特征片段赋予更高的权重;最后,使用关联认知网络ICN构建情感之间的关联性,得到情感关联矩阵和最终识别结果,本文中对于超参数使用遗传算法GA进行选择.选用TYUT2.0、EMO-DB和CASIA语音数据库中的“悲伤”、“愤怒”、“高兴”三种基本情感作为实验数据,文章设计了五种实验方案进行两个消融实验,实验结果显示,三种模型在三种语音库的UA分别达到了80.83%、98.61%和88.13%,表明GA-GRUSICN识别模型在情感语音识别方面有较强的普适性,自注意力机制与GRUS-ICN模型比较适配,亦可以较好地进行语音情感识别.

情感维度下的深度情感关联模型

鉴于现有的情感模型只是从空间上对情感状态进行划分,忽略了情感之间的相互作用问题,建立了一种将多层限制玻尔兹曼机和情感关联认知网络相结合的深度情感关联模型。该模型将多层限制玻尔兹曼机训练得到的权值作为关联认知网络输入输出之间的权值,以三维情感模型中情感空间距离的倒数作为情感类别之间的关联度,通过训练关联认知网络得到最终的情感分类结果。选用TYUT1.0和CASIA情感语音库中的“高兴”“生气”和“中性”三种基本情感作为数据来源,分别采用深度信念网络和深度情感关联模型进行实验对比。实验结果显示,所构建的深度情感关联模型比深度信念网络的平均识别率最高高出6.06%,该模型得到了较好的识别结果。结果表明,深度情感关联模型在语音情感识别上有较强的优越性和普适性,可以很好地反映情感之间的相互作用。

PAD维度下的深度情感关联模型研究

人类的情感不是相互独立的,而是以系统的方式相互关联。为此,提出用PAD情感维度预测值作为关联认知网络的权值,构建深度情感关联模型。以TYUT2.0情感语音数据库和柏林德语情感语料库的“悲伤”、“愤怒”及“高兴”三类情感语句为基础提取情感特征;通过PAD情感维度预测模型得到各情感的PAD预测值,并用各类情感预测值的均值计算关联认知网络(ICN)情感间的权值;用遗传算法(GA)优化深度情感关联模型超参数;根据是否使用预测值作为权值以及是否使用遗传算法设置四组实验方案进行对比实验。实验结果表明,对比未使用PAD预测值及遗传算法的方案,仅使用PAD预测值的方案识别率提高4.26%,仅使用遗传算法的方案提高6.39%,同时使用PAD预测值和遗传算法的方案识别率提高8.51%;数据显示,使用PAD预测值且优化参数的深度情感关联模型具有较好的识别性能。