双模态跨语料库语音情感识别

语音情感识别(SER)在双模态的跨数据库语音情感识别研究较少,跨数据库情感识别过度减少数据集之间差异的同时,会忽视情感判别能力的特征的问题。YouTube数据集为源数据,互动情感二元动作捕捉数据库(IEMOCAP)为目标数据。在源数据和目标数据中,Opensmile工具箱用来提取语音特征,将提取的语音特征输入到CNN和双向长短期记忆网络(BLSTM),来提取更高层次的特征,文本模态为语音信号的翻译稿。首先双向编码器表示转换器(Bert)把文本信息向量化,BLSTM提取文本特征,然后设计模态不变损失来形成2种模态的公共表示空间。为了解决跨语料库的SER问题,通过联合优化线性判别分析(LDA)、最大平均差异(MMD)、图嵌入(GE)和标签回归(LSR),学习源数据和目标数据的公共子空间。为了保留情绪辨别特征,情感判别损失与MMD+GE+LDA+LSR相结合。SVM分类器作为迁移公共子空间的最终情感分类,IEMOCAP上的实验结果表明,此方法优于其他先进的跨语料库和双模态SER.

基于深度域适应CNN决策树的跨语料库情感识别

在跨语料库语音情感识别中,由于目标域和源域样本不匹配,导致情感识别性能很差。为了提高跨语料库语音情感识别性能,本文提出一种基于深度域适应和卷积神经网络(Convolutional neural network,CNN)决策树模型的跨语料库语音情感识别方法。首先构建基于联合约束深度域适应的局部特征迁移学习网络,通过最小化目标域和源域在特征空间和希尔伯特空间的联合差异,挖掘两个语料库之间的相关性,学习从目标域到源域的可迁移不变特征。然后,为了降低跨语料库背景下多种情感间的易混淆情感的分类误差,依据情感混淆度构建CNN决策树多级分类模型,对多种情感先粗分类再细分类。使用CASIA,EMO-DB和RAVDESS三个语料库进行验证。实验结果表明,本文的跨语料库语音情感识别方法比CNN基线方法平均识别率高19.32%~31.08%,系统性能得到很大提升。

解耦知识蒸馏优化的域自适应跨库情感识别

减小域间差异和加强特征情感表达是解决跨库语音情感识别任务的两个主要问题,但少有研究同时考虑到上述问题,为此,提出一种基于解耦知识蒸馏策略优化的域自适应跨库语音情感识别算法。在域自适应算法中引入解耦知识蒸馏(DKD)策略,提高特征提取器获取具有显著情感信息的域不变特征的能力;并提出一个时频域自校正卷积神经网络(TFSC-CNN),融合不同感受域的特征细节,丰富特征中的情感信息,作为教师模型,指导特征提取器的训练过程;最后,使用优化后的特征提取器进行对抗训练,减小特征的域间差异,提升模型的泛化能力。所提方法在CASIA、EmoDB和RAVDESS数据集上进行了6组不同的跨库语音情感识别任务,在UAR和WAR两个评价指标上分别取得了49.74%和50.62%的识别结果;同时,通过消融实验进一步验证了不同改进模块的有效性。文中方法为跨库情感识别提供了一种新思路。

基于图卷积深浅特征融合的跨语料库情感识别

语音情感识别任务的训练数据和测试数据往往来源于不同的数据库,二者特征空间存在明显差异,导致识别率很低。针对该问题,本文提出新的构图方法表示源和目标数据库之间的拓扑结构,利用图卷积神经网络进行跨语料库的情感识别。针对单一情感特征识别率不高的问题,提出一种新的特征融合方法。首先利用OpenSMILE提取浅层声学特征,然后利用图卷积神经网络提取深层特征。随着卷积层的不断深入,节点的特征信息被传递给其他节点,使得深层特征包含更明确的节点特征信息和更详细的语义信息,然后将浅层特征和深层特征进行特征融合。采用两组实验进行验证,第1组用eNTERFACE库训练测试Berlin库,识别率为59.4%;第2组用Berlin库训练测试eNTERFACE库,识别率为36.1%。实验结果高于基线系统和文献中最优的研究成果,证明本文提出方法的有效性。

基于决策边界优化域自适应的跨库语音情感识别

域自适应算法被广泛应用于跨库语音情感识别中;然而,许多域自适应算法在追求减小域差异的同时,丧失了目标域样本的鉴别性,导致其以高密度的形式存在于模型决策边界处,降低了模型的性能。基于此,提出一种基于决策边界优化域自适应(DBODA)的跨库语音情感识别方法。首先利用卷积神经网络进行特征处理,随后将特征送入最大化核范数及均值差异(MNMD)模块,在减小域间差异的同时,最大化目标域情感预测概率矩阵的核范数,从而提升目标域样本的鉴别性并优化决策边界。在以Berlin、eNTERFACE和CASIA语音库为基准库设立的六组跨库实验中,所提方法的平均识别精度领先于其他算法1.68~11.01个百分点,说明所提模型有效降低了决策边界的样本密度,提升了预测的准确性。

跨语言语料库的语音情感识别对比研究

情感感知具有普遍性和差异性,不同语言表达的情感有不同的情感特征,但也存在相似的情感特征.选择IEMOCAP 英语情感数据库、CASIA 汉语情感数据库、EMO?BD 德语情感数据库,以中性、生气、快乐、悲伤四种情感为研究对象,了解在单语言语料库、混合语言语料库、跨语料库的语音情感识别情况.使用支持向量机(SupportVector Machine,SVM)、卷积神经网络(Convolutional Neural Networks,CNN)和长短时记忆网络(Long?Short TermMemory,LSTM)为分类器进行训练,对情感进行识别.从实验结果可以看出,不同语料库的语音情感的识别模式存在相似性,也存在相似的语言情感特性.还发现英文的中性情感和中文的悲伤情感具有良好的模型泛化性,英文的悲伤情感和中文的中性情感有较好的适应性.

基于迁移判别回归的跨域语音情感识别

针对实际情况下训练和测试数据来自不同领域数据库导致识别性能下降的问题,提出了一种基于迁移判别回归的跨域语音情感识别方法。首先,引入最大均值差异和图拉普拉斯项作为域间联合距离度量,在减小概率分布差异的同时,很好地保留数据的局部几何结构,从而学习到一个可迁移的公共特征表示。其次,本文采用一种能量保持策略,以避免迁移过程中目标域信息的丢失。此外,通过引入判别回归项,利用已标记的源域样本在公共子空间中训练一个可迁移的判别回归模型。最后,为了使学习到的模型具有特征选择能力和鲁棒性,分别对投影矩阵和回归项施加L2,1范数约束。在3个公开数据集上的实验结果表明,本文提出的算法相较于其他几种迁移学习方法具有更好的识别性能。

情感语音特征对语料库依赖性的统计分析

简述线性预测倒谱系数(LPCC)、Teager能量算子(TEO)、梅尔频率倒谱系数(MFCC)和过零峰值幅度(ZCPA)特征提取方法,并将这四种方法应用于情感识别。设计两种实验,第一种是使用TYUT和Berlin语料库的单语言实验,这种实验证明,以上四种特征在单一的语料库单一语言条件下均能够有效地表征语音的情感特征,其中MFCC特征对情感的识别率最高。第二种实验是混合语料库的单一语言实验。之前大多数关于情感特征的研究都是基于某一种语料库中某种特定语言的,但在实际中,说话人的背景环境总是多种多样。因此,对特征的混合语料库研究是有现实意义的。第二种实验证明这四种特征都是语料库依赖性的,其中ZCPA特征的识别率下降最少。

融合多种语言的语音情感识别

由于语言的差异,提高跨语言情感数据库识别语音情感的准确度,仍然是一项难题。该文针对语言差异这一难题,融合了语音情感识别技术和自然语言处理技术。该文选取Berlin语音情感数据库和CASIA语音情感数据库,从两个数据库中分别挑选200条语音,选用开源API下的Google Speech,实现语音文本的转化。使用机器翻译方法,将语言转化为文本,统一翻译成中文。利用自然语言处理的词法分析、句法分析、LSA的关键词提取算法,提取出表达情感的关键词。对于被提取出来的关键词,使用SpeechLib工具包将提取过特征值的文本转化成语音,提取MFCC特征,构建DNN+BLSTM模型,实现语音情感的分类。实验结果表明,文中使用的方法未加权平均召回率(UAR)和加权平均召回率(WAR)分别为48.22%和56.5%,相比其他方法,UAR和WAR分别提高了4%和8%。

基于深度自编码器子域自适应的跨库语音情感识别

针对不同语料库之间数据分布差异问题,提出一种基于深度自编码器子域自适应的跨库语音情感识别算法。首先,该算法采用两个深度自编码器分别获取源域和目标域表征性强的低维情感特征;然后,利用基于LMMD(local maximum mean discrepancy)的子域自适应模块,实现源域和目标域在不同低维情感类别空间中的特征分布对齐;最后,使用带标签的源域数据进行有监督地训练该模型。在eNTERFACE库为源域、Berlin库为目标域的跨库识别方案中,所提算法的跨库识别准确率相比于其他算法提升了5.26%~19.73%;在Berlin库为源域、eNTERFACE库为目标域的跨库识别方案中,所提算法的跨库识别准确率相比于其他算法提升了7.34%~8.18%。因此,所提方法可以有效地提取不同语料库的共有情感特征并提升了跨库语音情感识别的性能。

跨库语音情感识别研究进展

语音情感识别在人机交互过程中发挥极为重要的作用,近年来备受关注.目前,大多数的语音情感识别方法主要在单一情感数据库上进行训练和测试.然而,在实际应用中训练集和测试集可能来自不同的情感数据库.由于这种不同情感数据库的分布存在巨大差异性,导致大多数的语音情感识别方法取得的跨库识别性能不尽人意.为此,近年来不少研究者开始聚焦跨库语音情感识别方法的研究.本文系统性综述了近年来跨库语音情感识别方法的研究现状与进展,尤其对新发展起来的深度学习技术在跨库语音情感识别中的应用进行了重点分析与归纳.首先,介绍了语音情感识别中常用的情感数据库,然后结合深度学习技术,从监督、无监督和半监督学习角度出发,总结和比较了现有基于手工特征和深度特征的跨库语音情感识别方法的研究进展情况,最后对当前跨库语音情感识别领域存在的挑战和机遇进行了讨论与展望.

实用语音情感识别中的若干关键技术

介绍了语音情感识别领域的最新进展和今后的发展方向,特别是介绍了结合实际应用的实用语音情感识别的研究状况。主要内容包括:对情感计算研究领域的历史进行了回顾,探讨了情感计算的实际应用;对语音情感识别的一般方法进行了总结,包括情感建模、情感数据库的建立、情感特征的提取,以及情感识别算法等;结合具体应用领域的需求,对实用语音情感识别方法进行了重点分析和探讨;分析了实用语音情感识别中面临的困难,针对烦躁等实用情感,总结了实用情感语音语料库的建立、特征分析和实用语音情感建模的方法等。最后,对实用语音情感识别研究的未来发展方向进行了展望,分析了今后可能面临的问题和解决的途径。

融合说话者特征的个性化自然语音情感识别

情感特征的高级表示与说话者的个性化特征之间存在较强相关性,因此以提升个性化情感识别精度为目标,设计一组融合说话者特征和语音情感特征的识别模型,利用卷积神经网络模型获取说话者类别,在融合说话人特征高阶表达的基础上,利用卷积循环神经网络训练个性化情感识别模型,结合自建的成人自然情感语料库,在多项语音情感语料库上测试识别模型性能,从而验证该模型的有效性。

听觉注意模型的语谱图语音情感识别方法

在语音情感识别技术中,由于噪声环境、说话方式和说话人特质原因,造成特征向量空间分布不匹配的情况。从语音学上分析,该问题多存在于跨数据库情感识别实验。训练的声学模型和用于测试的语句样本之间的错位,会使语音情感识别性能剧烈下降。语谱图的特征能从图像的角度对现有情感特征进行有效的补充。本文据此所研究的听觉选择性注意模型,模拟人耳听觉特性,能有效探测语谱图上变化的情感特征。同时,利用时频原子对模型进行改进,取得频率特性信号匹配的优势,从时域上提取情感信息。选择注意机制使模型能提取跨语音数据库中的显著性特征,提高语音情感识别系统的情感辨识能力。实验结果表明,利用文章所提方法在跨库情感样本上进行特征提取,再通过典型的分类器,识别性能提高了约9个百分点,从而验证了该方法对不同数据库具有更好的鲁棒性。

基于卷积神经网络的藏语语音情感识别

语音情感识别(speech emotion recognition,SER)是人机交互中的热点研究技术,但基于藏语的SER研究少有学者涉足。在构建了一个五千条藏语拉萨方言的语音情感语料库TSEC5000的基础上,将卷积神经网络(convolutional neural network,CNN)用于实现藏语语音情感的识别,并通过改变CNN的层数来改进说话人相关、说话人无关的SER性能。实验结果表明,对于藏语说话人相关的SER在4层卷积网络上获得89%的识别率,基于TSEC5000说话人无关SER在5层网络上获得最好的识别率为76%。

融合图像显著性的声波动方程情感识别模型

语音情感识别(Speech emotion recognition,SER)是计算机理解人类情感的关键之处,也是人机交互的重要组成部分。当情感语音信号在不同的介质传播时,使用深度学习模型获得的识别精度不高,识别模型的迁移能力不强。为此,设计了一种融合图像显著性和门控循环的声波动方程情感识别(Image saliency gated recurrent acoustic wave equation emotion recognition,ISGR-AWEER)模型,该模型由图像显著性提取和基于门控循环的声波动模型构成。前者模拟注意力机制,用于提取语音中情感表达的有效区域,后者设计了一个声波动情感识别模型,该模型模拟循环神经网络的流程,可以有效提升跨介质下语音情感识别的精度,同时可快速地实现跨介质下的模型迁移。通过实验,在交互情感二元动作捕捉(Interactive emotional dyadic motion capture,IEMOCAP)情感语料库和自建多介质情感语音语料库上验证了当前模型的有效性,与传统的循环神经网络相比,情感识别精度获得了25%的改善,并且具有较强的跨媒介迁移能力。