基于改进注意力机制的多路卷积课堂语音情感识别模型

针对语音情感识别研究中增加网络的深度和宽度对识别准确率提高不明显的情况,改进了注意力机制,通过将通道注意力机制和空间注意力机制相结合,并将空间注意力机制的卷积部分改进为两层的空洞卷积,以便提取更多有价值的上下文语义信息;针对单一的情感特征无法有效表征语音情感,将多个单一情感特征进行融合,增加特征的情感表征能力。该模型在中科院自动化所汉语情感数据库(CASIA)下得到了85.24%的识别准确率,在Emo-DB数据集上得到86.58%的识别准确率,证明了模型的有效性。针对真实的课堂语音数据,该模型在实验中召回率、F1值和准确率分别达到77.77%、80.76%、79.24%,体现了较好的实用性。

混合多尺度卷积结合双层LSTM语音情感识别

针对深度学习算法在语音情感特征提取方面的不足以及识别准确率不高的问题,本文通过提取语音数据中有效的情感特征,并将特征进行多尺度拼接融合,构造语音情感特征,提高深度学习模型对特征的表现能力。传统递归神经网络无法解决语音情感识别长时依赖问题,本文采用双层LSTM模型来改进语音情感识别效果,提出一种混合多尺度卷积与双层LSTM模型相结合的模型。实验结果表明,在中科院自动化所汉语情感数据库(CASIA)和德国柏林情感公开数据集(Emo-DB)下,本文所提语音情感识别模型相较于其他情感识别模型在准确率方面有较大提高。

基于PGN-CL的文本摘要生成模型

基于Seq2Seq框架的生成式文本摘要模型取得了不错的研究进展,但此类模型大多存在未登录词、生成文本重复、曝光偏差问题。为此,本文提出基于对抗性扰动对比学习的指针生成器网络PGN-CL来建模文本摘要生成过程,该模型以指针生成器网络PGN为基本架构,解决摘要模型存在的未登录词和生成文本重复的问题;采用对抗性扰动对比学习作为一种新的模型训练方式来解决曝光偏差问题。在PGN模型的训练过程中,通过向目标序列添加扰动并建立对比损失函数来生成对抗性正负样本,使负样本与目标序列在嵌入空间相似但语义差别很大,正样本与目标序列在语义空间很相近但嵌入空间差距较大,这些区分困难的正负样本可以引导PGN模型在特征空间更好地学习到正负样本的区分特征,获得更准确的摘要表示。在LCSTS数据集上的实验结果表明,提出的模型在ROUGE评价指标上的表现优于对比基线,证明了融合指针生成器网络和对抗性扰动对比学习对摘要质量提升的有效性。

基于双向掩码注意力机制的多模态情感分析

【目的】为充分利用多模态信息,实现更有效的模态间交互,本文提出一种基于双向掩码注意力机制的多模态情感分析模型BMAM。【方法】该模型同时建模文本和语音两个模态,对于每个模态,掩码注意力通过引入另一个模态的信息来动态调整当前模态的注意力权值,从而获取更精准的模态表示。这些模态表示既保留了模态固有的独特性,又减少了与另一个模态的差异性,帮助模型实现最佳的情感决策。【结果】在通用的多模态情感分析数据集IEMOCAP上对模型进行评估验证,模型的情感分析加权准确率达到74.1%,相较于现有主流方法有明显提升。【局限】模型对数据集中占比较大的Neutral、Anger这两个情感类别有较高的识别效果,而对数据集中占比较小的Happy、Sad情感类别的识别性能较差。【结论】本文模型能有效利用多模态间的相互作用以合理调整模态自身情感元素间的注意力权重,实现更有效的情感决策。