利用插值优化特征的多模态情感分析

目前,在多模态情感分析任务上,存在着单一模态特征提取不充分、数据融合方法缺乏稳定性的问题.本文提出一种利用插值优化模态特征的方法,用于解决这些问题.首先利用插值优化BERT和GRU模型提取特征的方式,并使用这两种模型挖掘文本、音频、视频的信息.其次,用改进的注意力机制融合文本、音频和视频信息,从而更稳定地实现模态融合.该方法在MOSI和MOSEI数据集上进行实验.实验结果表明,使用插值能够在优化模态特征的基础上,提高对多模态情感分析任务的准确率,该结果验证了插值的有效性.

结合语法结构和语义信息的情感三元组提取

针对目前大多数方面情感三元组提取方法存在着没有充分考虑语法结构和语义相关性的问题.本文提出一种结合语法结构和语义信息的方面情感三元组提取模型,首先提出使用依赖解析器得到所有依赖弧的概率矩阵构建语法图,提取丰富的语法结构信息.其次利用自注意力机制构建语义图,表示单词与单词之间的语义相关性,从而减低噪声词的干扰.最后设计了一个相互仿射变换层,让模型可以更好地交换语法图和语义图之间的相关特征,提升模型情感三元组提取的表现.在多个公开数据集上进行验证.实验表明,与现有的情感三元组提取模型相比,精确度(P)、召回率(R)和F1值整体都有提高,验证了结合语法结构和语义信息在方面情感三元组提取的有效性.