基于注意力融合网络的方面级多模态情感分类

方面级多模态情感分类任务的一个关键是从文本和视觉两种不同模态中准确地提取和融合互补信息,以检测文本中提及的方面词的情感倾向.现有的方法大多数只利用单一的上下文信息结合图片信息来分析,存在对方面和上下文信息、视觉信息的相关性的识别不敏感,对视觉中的方面相关信息的局部提取不够精准等问题,此外,在进行特征融合时,部分模态信息不全会导致融合效果一般.针对上述问题,本文提出一种注意力融合网络AF-Net模型去进行方面级多模态情感分类,利用空间变换网络STN学习图像中目标的位置信息来帮助提取重要的局部特征;利用基于Transformer的交互网络对方面和文本以及图像之间的关系进行建模,实现多模态交互;同时补充了不同模态特征间的相似信息以及使用多头注意力机制融合多特征信息,表征出多模态信息,最后通过Softmax层取得情感分类的结果.在两个基准数据集上进行实验和对比,结果表明AF-Net能获得较好的性能,提升方面级多模态情感分类的效果.

基于双编码器表示学习的多模态情感分析

多模态情感分析旨在通过用户上传在社交平台上的视频来判断用户的情感.目前的多模态情感分析研究主要是设计复杂的多模态融合网络来学习模态之间的一致性信息,在一定程度上能够提升模型的性能,但它们大部分都忽略了模态之间的差异性信息所起到的互补作用,从而导致情感分析出现偏差.本文提出了一个基于双编码器表示学习的多模态情感分析模型DERL(dual encoder representation learning),该模型通过双编码器结构学习模态不变表征和模态特定表征.具体来说,我们利用基于层级注意力机制的跨模态交互编码器学习所有模态的模态不变表征,获取一致性信息;利用基于自注意力机制的模态内编码器学习模态私有的模态特定表征,获取差异性信息.此外,我们设计两个门控网络单元对编码后的特征进行增强和过滤,以更好地结合模态不变和模态特定表征,最后在融合时通过缩小不同多模态表示之间的L2距离以捕获它们之间潜在的相似情感用于情感预测.在两个公开的数据集CMU-MOSI和CMU-MOSEI上的实验结果表明该模型优于一系列基线模型.