基于堆叠交叉注意力CLIP的多模态情感分析

现有的多模态情感分析方法大多都是采用不同的模型来提取特征,模型之间特征的提取都是独立的过程,并且由于不同模态之间天然跨度较大,导致后续模态也难以有效融合,为了充分利用多模态信息,实现更有效的模态交互。为此提出了SCA-CLIP框架,即基于对比语言-图像预训练(CLIP)的多模态情绪分析网络。我们使用基于CLIP的编码器从图像和文本中提取强相关的深度表示,之后利用设计的堆叠交叉注意机制对跨模态的信息进行充分的交互以及融合,并且整个模型中通过利用BERT的多头注意力机制来维护可学习向量序列来捕捉有效信息,最后对典型的情绪分析数据集进行了广泛的实验。结果表明,所提出的框架在挖掘多模态情绪分析的关键特征方面具有更好的能力,能实现比原来更好的性能,即在MVSA-Single和MVSA-Multiple上的整体准确率分别提高了2.51%和1.3%。