基于对偶注意力机制的图文情感分析

传统情感分析方法无法有效处理社交平台中的大量多模态图文数据,暴露出多模态特征融合效果不佳的问题。为此,结合注意力机制与前馈神经网络建立基于对偶注意力机制融合多模态的情感分析模型。该模型利用预训练模型提取文本与图像特征,采用跨模态特征融合模块强化属于多个模态的公有特征,采用单模态自注意力模块提取单个模态私有特征中的有效信息,最终拼接融合多模态特征,实现对多模态数据的高效表征。在推特图文数据集上进行验证实验,通过与多种方法进行比较以及对内部各模态进行消融实验,证实所提模型具有较好的情感分类效果。