CMHICL:基于跨模态分层交互网络和对比学习的多模态讽刺检测

多模态讽刺检测的关键在于有效地对齐和融合不同模态的特征。然而,现有融合方法通常忽略多模态间组成结构的关系,并且在识别讽刺时也经常忽略多模态数据中与讽刺情感相关的共同特征的重要性。因此,提出一种基于跨模态分层交互网络和对比学习的模型。首先,跨模态分层交互网络采用了基于交叉注意力机制的最小单元对齐模块和基于图注意力网络的组成结构融合模块,从不同层面上识别文本和图像之间的不一致性,将低一致性的样本判定为含讽刺意味的样本。其次,该模型通过数据增强和类别增强两个对比学习任务,帮助学习讽刺相关的共同特征。实验结果表明,所提模型与基线模型相比,准确率提升了0.81%,F_(1)值提升了1.6%,验证了提出的分层交互网络和对比学习方法在多模态讽刺检测中的关键作用。