跨模态注意力融合和信息感知的情感一致检测

随着信息技术的迅猛发展,海量的图像和文本等数据通过各种渠道不断产生和传播,对图文等多模态数据进行的识别和检测技术在电商、医疗、物流、金融和建筑等许多领域应用广泛。情感一致检测旨在探索如何准确地判断不同模态数据表达的情感是否一致。现有的大多数情感一致检测模型通常采用隐性融合的方式,并未显式地将情感在模态之间进行对齐,且忽略了情感词在检测中的重要作用。为此,本文提出一种跨模态注意力融合和信息感知的情感一致检测模型,利用基于BERT的双通道模块捕捉图像和文本模态间的动态交互,引入外部知识来增强文本表示,将图像和文本根据情感信息有效聚合,构建共同注意力矩阵,捕捉文本句子与文本标签之间、文本句子与文本标签的情感向量之间的不协调特征,提高图文情感一致检测的准确性。基于X(原Twitter)的公共多模态数据集的实验结果验证了该模型的优越性。