跨模态注意力融合和信息感知的情感一致检测

随着信息技术的迅猛发展,海量的图像和文本等数据通过各种渠道不断产生和传播,对图文等多模态数据进行的识别和检测技术在电商、医疗、物流、金融和建筑等许多领域应用广泛。情感一致检测旨在探索如何准确地判断不同模态数据表达的情感是否一致。现有的大多数情感一致检测模型通常采用隐性融合的方式,并未显式地将情感在模态之间进行对齐,且忽略了情感词在检测中的重要作用。为此,本文提出一种跨模态注意力融合和信息感知的情感一致检测模型,利用基于BERT的双通道模块捕捉图像和文本模态间的动态交互,引入外部知识来增强文本表示,将图像和文本根据情感信息有效聚合,构建共同注意力矩阵,捕捉文本句子与文本标签之间、文本句子与文本标签的情感向量之间的不协调特征,提高图文情感一致检测的准确性。基于X(原Twitter)的公共多模态数据集的实验结果验证了该模型的优越性。

基于ADGCN-MFM的多模态讽刺检测研究

【目的】针对现有多模态讽刺检测研究对文本的情感信息和句法依存关系考虑不够全面的问题,提出一种基于情感-依存图卷积神经网络与模态融合的讽刺检测模型。【方法】该模型通过情感图和句法依存图增强文本模态的情感和句法信息,利用图卷积神经网络得到具有丰富情感语义的文本信息,随后通过模态融合的方式融合多模态特征,并利用自注意力机制过滤冗余信息,根据融合信息进行讽刺检测。【结果】实验结果表明,模型的准确率达到85.85%,相较于基线模型HFM、Res-BERT、D&R Net、IIMI-MMSD分别提升3.46、2.25、1.83、0.95个百分点;F1值达到84.80%,相较于基线模型中的较优者提升1.44个百分点。【局限】未在更多数据集上验证模型的泛化性与稳健性。【结论】所提模型可以充分挖掘到文本的情感和句法依存关系,有效提升了多模态讽刺检测的准确性。