跨模态注意力融合和信息感知的情感一致检测

随着信息技术的迅猛发展,海量的图像和文本等数据通过各种渠道不断产生和传播,对图文等多模态数据进行的识别和检测技术在电商、医疗、物流、金融和建筑等许多领域应用广泛。情感一致检测旨在探索如何准确地判断不同模态数据表达的情感是否一致。现有的大多数情感一致检测模型通常采用隐性融合的方式,并未显式地将情感在模态之间进行对齐,且忽略了情感词在检测中的重要作用。为此,本文提出一种跨模态注意力融合和信息感知的情感一致检测模型,利用基于BERT的双通道模块捕捉图像和文本模态间的动态交互,引入外部知识来增强文本表示,将图像和文本根据情感信息有效聚合,构建共同注意力矩阵,捕捉文本句子与文本标签之间、文本句子与文本标签的情感向量之间的不协调特征,提高图文情感一致检测的准确性。基于X(原Twitter)的公共多模态数据集的实验结果验证了该模型的优越性。

基于语感一致性的社交媒体图文情感分析

针对现有的图文情感分析方法未能充分考虑图像和文本之间存在的语义不一致问题,以及未对图像和文本表达不同情感的数据做相应处理,从而导致分类不精准的现象,提出基于语感一致性的社交媒体图文情感分析(social media image-text sentiment analysis based on semantic sense consistency,SA-SSC)方法。首先,使用RoBERTa和双向门控循环单元(bidirectional gated recurrent unit,BiGRU)提取文本语义特征,使用ResNet101获取图像视觉特征;然后,采用指导注意力(guided attention,GA)从图像区域情感和文本内容找到表达用户情感的显著性区域,得到新的图像视觉特征;最后,利用协同注意力将2种模态的特征进行融合,进而完成情感分类。在本文构建的MMSD-CN中文社交媒体图文情感数据集和CCIR-YQ数据集上进行了实验验证,结果表明,SA-SSC方法可以有效减弱图文语感不一致对社交媒体图文情感分析造成的影响,在各项评价指标上均取得了较高的提升。