结合图卷积网络的多模态仇恨迷因识别研究

针对现有迷因识别方法常忽视网络实体作用的情况,提出一种结合图卷积网络的迷因识别方法。提取图像中网络实体信息,利用图卷积网络对网络实体模态和文本模态进行融合,结合外源词典从多角度衡量网络实体和迷因文本之间的关系,构建跨域图;通过注意力模块对文本和图像模态进行交互,结合自蒸馏技术提高模型对信息的利用率。实验结果表明:该方法在Hateful Memes和MAMI数据集上的准确率分别达到76.03%和73.9%,性能优于现有的SOTA模型。