基于知识图谱与BERT的多模态虚假新闻检测模型

面对多模态虚假新闻的检测挑战,文章提出一种融合知识图谱与基于Transformer的双向编码器表示(Bidirectional Encoder Representations from Transformers,BERT)的多模态虚假新闻检测模型。该模型先利用知识图谱深化对实体间关系的理解,然后借助BERT模型对文本内容进行深入分析,从而实现文本、图像及知识数据高效整合。多数据集实验结果显示,该模型在多模态新闻检测,特别是含图像与视频内容的新闻检测上,展现了显著的优势。这为虚假新闻的准确检测开辟了新途径。

基于ASEC的多模态虚假新闻检测的研究

当前的新闻检测模型尚存在模态特征融合困难、不够准确等问题,针对这些问题融入用户社交特征,设计了一种ASEC融合模型。首先采用ALBERT和Swin transformer模型分别提取文本和图片特征,加入归一化处理的用户模态特征;然后通过co-attention注意力机制和ECANet注意力机制组成的ASCE将这三种模态进行融合,合理分配这三个特征的权重,经过全连接层实现检测;最后在Media Eval2015数据集上检测出虚假性的准确率为93.92%,精确率为94.07%,比起单一的机制融合多个模态,ASEC模型的准确率提升了3.35%。实验结果表明,使用所提出的检测虚假新闻算法模型,检测的准确率、精确度较高,能避免模态信息的损失,也能够更好地识别虚假新闻。

双分支线索深度感知与自适应协同优化的多模态虚假新闻检测

深度学习方法促使多模态虚假新闻检测领域快速发展,现有的检测模型通常从全局角度学习新闻图文间的跨模态语义关联,并利用共享语义内容获取检测的关键信息.然而,新闻内部的局部语义差异可能会限制模型有效利用跨模态语义关联的能力,其中潜在的非共享语义内容作为重要线索能够有效揭示虚假新闻的篡改意图和目的.为了解决上述问题,本文提出了一种双分支线索深度感知与自适应协同优化的多模态虚假新闻检测模型.该模型首先从图像显著区域和文本语义单词中提取细粒度的新闻特征,并使用跨模态加权残差网络从中学习共享语义线索.同时,根据所有图像区域和文本单词之间的语义相关性,双分支图文线索感知模块显式地建模共享与非共享语义内容的语义关联.其中,线索关联优化分支对两类语义内容的关联边界持续迭代优化,促使模型准确区分非共享语义线索;线索关联分析分支刻画两类语义内容的可信程度,并在此基础上引导模型实现线索的自主融合.通过上述自适应协同优化框架,本文提出的模型能够在复杂新闻语境下进行线索的深度感知与融合,实现更准确、更可解释的多模态虚假新闻检测.在广泛使用的中英文真实数据集上的实验结果表明,本文提出的模型明显优于基线方法,在准确率和虚假新闻检测精确率上分别平均提高了4.85%和4.50%.