基于知识表示增强的多模态知识图谱补全方法

目前,将知识表示学习应用于知识图谱补全任务以预测知识图谱中缺失的实体或关系取得了不错的成效,但多数传统的基于表示学习的补全方法仅考虑了经过数据构建后的三元组中的结构特征,这使得原始数据中丰富的文本、图像等多种模态信息未被有效利用。针对此问题,提出将三元组的能量函数定义为利用关系的文本特征和实体的多模态特征进行表示的子能量函数的总和,以充分发掘三元组中的语义信息。此外,针对不同的能量函数设计了一种多模态负采样策略,用以对齐实体的不同特征,提高知识表示的质量,提升对知识图谱补全的性能。在公开数据集DB15K和FB15K-237上进行链接预测实验,结果表明所提出模型具有较好的知识图谱补全能力。

基于视觉与文本语义增强的多模态命名实体识别方法

为了解决视觉特征和文本特征融合后存在部分语义缺失从而导致视觉信息对文本信息的补充有较大偏差的问题,提出了一种基于视觉与文本语义增强的多模态命名实体识别方法。融合BERT文本特征提取和CLIP(contrastive language–image pre-training)视觉特征提取方法,设计了基于协同交叉注意力机制的特征交互单元,以增强视觉信息和文本信息之间的语义关系。CLIP通过对比学习框架进行预训练,优化模型以正确匹配视觉和对应的文本描述,最大化正样本(匹配的视觉-文本对)的相似性,同时最小化负样本(不匹配的视觉-文本对)的相似性。采用通用领域数据集TWITTER-2015和TWITTER-2017作为实验数据集。实验结果表明,本模型相比传统方法在多模态命名实体识别任务中的准确率、召回率、F1值均有显著提升。