基于表示学习的跨模态检索方法研究进展

多模态数据的急剧增长带来了跨模态检索的应用需求,促进了对跨模态检索方法的研究。本文追溯该领域最新进展,跟踪并深入研究国内外基于表示学习的跨模态检索方法,对跨模态检索问题进行定义并梳理该领域常用技术方法、主流模型、常用数据集、评价方法和面临的主要挑战。主要从统计相关分析、图正则化和度量学习3方面介绍基于表示学习跨模态检索方法,并分析其优缺点。为了分析上述方法的优劣性,实验分别在4个数据集上复现14种方法进行对比评价。实验结果表明:基于统计相关分析方法训练效率较高且易于实施;基于图正则化方法通过挖掘模态内和模态间的相似性,实现语义关联;基于度量学习方法是在公共子空间中尽可能保留数据语义相似/不相似的信息。本文介绍基于表示学习的跨模态检索方法的研究现状,为跨模态检索方法研究提供参考。

多层语义对齐的跨模态检索方法研究

为解决具有语义相关的文本、图像数据互检索问题,提出一种基于多层语义对齐的跨模态检索方法。采用跨模态多层网络来提取图像和文本特征,通过注意力机制计算特征向量间的关联度,对提取的特征进行实体和关系对齐。为增强语义约束,采用全局语义一致性策略从给定的文本数据提取语义标签,利用文本加权向量进行多标签预测,进一步为实体和关系对齐提供了全局语义约束。在Flickr30k和MSCOCO两个公开数据集上的实验结果验证了所提方法的有效性。