实值无标签图文跨模态检索研究综述

为研究面向无标签数据集基于实值特征的图像文本跨模态检索(以下简称跨模态检索)方法的发展现状和亟待解决的关键问题,对目前该领域的文献进行了分析与总结。跨模态检索是根据给定的一种模态查询,从另一种模态中检索出与查询相关的样本。首先,引入基于时间复杂度分类法,将现有跨模态检索方法分为基于特征方法和基于分数方法;其次,分别对以上两类方法的研究现状进行叙述,并针对两类方法现阶段存在的主要问题进行分析和讨论;然后,引入跨模态检索的两个主流数据集和常用评价指标,分别对两类方法在公开数据集上的性能进行比较与分析;最后,总结了跨模态检索领域亟待解决的关键问题。研究表明,现有跨模态检索方法尽管已经取得了显著进展,但仍有一些关键问题亟待解决,这些关键问题是未来跨模态检索领域的重要发展方向。

铁路客运场景下基于图像搜索的遗失物品查找方法

当前铁路客运场景下的遗失物品查找方法效率低下,影响了旅客的出行体验,给各车站的生产经营造成了困扰。为创新铁路客运场景下的遗失物品查找方式,在分析铁路客运遗失物品查找需求与难点的基础上,结合人脸识别以及深度学习的前沿技术成果,建立了一种基于图像搜索的遗失物品查找框架,设计了面向铁路客运场景的安检遗失物品查找方案以及非安检遗失物品查找方案。研究结果表明,该方法可进一步提高铁路客运运营的智能化水平,优化遗失物品的查找效率,在跨模态检索测试中有较高的检索精度,但在部分类别中的检索结果存在误差。基于研究结果,从算法改进与模型微调策略等方面进行了展望。

基于深度学习的图像-文本匹配研究综述

图像-文本匹配任务旨在衡量图像和文本描述之间的相似性,其在桥接视觉和语言中起着至关重要的作用.近年来,图像与句子的全局对齐以及区域与单词的局部对齐研究方面取得了很大的进展.本文对当前先进的研究方法进行分类和描述.具体地,本文将现有方法划分为基于全局特征的图像-文本匹配方法、基于局部特征的图像-文本匹配方法、基于外部知识的图像-文本匹配方法、基于度量学习的图像-文本匹配方法以及多模态预训练模型,对于基于全局特征的图像-文本匹配方法,本文依据流程类型划分为两类:基于嵌入的方法和基于交互的方法;而对于基于局部特征的图像-文本匹配方法,依据其交互模式的不同,则被细分为三类:基于模态内关系建模的方法、基于模态间关系建模的方法以及基于混合交互建模的方法.随后,本文对当前图像-文本匹配任务的相关数据集进行了整理,并对现有方法的实验结果进行分析与总结.最后,对未来研究可能面临的挑战进行了展望.