结合全局和局部特征的深度哈希细粒度图像检索

现有深度哈希细粒度图像检索方法在特征提取时往往注重于提取具有较强分辨率的特征,忽视其他有价值区域且未考虑全局特征与局部特征间的交互,造成特征提取不充分,局部信息丢失和特征冗余等问题,本文引入Conformer模型并进行改进。首先,引入特征细化模块,弱化高响应区域特征,使模型可以关注其余特征信息,获取完整的图像特征;其次利用多尺度空洞卷积模块替换Conformer模型CNN分支的卷积块,通过特征提取能力更强的网络来实现全局特征和局部特征间的交互,进而提取更丰富的图像特征;最后,引入带有多样性损失的多分支注意力模块以获取不同维度的注意力特征,在去除背景干扰的特征上自适应筛选更精细的局部细粒度特征,抑制冗余特征。实验结果表明,所提方法在CUB-200-2011,FGVC-Aircraft,Stanford Cars和Stanford Dogs四个细粒度图像数据集上,使用16 bits哈希码的分类精度分别达到65.73%,81.32%,76.45%和68.41%,优于现有的深度哈希细粒度图像检索方法,检索结果较好。

视频文本跨模态检索研究综述

模态代表着数据特定的存在形式,不同模态数据的快速增长,使得多模态学习受到广泛关注。跨模态检索作为多模态学习的一个重要分支,在图文方面已得到显著发展。然而视频相对于图像而言承载了更多模态的数据,也包含更广泛的信息,能够满足用户对信息检索全面性、灵活性的要求,近年来逐渐成为跨模态检索的研究热点。为全面认识和理解视频文本跨模态检索及其前沿工作,对现有代表性方法进行了梳理和综述。首先归纳分析了当前基于深度学习的单向、双向视频文本跨模态检索方法,对每类方法中的经典工作进行了详细分析并阐述了优缺点。接着从实验的角度给出视频文本跨模态检索的基准数据集和评价指标,并在多个常用基准数据集上比较了一些典型方法的性能。最后讨论了视频文本跨模态检索的应用前景、待解决问题及未来研究挑战。