基于图卷积的无监督跨模态哈希检索算法

为解决当前无监督跨模态哈希检索在全局相似性矩阵构建和异构数据语义信息融合中存在的困难,提出一种基于图卷积的无监督跨模态哈希检索算法(GCUH)。采用分层次聚合的方式,将各个模态的相似性结构编码到全局相似性矩阵中,获得跨模态的成对相似性信息来指导学习。使用图卷积模块融合跨模态信息,消除邻居结构中的噪声干扰,形成完备的跨模态表征,提出两种相似性保持的损失函数约束哈希码的一致性。与基线模型相比,GCUH在NUS-WIDE数据集上使用64位哈希码执行文本检索图片任务的检索精度提升了6.3%。

基于监督学习的跨模态图文检索方法

近年来,由于哈希技术在计算速度和存储成本方面的优势,使得跨模态哈希在信息检索领域获得了广泛的关注。然而现有大多数方法只是简单地探索全局相似性,而多模态数据中的局部信息常被忽略。另外现有的大多数方法常采用一步策略同时哈希码和哈希函数,常会导致优化难解决并增加计算复杂度。为此提出了一种新的算法,即鉴别性监督跨模态哈希方法。方法联合考虑全局和局部信息并将其嵌入到哈希学习中并设计了一个跨模态哈希函数学习方案以学习强大的哈希函数。在两个大规模数据集上进行跨模态检索实验,实验结果表明,所提方法可以获得良好的检索性能,验证了该算法的有效性。

基于图卷积网络的无监督跨模态哈希检索算法

针对无监督跨模态检索任务中不能充分利用单个模态内的语义关联信息的问题,提出了一种基于图卷积网络的无监督跨模态哈希检索方法。通过图像和文本编码器分别获得两个模态的特征,输入到图卷积网络中挖掘单个模态的内部语义信息,将结果通过哈希编码层进行二值化操作后,与模态间的深度语义关联相似度矩阵进行对比计算损失,不断重构优化生成的二进制编码,直到生成样本对应的健壮哈希表达。实验结果表明,与经典的浅层方法和深度学习方法对比,该方法在多个数据集上的跨模态检索准确率均有明显提升。证明通过图卷积网络能够进一步挖掘模态内的语义信息,所提模型具有更高的准确性和鲁棒性。

基于CLIP与注意力机制的跨模态哈希检索算法

针对传统无监督跨模态检索算法提取样本内部与样本之间的关联语义不充分,导致检索准确率低的问题,提出一种基于CLIP与注意力融合机制的无监督跨模态哈希检索算法CAFM_Net。将多模态预训练模型CLIP运用到样本特征提取阶段,从不同维度挖掘数据的相似信息;使用注意力融合机制对提取的特征进行处理,加强显著区域的权重;引入对抗学习的思想设计模态分类器,生成更趋于语义一致性的跨模态数据哈希编码。与现有的代表性哈希方法相比,CAFM_Net在多模态检索任务上准确率提升至少11%与9%。

基于锚点的无监督跨模态哈希算法

基于图的无监督跨模态哈希学习具有存储空间小、检索效率高等优点,受到学术界和工业界的广泛关注,已成为跨模态检索不可或缺的工具之一.然而,图构造的高计算复杂度阻碍其应用于大规模多模态应用.主要尝试解决基于图的无监督跨模态哈希学习面临的两个重要挑战:1)在无监督跨模态哈希学习中如何高效地构建图?2)如何解决跨模态哈希学习中的离散值优化问题?针对这两个问题,分别提出基于锚点图的跨模态学习和可微分哈希层.具体地,首先从训练集中随机地选择若干图文对作为锚点集,利用该锚点集作为中介计算每批数据的图矩阵,以该图矩阵指导跨模态哈希学习,从而能极大地降低空间与时间开销;其次,提出的可微分哈希层可在网络前向传播时直接由二值编码计算,在反向传播时亦可产生梯度进行网络更新,而无需连续值松弛,从而具有更好的哈希编码效果;最后,引入跨模态排序损失,使得在训练过程中考虑排序结果,从而提升跨模态检索正确率.通过在3个通用数据集上与10种跨模态哈希算法进行对比,验证了提出算法的有效性.

成对相似度迁移哈希用于无监督跨模态检索

哈希编码能够节省存储空间、提高检索效率,已引起广泛关注。提出一种成对相似度迁移哈希方法(pairwise similarity transferring hash,PSTH)用于无监督跨模态检索。对于每个模态,PSTH将可靠的模态内成对相似度迁移到汉明空间,使哈希编码继承原始空间的成对相似度,从而学习各模态数据对应的哈希编码;此外,PSTH重建相似度值而不是相似度关系,使得训练过程可以分批进行;与此同时,为缩小不同模态间的语义鸿沟,PSTH最大化模态间成对相似度。在三个公开数据集上进行了大量对比实验,PSTH取得了SOTA的效果。

联合模态语义相似度修正的无监督跨模态哈希

基于哈希编码的无监督跨模态检索方法以其存储代价低、检索速度快、无需人工标注信息的优点受到了广泛的关注.最近的方法通过融合各模态的相似度信息构建联合模态相似度矩阵,用以指导哈希编码网络的学习.然而,这些方法未考虑数据特征空间的流形结构差异对相似度的影响而引入了噪声降低了模型的检索性能.本文提出了一种基于联合模态语义相似度修正的无监督跨模态哈希方法(JSSR),引入特征空间中的流形结构信息修正相似度矩阵中的噪声信息,同时增强语义相关样本的亲和力,使得生成的哈希码更具判别性和区分度.在典型的公开数据集NUS-WIDE和MIR Flickr上的实验结果表明,JSSR在跨模态检索精度上超越了现有的方法.

语义嵌入重构的跨模态哈希检索

针对大多数跨模态哈希检索方法仅通过分解相似矩阵或标签矩阵,从而导致标签语义信息利用不充分、标签矩阵分解过程语义信息丢失以及哈希码鉴别能力差的问题,提出了一种语义嵌入重构的跨模态哈希检索方法。该方法首先通过最小化标签成对距离和哈希码成对距离之间的距离差,从而将标签矩阵的成对相似性嵌入哈希码;接着对标签矩阵分解并重构学得共同子空间,共同子空间再回归生成哈希码,从而将标签矩阵的类别信息嵌入哈希码,并有效地控制标签矩阵分解过程的语义信息丢失情况,进一步提高哈希码的鉴别能力。在公开的三个基准数据集上进行了多个实验,实验结果验证了该方法的有效性。

标签松弛回归的跨模态哈希检索

跨模态哈希检索方法因其检索效率高和有效已被广泛应用.大多数有监督哈希方法仅仅将标签信息转换为实例间的成对相似性却忽略了类别信息,这些方法不能使哈希码保留标签所反映的区分信息,从而影响了检索的准确性.为此,本文提出了一种新颖的有监督跨模态标签松弛回归哈希(LRRH)方法.该方法通过语义相似度矩阵保留了实例间的成对相似性,同时应用标签的类别信息生成哈希码;并通过将标签矩阵松弛为标签松弛变量矩阵,扩大不同类别之间的边距,以标签松弛回归使哈希码能更好地保留标签的类别信息,也为哈希码拟合标签提供更大的自由度与优化空间,这使学习到的哈希码具备更高的语义相似性和类别判别力;另外,在哈希码学习过程,引入正交与均衡约束以生成更高质量的哈希码.本文方法在LabelMe、MIRFlickr及NUS-WIDE这3个公开数据集上与近期跨模态哈希方法进行了实验比较,实验结果表明本文方法均取得最佳的MAP值,验证了本文方法的有效性.

双重结构保持的在线跨模态哈希

近年来,在线跨模态哈希因其能处理更为贴近现实的流数据场景而受到广泛关注.虽然取得了不错的进展,但现有方法大都依赖准确清晰的数据标记.目前,针对无监督学习模式下在线跨模态哈希的研究相对较少,还有很多问题有待解决.例如,新到达的数据流通常规模较小,因此常常存在分布不平衡的现象.而现有模型极少关注这个问题,导致模型对离群样本敏感,鲁棒性较差.并且,现有方法大都关注样本的整体结构而忽视了邻域信息对于生成公共哈希码的帮助.为了解决上述问题,提出了基于双重结构保持的无监督在线跨模态哈希方法,称为SPOCH(structure preserving online cross-modal hashing).该方法的基本思想是同时挖掘样本空间的全局结构信息和邻域结构信息来生成相应的公共表示,用以指导哈希码和哈希函数的学习.针对全局结构的学习,引入L_(2,1)范数取代L_(2)范数来约束损失函数,利用L_(2,1)范数结构化稀疏的性质缓解模型对离群样本的敏感性;针对邻域结构的学习,利用多模态融合的邻域样本进行样本重构,使得所学公共表示更好地表征多模态信息.此外,为了缓解遗忘问题,提出在新旧数据上联合优化,并设计相应的更新策略提高算法的训练效率,实现在线检索.在2个广泛使用的跨模态检索数据集上进行的实验结果表明,较现有最先进的无监督在线跨模态哈希方法,SPOCH在可比较甚至更短的训练时间内取得了更优的检索精度,验证了所提方法的有效性.

自注意力相似度迁移跨模态哈希网络

为进一步提升跨模态检索性能,提出自注意力相似度迁移跨模态哈希网络模型。设计了一种通道空间混合自注意力机制强化关注图像的关键信息,并使用共同注意力方法加强模态信息交互,提高特征学习质量;为在哈希空间重构相似关系,采用迁移学习的方法利用实值空间相似度引导哈希码的生成。在3个常用的数据集MIRFLICKR-25K、IAPR TC-12和MSCOCO上与深度跨模态哈希(DCMH)、成对关系引导的深度哈希(PRDH)、跨模态汉明哈希(CMHH)等优秀方法进行对比实验,结果显示哈希码长度为64 bit的条件下,所提模型在3个数据集图像检索文本任务的平均精确度均值(MAP)达到72.3%,文本检索图像任务的MAP达到70%,高于对比方法。

基于哈希方法的跨模态检索研究进展

目前大规模数据集的近邻检索引起广泛关注。早期的近邻检索多为同构数据的检索,如以图像检索图像,文本检索文本。但是随着多媒体的发展,信息表达的多样性,数据跨模态检索成为当前研究热点。跨模态检索指在文档有多种模态描述时可从一个模态检索到另一个模态,如以文本检索图像,以图像检索文本等。由于哈希方法的存储开销低和快速有效的特征,广泛应用在跨模态检索中。本文从有监督、无监督和半监督三方面介绍了主要的基于哈希跨模态检索方法,分析了其优缺点,并进行了实验比较。

基于特征融合的无监督跨模态哈希

已有的无监督跨模态哈希(UCMH)方法主要关注构造相似矩阵和约束公共表征空间的结构,忽略了2个重要问题:一是它们为不同模态的数据提取独立的表征用以检索,没有考虑不同模态之间的信息互补;二是预提取特征的结构信息不完全适用于跨模态检索任务,可能会造成一些错误信息的迁移。针对第一个问题,提出一种多模态表征融合结构,通过对不同模态的嵌入特征进行融合,从而有效地综合来自不同模态的信息,提高哈希码的表达能力,同时引入跨模态生成机制,解决检索数据模态缺失的问题;针对第二个问题,提出一种相似矩阵动态调整策略,在训练过程中用学到的模态嵌入自适应地逐步优化相似矩阵,减轻预提取特征对原始数据集的偏见,使其更适应跨模态检索,并有效避免过拟合问题。基于常用数据集Flickr25k和NUS-WIDE进行实验,结果表明,通过该方法构建的模型在Flickr25k数据集上3种哈希位长检索的平均精度均值较DGCPN模型分别提高1.43%、1.82%和1.52%,在NUS-WIDE数据集上分别提高3.72%、3.77%和1.99%,验证了所提方法的有效性。

基于文本引导图像语义融合的跨模态哈希检索

基于哈希的跨模态检索算法具有存储消耗低和搜索效率高的特点,跨模态哈希检索在多媒体数据中的应用成为当前的研究热点。目前对于跨模态哈希检索的主流方法是研究模态间哈希码的学习能力,忽视了不同模态之间的特征学习能力以及语义融合能力。将Clip中的图像-文本匹配问题转换为像素-文本匹配问题,文本特征经过Transformer解码器查询图片特征,鼓励文本特征学习到最相关的图片像素级信息,并将像素-文本匹配得分引导图片模态的特征学习,挖掘出不同模态之间的更深层次的相关联的语义信息,并引入二元交叉熵损失函数来提升模态之间的语义融合能力,在高维特征映射到低维的汉明空间时能够得到高质量的二值哈希码。在MIRFLICKR-25K和NUS-WIDE数据集上进行对比实验,实验结果表明所提算法模型在不同长度的哈希码条件下的检索效果均优于目前主流的算法。

语义保持哈希在跨模态检索中的应用

哈希表示能够节省存储空间,加快检索速度,所以基于哈希表示的跨模态检索已经引起广泛关注。多数有监督的跨模态哈希方法以一种回归或图约束的方式使哈希编码具有语义鉴别性,然而这种方式忽略了哈希函数的语义鉴别性,从而导致新样本不能获得语义保持的哈希编码,限制了检索准确率的提升。为了同时学习具有语义保持的哈希编码和哈希函数,提出一种语义保持哈希方法用于跨模态检索。通过引入两个不同模态的哈希函数,将不同模态空间的样本映射到共同的汉明空间。为使哈希编码和哈希函数均具有较好的语义鉴别性,引入了语义结构图,并结合局部结构保持的思想,将哈希编码和哈希函数的学习融合到同一个框架,使两者同时优化。三个多模态数据集上的大量实验证明了该方法在跨模态检索任务的有效性和优越性。

语义相似性保持的判别式跨模态哈希

针对跨模态哈希检索方法中存在标签语义利用不充分,从而导致哈希码判别能力弱、检索精度低的问题,提出了一种语义相似性保持的判别式跨模态哈希方法。该方法将异构模态的特征数据投影到一个公共子空间,并结合多标签核判别分析方法将标签语义中的判别信息和潜在关联嵌入到公共子空间中;通过最小化公共子空间与哈希码之间的量化误差提高哈希码的判别能力;此外,利用标签构建语义相似性矩阵,并将语义相似性保留到所学的哈希码中,进一步提升哈希码的检索精度。在LabelMe、MIRFlickr-25k、NUS-WIDE三个基准数据集上进行了大量实验,其结果验证了该方法的有效性。

图文跨模态检索研究进展

随着互联网技术的迅速发展,文本和图像等各种类型的数据在网络上呈现爆发式增长,如何从这些多源异构且语义关联的多模态数据中获取有价值的信息则尤为重要。跨模态检索能够突破模态的限制,跨越不同模态的数据进行信息检索,满足用户获取有关事件信息的需求。近年来,跨模态检索已经成为了学术界和工业界研究的热点问题。本文聚焦于图文跨模态检索任务,首先介绍图文跨模态检索的定义,并分析说明了当前该任务面临的挑战。其次,对现有的研究方法进行归纳总结,将其分为3大类:(1)传统方法;(2)基于深度学习的方法;(3)基于哈希表示的方法。然后,详细介绍了图文跨模态检索的常用数据集,并对常用数据集上已有算法进行详细分析与比较。最后,对图文跨模态检索任务的未来发展方向进行展望。

面向传统服饰的细粒度跨模态检索算法

目的由于跨模态数据集有限和模态异构表征问题,利用跨模态检索算法解决实际应用问题一直是当前多模态研究中的一大研究方向。方法提出了一种面向传统服饰的细粒度跨模态检索算法,解决传统服饰跨模态检索的单模态表征和跨模态表征一致的问题。在单模态特征表征方面,沿用DCMH使用深度学习的方法对初始数据进行特征提取;在跨模态表征一致方面,新增自监督语义网络,以自监督的方式对应标签信息提取细粒度信息,并将其用于图文哈希学习的监督,从而得到更好的图文哈希表征。通过在传统服饰数据集上与其他方法进行对比实验,验证算法的有效性。结论有关此方面的应用探索,有利于解决互联网时代中国传统服饰文本、图像处理等的保护性难题,为未来纹样检索中的工作做铺垫,实现中国传统服饰的创新性传承和发展。

基于语义一致与多级相似性的跨模态哈希检索

【目的】通过关联标签学习丰富的语义表示,在哈希码中保留更多辨别信息,同时考虑到跨模态语义相似性,保持不同模态间的相关性,更好地弥合模态差距。【方法】在多标签的关联约束下,挖掘不同模态的公共语义信息以及隐藏的类语义结构,采用高级语义与低级语义联合相似性度量的非对称学习框架,进而量化获得更具强鉴别性的哈希码。【结果】在MIRFlickr-25K、IAPR TC-12和NUS-WIDE三个多模态基准数据集上,本文方法与7种方法进行实验对比,在5种不同码长情况下,本文方法的平均MAP值比基准模型的最高值分别提升2.1%、5.8%和2.1%。【局限】所提出方法对多标签数据集更具适用性,对单标签数据的语义相关性挖掘尚有欠缺。【结论】所提方法保持样本和类语义结构的一致性,并且充分挖掘内在模态特征,有效提高了检索性能。

联邦无监督跨模态哈希

联邦跨模态检索利用分散的客户端学习一个共享跨模态检索模型,从而降低集中大规模多模态训练数据时高昂的维护成本,解决分布式数据存储场景下跨模态检索中存在的数据隐私问题.然而现有的联邦跨模态检索方法大多依赖于大量的语义标注,这限制了检索模型在大规模应用场景下的扩展性.与之不同,本文提出一种无监督的联邦跨模态哈希检索模型,旨在保护客户端数据隐私的前提下,学习不依赖语义标注的跨模态检索模型.由于联邦环境中多模态数据分布不平衡,局部信息不足以让模型学习到整体数据上的模态间相似性,从而影响检索性能.为解决此问题,本文提出一个全局–局部模态间对比正则化方法,通过使用不同模态的全局哈希模型对单个模态的局部哈希模型进行约束,使局部哈希模型能够充分感知整体数据的相似性语义,从而加强对本地跨模态哈希学习过程的引导.同时,本文引入一种全局–局部模态内知识蒸馏策略来进一步地获取模态内特有的全局知识.5个基准跨模态检索数据集上的实验结果验证了本文提出方法的有效性.