ViT2CMH:Vision Transformer Cross-Modal Hashing for Fine-Grained Vision-Text Retrieval

In recent years,the development of deep learning has further improved hash retrieval technology.Most of the existing hashing methods currently use Convolutional Neural Networks(CNNs)and Recurrent Neural Networks(RNNs)to process image and text information,respectively.This makes images or texts subject to local constraints,and inherent label matching cannot capture finegrained information,often leading to suboptimal results.Driven by the development of the transformer model,we propose a framework called ViT2CMH mainly based on the Vision Transformer to handle deep Cross-modal Hashing tasks rather than CNNs or RNNs.Specifically,we use a BERT network to extract text features and use the vision transformer as the image network of the model.Finally,the features are transformed into hash codes for efficient and fast retrieval.We conduct extensive experiments on Microsoft COCO(MS-COCO)and Flickr30K,comparing with baselines of some hashing methods and image-text matching methods,showing that our method has better performance.

TECMH:Transformer-Based Cross-Modal Hashing For Fine-Grained Image-Text Retrieval

In recent years,cross-modal hash retrieval has become a popular research field because of its advantages of high efficiency and low storage.Cross-modal retrieval technology can be applied to search engines,crossmodalmedical processing,etc.The existing main method is to use amulti-label matching paradigm to finish the retrieval tasks.However,such methods do not use fine-grained information in the multi-modal data,which may lead to suboptimal results.To avoid cross-modal matching turning into label matching,this paper proposes an end-to-end fine-grained cross-modal hash retrieval method,which can focus more on the fine-grained semantic information of multi-modal data.First,the method refines the image features and no longer uses multiple labels to represent text features but uses BERT for processing.Second,this method uses the inference capabilities of the transformer encoder to generate global fine-grained features.Finally,in order to better judge the effect of the fine-grained model,this paper uses the datasets in the image text matching field instead of the traditional label-matching datasets.This article experiment on Microsoft COCO(MS-COCO)and Flickr30K datasets and compare it with the previous classicalmethods.The experimental results show that this method can obtain more advanced results in the cross-modal hash retrieval field.

Cross-Modal Hashing Retrieval Based on Deep Residual Network

In the era of big data rich inWe Media,the single mode retrieval system has been unable to meet people’s demand for information retrieval.This paper proposes a new solution to the problem of feature extraction and unified mapping of different modes:A Cross-Modal Hashing retrieval algorithm based on Deep Residual Network(CMHR-DRN).The model construction is divided into two stages:The first stage is the feature extraction of different modal data,including the use of Deep Residual Network(DRN)to extract the image features,using the method of combining TF-IDF with the full connection network to extract the text features,and the obtained image and text features used as the input of the second stage.In the second stage,the image and text features are mapped into Hash functions by supervised learning,and the image and text features are mapped to the common binary Hamming space.In the process of mapping,the distance measurement of the original distance measurement and the common feature space are kept unchanged as far as possible to improve the accuracy of Cross-Modal Retrieval.In training the model,adaptive moment estimation(Adam)is used to calculate the adaptive learning rate of each parameter,and the stochastic gradient descent(SGD)is calculated to obtain the minimum loss function.The whole training process is completed on Caffe deep learning framework.Experiments show that the proposed algorithm CMHR-DRN based on Deep Residual Network has better retrieval performance and stronger advantages than other Cross-Modal algorithms CMFH,CMDN and CMSSH.

An Efficient Encrypted Speech Retrieval Based on Unsupervised Hashing and B+ Tree Dynamic Index

Existing speech retrieval systems are frequently confronted with expanding volumes of speech data.The dynamic updating strategy applied to construct the index can timely process to add or remove unnecessary speech data to meet users’real-time retrieval requirements.This study proposes an efficient method for retrieving encryption speech,using unsupervised deep hashing and B+ tree dynamic index,which avoid privacy leak-age of speech data and enhance the accuracy and efficiency of retrieval.The cloud’s encryption speech library is constructed by using the multi-threaded Dijk-Gentry-Halevi-Vaikuntanathan(DGHV)Fully Homomorphic Encryption(FHE)technique,which encrypts the original speech.In addition,this research employs Residual Neural Network18-Gated Recurrent Unit(ResNet18-GRU),which is used to learn the compact binary hash codes,store binary hash codes in the designed B+tree index table,and create a mapping relation of one to one between the binary hash codes and the corresponding encrypted speech.External B+tree index technology is applied to achieve dynamic index updating of the B+tree index table,thereby satisfying users’needs for real-time retrieval.The experimental results on THCHS-30 and TIMIT showed that the retrieval accuracy of the proposed method is more than 95.84%compared to the existing unsupervised hashing methods.The retrieval efficiency is greatly improved.Compared to the method of using hash index tables,and the speech data’s security is effectively guaranteed.

Unsupervised pseudoinverse hashing learning model for rare astronomical object retrieval

Searching for rare astronomical objects based on spectral data is similar to finding needles in a haystack owing to their rarity and the immense data volume gathered from large astronomical spectroscopic surveys.In this paper,we propose a novel automated approximate nearest neighbor search method based on unsupervised hashing learning for rare spectra retrieval.The proposed method employs a multilayer neural network using autoencoders as the local compact feature extractors.Autoencoders are trained with a non-gradient learning algorithm with graph Laplace regularization.This algorithm also simplifies the tuning of network architecture hyperparameters and the learning control hyperparameters.Meanwhile,the graph Laplace regularization can enhance the robustness by reducing the sensibility to noise.The proposed model is data-driven;thus,it can be viewed as a general-purpose retrieval model.The proposed model is evaluated in experiments and real-world applications where rare Otype stars and their subclass are retrieved from the dataset obtained from the Large Sky Area Multi-Object Fiber Spectroscopic Telescope(Guo Shoujing Telescope).The experimental and application results show that the proposed model outperformed the baseline methods,demonstrating the effectiveness of the proposed method in rare spectra retrieval tasks.

基于图卷积的无监督跨模态哈希检索算法

为解决当前无监督跨模态哈希检索在全局相似性矩阵构建和异构数据语义信息融合中存在的困难,提出一种基于图卷积的无监督跨模态哈希检索算法(GCUH)。采用分层次聚合的方式,将各个模态的相似性结构编码到全局相似性矩阵中,获得跨模态的成对相似性信息来指导学习。使用图卷积模块融合跨模态信息,消除邻居结构中的噪声干扰,形成完备的跨模态表征,提出两种相似性保持的损失函数约束哈希码的一致性。与基线模型相比,GCUH在NUS-WIDE数据集上使用64位哈希码执行文本检索图片任务的检索精度提升了6.3%。

基于CLIP与注意力机制的跨模态哈希检索算法

针对传统无监督跨模态检索算法提取样本内部与样本之间的关联语义不充分,导致检索准确率低的问题,提出一种基于CLIP与注意力融合机制的无监督跨模态哈希检索算法CAFM_Net。将多模态预训练模型CLIP运用到样本特征提取阶段,从不同维度挖掘数据的相似信息;使用注意力融合机制对提取的特征进行处理,加强显著区域的权重;引入对抗学习的思想设计模态分类器,生成更趋于语义一致性的跨模态数据哈希编码。与现有的代表性哈希方法相比,CAFM_Net在多模态检索任务上准确率提升至少11%与9%。

基于无监督语义哈希的高效相似题检索模型

相似题检索旨在从数据库中找到与给定查询试题考查目标相似的试题。随着在线教育的不断发展,试题数据库日益庞大,且由于试题数据的专业属性使标注相关性非常困难,因此需要一种高效且无需标注的相似题检索模型。无监督语义哈希能在无监督信号的前提下将高维数据映射为低维且高效的二值表征。但不能简单地将语义哈希模型应用在相似题检索模型中,因为试题数据具有丰富的语义信息,而二值向量的表征空间有限。为此,提出一个能获取、保留关键信息的相似题检索模型。首先,设计了一个关键信息获取模块获取试题数据的关键信息,并引入去冗余目标损失去除冗余信息;其次,在编码过程中引入随时间变化的激活函数,减少编码信息损失;再次,为了最大化利用汉明空间,在优化过程中引入比特平衡目标和比特无关目标以优化二值表征的分布。在MATH和HISTORY数据集上的实验结果表明,相较于表现最好的文本语义哈希模型DHIM(Deep Hash InfoMax),所提模型在2个数据集的3个召回率设置上分别平均提升约54%和23%;在检索效率方面,所提模型比最优的相似题检索模型QuesCo具有明显的优势。

双重结构保持的在线跨模态哈希

近年来,在线跨模态哈希因其能处理更为贴近现实的流数据场景而受到广泛关注.虽然取得了不错的进展,但现有方法大都依赖准确清晰的数据标记.目前,针对无监督学习模式下在线跨模态哈希的研究相对较少,还有很多问题有待解决.例如,新到达的数据流通常规模较小,因此常常存在分布不平衡的现象.而现有模型极少关注这个问题,导致模型对离群样本敏感,鲁棒性较差.并且,现有方法大都关注样本的整体结构而忽视了邻域信息对于生成公共哈希码的帮助.为了解决上述问题,提出了基于双重结构保持的无监督在线跨模态哈希方法,称为SPOCH(structure preserving online cross-modal hashing).该方法的基本思想是同时挖掘样本空间的全局结构信息和邻域结构信息来生成相应的公共表示,用以指导哈希码和哈希函数的学习.针对全局结构的学习,引入L_(2,1)范数取代L_(2)范数来约束损失函数,利用L_(2,1)范数结构化稀疏的性质缓解模型对离群样本的敏感性;针对邻域结构的学习,利用多模态融合的邻域样本进行样本重构,使得所学公共表示更好地表征多模态信息.此外,为了缓解遗忘问题,提出在新旧数据上联合优化,并设计相应的更新策略提高算法的训练效率,实现在线检索.在2个广泛使用的跨模态检索数据集上进行的实验结果表明,较现有最先进的无监督在线跨模态哈希方法,SPOCH在可比较甚至更短的训练时间内取得了更优的检索精度,验证了所提方法的有效性.

自注意力相似度迁移跨模态哈希网络

为进一步提升跨模态检索性能,提出自注意力相似度迁移跨模态哈希网络模型。设计了一种通道空间混合自注意力机制强化关注图像的关键信息,并使用共同注意力方法加强模态信息交互,提高特征学习质量;为在哈希空间重构相似关系,采用迁移学习的方法利用实值空间相似度引导哈希码的生成。在3个常用的数据集MIRFLICKR-25K、IAPR TC-12和MSCOCO上与深度跨模态哈希(DCMH)、成对关系引导的深度哈希(PRDH)、跨模态汉明哈希(CMHH)等优秀方法进行对比实验,结果显示哈希码长度为64 bit的条件下,所提模型在3个数据集图像检索文本任务的平均精确度均值(MAP)达到72.3%,文本检索图像任务的MAP达到70%,高于对比方法。

面向遥感图像检索的无监督哈希融合方法

遥感图像数据规模庞大,且大部分数据没有标注,因此能够独立于数据标注的无监督哈希算法更适用于遥感图像检索。本文提出了一种针对无监督哈希的融合方法,首先,通过随机游走算法得到遥感图像预训练特征之间的流形相似度,并结合特征之间的余弦相似度构造相似指示矩阵,该矩阵可以度量无监督哈希码的有效性。然后,将哈希码的有效性作为节点,哈希码之间的排序相关性作为边来动态地构建关联图,并将图中的连通分量作为哈希码的组合,避免可能产生退化结果的哈希码组合,进而降低计算复杂度。最后,将哈希码的归一化有效性作为权重,对每种组合方案进行自适应的晚期融合,生成判别能力更强的哈希码。在2个数据集上的一系列实验表明,该方法能自适应地选择出合适的融合方案,有效提升融合哈希码的检索性能,并且在付出更小训练代价的情况下,获得接近穷举方法检索性能的融合方案。

基于锚点的无监督跨模态哈希算法

基于图的无监督跨模态哈希学习具有存储空间小、检索效率高等优点,受到学术界和工业界的广泛关注,已成为跨模态检索不可或缺的工具之一.然而,图构造的高计算复杂度阻碍其应用于大规模多模态应用.主要尝试解决基于图的无监督跨模态哈希学习面临的两个重要挑战:1)在无监督跨模态哈希学习中如何高效地构建图?2)如何解决跨模态哈希学习中的离散值优化问题?针对这两个问题,分别提出基于锚点图的跨模态学习和可微分哈希层.具体地,首先从训练集中随机地选择若干图文对作为锚点集,利用该锚点集作为中介计算每批数据的图矩阵,以该图矩阵指导跨模态哈希学习,从而能极大地降低空间与时间开销;其次,提出的可微分哈希层可在网络前向传播时直接由二值编码计算,在反向传播时亦可产生梯度进行网络更新,而无需连续值松弛,从而具有更好的哈希编码效果;最后,引入跨模态排序损失,使得在训练过程中考虑排序结果,从而提升跨模态检索正确率.通过在3个通用数据集上与10种跨模态哈希算法进行对比,验证了提出算法的有效性.

基于特征共现的无监督哈希检索算法

现有无监督哈希检索算法的关注点在于哈希映射过程中的信息损失以及生成哈希的质量问题,忽略了图像特征本身对检索精度的影响。为进一步提高检索的精度,提出一种改进的基于特征共现的无监督哈希检索算法(Unsupervised Hash retrieval algorithm based on Feature Co-occurrence,UHFC)。该算法共分为两个阶段:深度特征提取和无监督哈希生成。为提高图像特征的质量,UHFC在卷积神经网络(Convolutional Neural Network,CNN)结构的最后一层卷积后引入了共现层,用来提取特征之间的依赖关系。并用共现激活值的均值来表示共现程度,解决原共现操作存在相同两个通道的共现值不一致的问题;接着,在特征融合部分UHFC设计一种适用于共现特征融合的,结合空间注意力机制的注意特征融合方法(Attention Feature Fusion method based on Spatial attention,AFF-S)。通过注意力机制自主学习共现特征与深度特征融合的权重,降低特征融合过程中背景因素的干扰,提高最终图像特征的表达能力。最后,根据最优传输策略,UHFC采用双半分布哈希编码对图像特征到哈希码的映射过程进行监督,并在哈希层后添加一层分类层通过KL损失进一步提高哈希码所包含的图片信息,整个训练过程中无需数据集的标注,实现无监督哈希的生成。实验表明,UHFC对哈希编码质量改善较好,在Flickr25k和Nus-wide数据集上其平均均值精度(mean Average Precision,mAP)分别达到了87.8%和82.8%,相比于baseline方法分别提高了2.1%与1.2%,效果明显。

基于图卷积网络的无监督跨模态哈希检索算法

针对无监督跨模态检索任务中不能充分利用单个模态内的语义关联信息的问题,提出了一种基于图卷积网络的无监督跨模态哈希检索方法。通过图像和文本编码器分别获得两个模态的特征,输入到图卷积网络中挖掘单个模态的内部语义信息,将结果通过哈希编码层进行二值化操作后,与模态间的深度语义关联相似度矩阵进行对比计算损失,不断重构优化生成的二进制编码,直到生成样本对应的健壮哈希表达。实验结果表明,与经典的浅层方法和深度学习方法对比,该方法在多个数据集上的跨模态检索准确率均有明显提升。证明通过图卷积网络能够进一步挖掘模态内的语义信息,所提模型具有更高的准确性和鲁棒性。

基于对比学习的无监督三元哈希方法

为了解决现有无监督二元哈希方法由于存在较大量化损失而导致检索精度较低的问题,在CIBHash方法的基础上,提出了一种新的基于对比学习的无监督三元哈希方法——CUTHash,将三元哈希编码用于图像检索。具体来说,首先,使用融合了解耦对比损失的对比学习框架,在目标数据集上进行无监督的图像特征学习;接着,为了得到三元哈希编码,对学习到的图像特征使用平滑函数进行量化操作,解决离散函数量化后导致的零梯度问题;最后,应用改进后的对比损失,约束同属一张图像的增强视图的特征在哈希空间中尽可能地接近,从而使得三元哈希编码具有一定的辨识力,使其更好地应用于无监督图像检索任务。在CIFAR-10、NUS-WIDE、MSCOCO以及ImageNet100数据集上进行了大量对比实验,取得了较当前主流的无监督哈希方法更好的检索性能,从而验证了CUTHash方法的有效性。

联合模态语义相似度修正的无监督跨模态哈希

基于哈希编码的无监督跨模态检索方法以其存储代价低、检索速度快、无需人工标注信息的优点受到了广泛的关注.最近的方法通过融合各模态的相似度信息构建联合模态相似度矩阵,用以指导哈希编码网络的学习.然而,这些方法未考虑数据特征空间的流形结构差异对相似度的影响而引入了噪声降低了模型的检索性能.本文提出了一种基于联合模态语义相似度修正的无监督跨模态哈希方法(JSSR),引入特征空间中的流形结构信息修正相似度矩阵中的噪声信息,同时增强语义相关样本的亲和力,使得生成的哈希码更具判别性和区分度.在典型的公开数据集NUS-WIDE和MIR Flickr上的实验结果表明,JSSR在跨模态检索精度上超越了现有的方法.

基于无监督哈希算法的车辆图像快速检索

套牌车辆的快速检索在智能交通系统中具有重要的作用。针对大数据时代车辆图像检索效率低下的问题,本文设计了一种非监督哈希算法的车辆图像快速检索方法。车辆检索框架利用非监督三元组网络最大化哈希编码的判别能力,同时保持了图像特征的旋转不变性。在自建的车辆数据库CAR-CR上的实验结果表明,本文设计的车辆检索方法能够有效检索车辆,而且较LSH和DeepBit方法其检索精度有较大提升。

基于稀疏自编码的无监督图像哈希算法

哈希方法因快速及低内存的特点广泛应用于大规模图像检索中,但在哈希函数构造过程中对数据稀疏性缺乏研究。为此,提出一种无监督稀疏自编码的图像哈希算法。在哈希函数的学习过程中加入稀疏构造过程和自动编码器,利用稀疏自编码的KL差异对哈希码进行稀疏约束,以增强局部保持映射过程中的判别性。在CIFAR-10数据集和YouTube Faces数据集上进行实验,结果表明,该算法平均准确率优于DH算法。

适用于图像检索的强化对抗生成哈希方法

在互联网上,大量的数据是由音视频等多媒体流量构成,特别是图像和视频占了绝大部分.由于视频流量检索可以转换成图像的检索,因此如何在互联网上海量数据中进行高效图像检索成了一个重要的研究领域.深度哈希方法在图像检索中可以有效提高检索速度和检索效率,故其在图像检索领域占据了重要的地位.针对大量图像数据无标注的特点,本文提出了适用于图像检索的强化对抗生成哈希方法,该方法结合最新的生成对抗网络,引入了相似度矩阵来提高算法性能,具有相比其他无监督哈希方法准确率较高的特点.文章中提出的方法在不同数据集上进行了实验,其表现都是良好的.

基于深度多相似性哈希方法的遥感图像检索

哈希方法由于低存储、高效率的特性而被广泛应用于遥感图像检索领域。面向遥感图像检索任务的无监督哈希方法存在伪标签不可靠、图像对的训练权重相同以及图像检索精度较低等问题,为此,提出一种基于深度多相似性哈希(DMSH)的遥感图像检索方法。针对优化伪标签和训练关注度分别构建自适应伪标签模块(APLM)和成对结构信息模块(PSIM)。APLM采用K最近邻和核相似度来评估图像间的相似关系,实现伪标签的初始生成和在线校正。PSIM将图像对的多尺度结构相似度映射为训练关注度,为其分配不同的训练权重从而优化深度哈希学习。DMSH通过Swin Transformer骨干网络提取图像的高维特征,将基于语义相似矩阵的伪标签作为监督信息以训练深度网络,同时网络在两个基于不同相似度设计的模块上实现交替优化,充分挖掘图像间的多种相似信息进而生成具有高辨识力的哈希编码,实现遥感图像的高精度检索。实验结果表明,DMSH在EuroSAT和PatternNet数据集上的平均精度均值较对比方法分别提高0.8%~3.0%和9.8%~12.5%,其可以在遥感图像检索任务中取得更高的准确率。