基于多头注意力网络的无监督跨媒体哈希检索

跨媒体哈希检索将不同媒体数据编码到公共二值哈希空间中,从而可以有效地测量不同模态样本之间的相关性.为了进一步提高检索性能,提出基于多头注意力网络的无监督跨媒体哈希检索方法.首先,利用多头注意力网络生成哈希码矩阵,使图像和文本能获得更好的匹配.其次,构造一个辅助相似度矩阵,用以整合来自不同模态的原始邻域信息.通过辅助相似度矩阵与哈希码矩阵的协同学习,能够捕获不同模态之间和相同模态内部的潜在联系.此外,设计了两种损失函数训练网络模型,并使用批量归一化和更换哈希码生成函数的策略对模型进行优化,使模型的训练速度得到大幅提升.在3个数据集上的实验表明,本方法的平均性能比目前国际上先进的无监督方法有显著提升,充分证明了本方法的有效性和优越性.