基于CHINESE-CLIP跨模态图像文本检索研究

本文聚焦于多模态图像语义关联问题,采用CHINESE-CLIP模型结合迁移学习技术,探索了基于文本的图像检索和基于图像的文本检索两种方法。研究采用了CHINESE-CLIP多模态预训练神经网络,通过融合文本和图像特征提取技术,实现了文本与图像在统一空间内的高效匹配。在图像检索文本的任务中,对比了CN-CLIPViT-B/16和CN-CLIPViT-L/14两种模型的性能,结果表明CN-CLIPViT-L/14模型在语义关联上表现更为优异。在基于图像的文本检索方面,模型利用Vision Transformer(ViT)图像编码器和对比损失进行训练。ViT通过将图像分割成固定大小的图块,采用自注意力机制处理序列元素,并通过前馈网络进一步提取特征,最终实现图文互检的能力。最终,图文检索模型在图像检索文本的准确率:R1为76.56%,R5为94.17%,R10为97.48%;在文本检索图像的准确率:R1为70.73%,R5为94.80%,R10为97.25%。

多模态预训练模型综述

预训练模型(PTM)通过利用复杂的预训练目标和大量的模型参数,可以有效地获得无标记数据中的丰富知识。而在多模态中,PTM的发展还处于初期。根据具体模态的不同,将目前大多数的多模态PTM分为图像‒文本PTM和视频‒文本PTM;根据数据融合方式的不同,还可将多模态PTM分为单流模型和双流模型两类。首先,总结了常见的预训练任务和验证实验所使用的下游任务;接着,梳理了目前多模态预训练领域的常见模型,并用表格列出各个模型的下游任务以及模型的性能和实验数据比较;然后,介绍了M6(Multi-Modality to Multi-Modality Multitask Mega-transformer)模型、跨模态提示调优(CPT)模型、VideoBERT(Video Bidirectional Encoder Representations from Transformers)模型和AliceMind(Alibaba’s collection of encoder-decoders from Mind)模型在具体下游任务中的应用场景;最后,总结了多模态PTM相关工作面临的挑战以及未来可能的研究方向。