共振攻击:揭示跨模态模型CLIP的脆弱性

视觉-语言跨模态领域已广泛采用预训练模型进行建模和分析.特别是OpenAI最近提出了一种称为CLIP(Contrastive Language-Image Pre-training)的视觉-语言对比式预训练模型.但是,CLIP使用的跨模态预训练方法可能会使不受信任的模型在不同模态下隐藏后门.这种后门可能在用户下载预训练模型并在下游任务上对其进行微调时构成安全威胁.本研究提出了一种新型跨模态后门攻击方法,即共振攻击.共振攻击能使跨模态嵌入表征空间易受到隐藏在视觉或文本输入中的触发器扰动,导致模型失效.共振攻击不依赖于对下游任务的先验知识,通过在对比学习预训练阶段后增加共振学习预训练阶段,可以将触发器植入预训练的CLIP模型中.被攻击的模型只有在触发器使用时才会失效,否则仍可正常运行.在三个下游任务的实验中,共振攻击均获得了30%以上的攻击性能提升,并取得了低于10%的隐蔽性能指数.