基于提示生成网络的Frozen ViT

随着计算机视觉中Transformer模型的引入,增加模型的数据量是实现更好性能和鲁棒性的绝佳方法。然而,当模型的参数达到亿级时,传统微调方法变得越来越有局限性,甚至有时不适用。因此,通过学习额外输入来调整模型的视觉提示模型成为处理冻结云模型的方法,既不需要前馈处理,也不需要后处理。提出了提示生成网络(Prompt Generative Network,PGN),通过端到端学习生成高性能的输入相关的提示。PGN能在预训练时适应各种训练集,在获取的数据集中优于以往方法,且模型参数减少了100倍。