基于域特定特征的CLIP提示优化算法

当测试数据与训练数据遵循不同的分布时,神经网络会经历领域转移。领域泛化(DG)的目标是学习一个可处理未知域的通用模型,以此来解决这个问题。以往的方法通过数据增强或者特征空间对齐的方式来提取域不变特征,但在提取的过程中又会产生新的域特定特征,导致模型泛化的性能较差。针对这些问题,提出一个简单而有效的框架——ERCLIP,通过ERCLIP来实现大规模预训练模型CLIP在DG中的应用。ERCLIP通过主动提取域特定特征,并将其融入文本提示,实现图像语义的精准描述。并且提出一个文本提示优化器,动态地优化提示向量。在公开数据集OfficeHome、VLCS与PACS上的实验结果表明,ERCLIP在OfficeHome上的平均准确率为83.4%,在VLCS上为83.5%,在PACS上为96.5%,在所有算法里取得最优结果。