视觉大模型参数高效微调技术应用与展望

视觉大模型(Large Vision Model,LVM)通过在各种大型图像数据集上进行预训练,在图像识别、图像分割等多种下游视觉任务上展现了强大的零样本泛化性能。随着算力的不断提升,大模型的参数规模也在迅速增长,最近的参数规模甚至达到千亿级。随着参数规模的增加,模型性能持续改进,表明模型获取了更多的知识。然而,从头开始训练这样一个庞大的模型,对硬件资源和训练数据提出了巨大需求,几乎没有个人或公司能够负担如此高昂的成本。参数高效微调(Parameter-Efficient Fine-Tuning,PEFT)通过在已有的大型模型基础上,仅微调较小数量的参数,适配特定的下游任务,而无需对所有参数进行调整。PEFT方法极大地降低了计算成本,并且可以达到甚至超越全参数微调的性能,为解决大型视觉模型适配特定任务时所面临的挑战提供了一种可行而高效的策略。

融合多种参数高效微调技术的深度伪造检测方法

近年来,随着深度伪造技术趋于成熟,换脸软件、合成视频已经随处可见。尽管深度伪造技术为人们带来了娱乐,但同时也为不法分子提供了滥用的机会。因此,深度伪造检测技术的重要性也日益凸显。现有的深度伪造检测方法普遍存在跨压缩率鲁棒性差、跨数据集泛化性差以及模型训练开销大等问题。为解决上述问题,提出一种融合多种参数高效微调技术的深度伪造检测方法,使用以掩码图像建模(MIM)自监督方法预训练的视觉自注意力模型作为主干,使用克罗内克积改进的低秩自适应方法对预训练模型的自注意力模块参数进行微调,同时采用并行结构加入卷积适配器对图像局部纹理信息进行学习,以增强预训练模型在深度伪造检测任务中的适应能力,采用并行结构引入经典适配器对预训练模型的前馈网络微调以充分利用预训练阶段学习到的知识,使用多层感知机代替原预训练模型分类头实现深度伪造检测。在六个数据集上的实验结果表明,该模型在可训练参数仅有2×10^(7)的情况下,在六个主流数据集上实现了平均约0.996的帧水平AUC。在跨压缩率实验中,帧水平AUC的平均下降为0.135。在跨数据集泛化性实验中,帧水平AUC达到了平均0.765。

基于高效参数微调的生成式大模型领域适配技术

在深度学习中,“预训练+微调”范式是经典的模型领域适配技术,可有效将预训练模型的丰富知识迁移至新的任务中。然而,随着深度神经网络的规模不断增大,生成式大模型的参数规模往往动辄数十亿甚至数千亿。因此,本文指出在新任务中“全量微调”生成式大模型以实现领域适配不再具有可行性。接着,针对以上问题,本文介绍了一种“轻量化”的大模型领域适配技术——高效参数微调,并对三类主流算法进行综述,分析了算法的主要思想和优缺点。最后,本文借助两个成功案例展示了高效参数微调技术在生成式语言/视觉大模型上的应用效果,证明了高效参数调参技术仅需训练少量额外参数即可近似达到“全量微调”的领域适配效果。

低秩自适应微调的一阶段红外目标跟踪

由于缺乏大规模的红外跟踪训练数据集,现有的红外跟踪方法大都利用在大规模可见光数据上预训练的模型,然后在小规模的红外数据上进行完全微调。然而,当预训练模型的参数规模迅速增大时,完全微调需要的内存和时间成本也急剧增长,这限制了低资源用户在大型模型上进行研究和应用。为解决该问题,提出一种参数、内存和时间高效自适应的红外目标跟踪算法。首先,通过Transformer的自注意力机制对模板和搜索区域图像进行联合特征提取和关系建模,获取与目标关联度更强的特征表示;其次,利用低秩自适应矩阵的侧网络将可训练参数从主干网络中进行解耦,以减少需要训练更新的参数规模;最后,设计一种轻量级空间特征增强模块,增强特征对目标和背景的判别能力。提出方法的训练参数,内存和时间分别仅占完全微调方法的0.04%、39.6%和66.2%,性能却超越了完全微调。在3个标准红外跟踪数据集LSOTB-TIR120,LSOTB-TIR100和PTB-TIR上的实验对比结果和消融实验证明了提出的方法是有效的。提出的方法在LSOTB-TIR120数据集上成功率为73.7%,精度为86.0%,归一化精度为78.5%;LSOTB-TIR100数据集上成功率为71.6%,精度为83.9%,归一化精度为76.1%;在PTB-TIR数据集上成功率为69.0%,精度为84.9%,均取得了当前最先进的跟踪性能。

基于差分隐私的联邦大模型微调技术

随着私有数据可用性的降低,基于联邦学习的大模型参数微调成为备受关注的研究领域.尽管联邦学习本身具有一定程度的隐私保护能力,但其中的梯度泄露攻击和针对大模型的嵌入反转攻击等隐私安全问题仍然威胁着参与者的敏感信息.在当前对隐私保护意识不断增强的背景下,这些潜在的隐私风险显著阻碍了基于联邦学习的大模型参数微调在实际应用中的推广.因此,提出一种联邦大模型嵌入差分隐私控制算法,通过全局和本地双重隐私控制机制,在高效参数微调过程中为大模型的嵌入模型添加可控的随机噪声,以增强基于联邦学习的大模型参数微调的隐私保护能力.此外,通过对不同联邦设置的实验比较,展示了该算法在大模型参数微调中的隐私保护效果,并通过中心化和联邦化的性能比较实验验证了该算法的可行性.