防御性蒸馏网络抗梯度攻击的鲁棒性分析

防御性蒸馏自提出后,由于其对梯度攻击有很好的防御效果,已被广泛用于提高神经网络的鲁棒性.但是原始蒸馏过程需要对教师和学生网络进行共两次训练,即需要双倍的算力.目前许多工作仍然基于原始的防御性蒸馏方法来增强模型的鲁棒性.文章指出,防御性蒸馏应对梯度攻击的鲁棒性仅与最大的两个logits的差值有关,而logits值与温度和损失函数值有关.学生网络向教师网络学习这一蒸馏过程并非防御性蒸馏起作用的根本原因,只需在训练时增大最大两个logits值之差即可达到防御对抗攻击的作用.文章理论推导并实验验证了上述结论,并基于logits值与温度的正相关关系设计了最佳温度的估计算法,该算法可显著减少寻找最佳温度所消耗的算力.在数据集MNIST和CIFAR-10上,文章提出的快速防御性蒸馏对梯度攻击的鲁棒性与原始防御性蒸馏相同,算法时间消耗和测试集成功率均优于原始防御性蒸馏.文章研究对于防御性蒸馏原理的理解具有理论意义,对防御性蒸馏在实际部署中算力的节省具有实际意义.