基于防御蒸馏的对抗样本识别模型的研究

深度神经网络在许多经典机器学习问题的解决上表现出了极好的性能。然而,却容易受到对抗样本的攻击,使得神经网络对输入的样本产生错误的分类结果。为此,我们提出一种基于防御蒸馏的神经网络训练方法Pre-DD(Pre-Distillation as a Defense),将样本与其指示向量输入基础神经网络中产生概率向量,再将样本进行特征压缩,并与其概率向量训练目标模型。实验表明,随着学习率的提高,提出的方法比原始防御蒸馏对干净样本的识别率变现更加稳定,并且提出的方法在FGSM,PGD攻击下产生的对抗样本分类正确率上都有所提高。

降噪自编码器用于频谱感知对抗防御模型

基于深度学习的频谱感知模型虽检测性能优异,但普遍具有脆弱性,容易受到频谱对抗攻击的干扰。为了防御这种攻击,提出使用降噪自编码器过滤对抗信号,并在此基础上提出了一种结合降噪自编码器和防御蒸馏的联合防御方法。利用对抗信号和干净信号预训练得到降噪自编码器,频谱信号经降噪自编码器过滤后用于训练感知分类器,在测试阶段,联合使用降噪自编码器和分类器。同时,为进一步缓解扰动对模型性能的影响,在分类器训练阶段,利用蒸馏算法平滑训练网络,提高模型泛化能力。实验结果表明,对于可以降低深度学习频谱感知模型检测概率的频谱对抗攻击,所提出的基于降噪自编码器的防御方法仍然能够拥有较高的检测概率和较低的攻击成功率。

防御性蒸馏网络抗梯度攻击的鲁棒性分析

防御性蒸馏自提出后,由于其对梯度攻击有很好的防御效果,已被广泛用于提高神经网络的鲁棒性.但是原始蒸馏过程需要对教师和学生网络进行共两次训练,即需要双倍的算力.目前许多工作仍然基于原始的防御性蒸馏方法来增强模型的鲁棒性.文章指出,防御性蒸馏应对梯度攻击的鲁棒性仅与最大的两个logits的差值有关,而logits值与温度和损失函数值有关.学生网络向教师网络学习这一蒸馏过程并非防御性蒸馏起作用的根本原因,只需在训练时增大最大两个logits值之差即可达到防御对抗攻击的作用.文章理论推导并实验验证了上述结论,并基于logits值与温度的正相关关系设计了最佳温度的估计算法,该算法可显著减少寻找最佳温度所消耗的算力.在数据集MNIST和CIFAR-10上,文章提出的快速防御性蒸馏对梯度攻击的鲁棒性与原始防御性蒸馏相同,算法时间消耗和测试集成功率均优于原始防御性蒸馏.文章研究对于防御性蒸馏原理的理解具有理论意义,对防御性蒸馏在实际部署中算力的节省具有实际意义.