样例与运算性程序知识学习迁移关系的初步研究

以程序性知识进一步区分为联结性程序知识与运算性程序知识为前提，对样例与运算性程序知识学习迁移的关系进行探讨。结果表明：（１）样例对运算性程序知识迁移成绩有重要影响；（２）运算性程序知识的学习迁移有着不同于联结性程序知识的学习迁移现象。||关键词##4样例;;运算性程序知识;;学习迁移。

一种基于知识蒸馏的神经网络鲁棒性迁移方法

近几年来,深度神经网络在多个领域展现了非常强大的应用能力,但是研究者们发现,通过在输入上添加难以察觉的扰动,可以改变神经网络的输出决策,这类样本被称为对抗样本。目前防御对抗样本,最常见的方法是对抗训练,但是对抗训练有着非常高的训练代价。我们提出了一种知识蒸馏的鲁棒性迁移方案(Robust-KD),结合特征图与雅克比矩阵约束,通过从鲁棒的网络中迁移鲁棒性特征,以比较低的训练代价,取得较强的白盒对抗防御能力。提出的算法在Cifar10、Cifar100与ImageNet数据集上进行了大量的实验,实验表明了我们方案的有效性,即使在非常强大的白盒对抗攻击下,我们的模型依然拥有不错的分类准确率。