基于知识蒸馏的分布式神经网络设计

现有关于神经网络推理过程中的分布式研究多是将神经网络运算的不同阶段分布在多个设备之间。运算中多个设备并未同时计算,资源利用率较低。由于依赖多个设备,其容错率较低。针对此问题,本文提出一种分布式神经网络的设计方法。使用网络剪枝将一个训练好的神经网络模型分解为多个不同准确率的子模型,通过知识蒸馏将多个子模型的知识传递给多个学生模型,使得多个学生模型在推理阶段可以协同工作。实验结果表明,基于知识蒸馏得到的模型可以单机运行亦可以多个设备协同工作,协同工作时有较高的准确率。基于知识蒸馏的分布式神经网络可以多个设备协同运行,在受到干扰等无网络的情况下单机运行的准确率在可接受范围内,有较高的容错率。适用于无人机、自动驾驶等方面。