一种阶段重置的知识蒸馏方法研究与仿真

知识蒸馏是一种将知识从教师网络传递到学生网络的模型压缩方法。目前的知识蒸馏方法存在教师网络和学生网络之间的语义信息不一致的问题,具体而言,师生模型之间的前向推理距离不一致导致语义信息不一致,最终损耗蒸馏性能。为了解决这个问题,本文探索一种新的阶段重置知识蒸馏方法。该方法设计了以阶段为单位的知识蒸馏,师生网络相同阶段共享输出,降低了由学生与教师推理路径长度差异过大造成的特征语义不匹配的影响,从而提升学生网络的性能。最后,本文用提出的方法在公共数据集上进行仿真实验,并与最新的方法进行比较,实验结果表明本文提出的方法更具优势。