基于多层次知识蒸馏的连续图像语义分割方法

为让学生模型学习到更全面的表征知识,提出一种多层次知识蒸馏方法,将教师模型的知识分为高、中、低多层次进行蒸馏。这3种层次的知识分别被指代为模型预测值、多尺度融合特征图以及特征层中的特征值,并以多层次知识为基础设计蒸馏项。首先基于低层次知识的特征蒸馏保证学生模型与教师模型的特征分布尽可能接近;再以中层次知识为基础,将图像的空间结构知识传递给学生模型;最后利用高层次的知识编码相邻帧间的依赖关系,并将该隐含知识传递给学生模型。此外定义的语义一致性损失也可有效改善像素点在前后帧标签预测不一致的情况。实验证明,该蒸馏方法能显著提升学生模型的精度,并在模型精度和轻量化方面取得了更好的平衡,具备良好的应用前景。