基于小样本知识蒸馏的乳腺癌组织病理图像分类

目的:研究一种用于乳腺癌病理图像分类的小样本知识蒸馏方法。方法:采用一种双级蒸馏策略来实现小样本环境下的知识蒸馏。在多教师知识蒸馏中提出一种简单有效的多教师软目标整合方法,以提高优秀教师网络在知识蒸馏中的指导作用。第一步,将学生区块逐一嫁接到教师网络身上,并与其他教师区块交织在一起训练,训练过程只更新嫁接区块的参数。第二步,将训练好的学生区块依次嫁接到教师网络上,让习得的学生区块相互适应,最终取代教师网络,得到一个更轻量化的网络结构。结果:得到一个优秀的轻量化网络用于分类乳腺癌组织病理图像。在BreaKHis数据集上的实验结果表明,通过基于小样本的双级蒸馏策略成功地将教师网络的知识传递到学生网络,并获得了与教师网络几乎相当的决策性能,且其网络结构更加轻量化。结论:这种嫁接策略,可以更好地利用多个教师模型中训练有素的参数,并且还可以显著缩小学生模型的参数空间。