多层次知识自蒸馏联合多步骤训练的细粒度图像识别

细粒度图像识别具有类内差异大、类间差异小的特点,在智能零售、生物多样性检测和智慧交通等领域中有着广阔的应用场景.提取到判别性强的多粒度特征是提升细粒度图像识别精度的关键,而已有工作大多只在单一层次进行知识获取,忽略了多层次信息交互对于提取鲁棒性特征的有效性.另外一些工作通过引入注意力机制来找到局部判别区域,但这不可避免地增加了网络复杂度.为了解决这些问题,提出了多层次知识自蒸馏联合多步骤训练的细粒度图像识别(multi-level knowledge self-distillation with multi-step training for fine-grained image recognition, MKSMT)模型.该模型首先在网络浅层进行特征学习,然后在深层网络再次进行特征学习,并利用知识自蒸馏将深层网络知识迁移至浅层网络中,优化后的浅层网络又能帮助深层网络提取到更鲁棒的特征,进而提高整个模型的性能.实验结果表明,MKSMT在CUB-200-2011、 NA-Birds和Stanford Dogs这3个公开细粒度图像数据集上分别达到了92.8%、 92.6%和91.1%的分类准确度,性能优于当前大部分细粒度识别算法.

基于知识自蒸馏的轻量化复杂遥感图像精细分类方法

基于遥感图像开展地物要素分类和提取,是构建数字化战场环境的技术基础,面临着场景多变、类别多样、噪声干扰等挑战.经典深度学习模型结构复杂、计算量大,难以满足低性能、低功耗边缘计算环境下的实时信息处理要求.提出了一种基于知识自蒸馏的轻量化复杂遥感图像精细分类方法,通过构建一步式自蒸馏框架,实现网络从高层到低层的知识迁移.同时通过金字塔池化融合不同尺度的特征信息,显著提升全局上下文信息的利用率,解决轻量化分类模型由于参数较少、复杂度低,导致场景精细分类精度低的难题.在Vaihingen等公开遥感数据集和我国高分遥感数据集上开展实验,较国际同类方法具有更优的分类性能.