基于动态监督知识蒸馏的输电线路螺栓缺陷图像分类

螺栓是输电线路中广泛存在的紧固件,其缺陷图像具有类内差异性小、类间差异性大的特性。针对复杂度高且性能优秀的大模型在分析螺栓缺陷图像消耗大量计算资源的问题,将知识蒸馏技术引入到输电线路螺栓缺陷图像分类中,提出了一种基于动态监督知识蒸馏的输电线路螺栓缺陷图像分类方法:在网络输出层采用自适应加权方法,提高小模型学习螺栓缺陷标签的准确性;在网络隐藏层进行注意力转移,提高小模型螺栓特征的表达能力;将网络输出层的自适应加权方法与网络隐藏层的注意力转移机制相结合,以充分提高小模型的螺栓缺陷分类能力。最后通过自建螺栓缺陷图像分类数据集验证了大模型利用所提蒸馏方法指导小模型训练的有效性,实验结果表明:小模型的分类准确率提高了2.17%,小模型与大模型的分类准确率只差0.63%,且小模型的参数量仅为大模型参数量的7.8%。研究实现了螺栓缺陷的高效分类,达到了精度与资源消耗的平衡。

最优知识传递宽残差网络输电线路螺栓缺陷图像分类

目的输电线路螺栓图像具有分辨率低和视觉信息较差的特点,针对螺栓缺陷图像分类时教师网络(大模型)参数量大、学生网络(小模型)分类精度低的问题,提出了一种最优知识传递宽残差网络输电线路螺栓缺陷图像分类方法,来弥补使用大小模型进行分类任务的局限性。方法首先改变大模型宽度,即拓宽网络特征表达维度来增加向小模型传递的螺栓缺陷知识和简化小模型结构至3个残差块;然后为了选出传递螺栓缺陷知识性能最优的大模型,提出知识偏差的概念来可视化大模型向小模型螺栓缺陷知识传递的程度,综合分析不同宽度大模型利用知识蒸馏算法与注意力转移算法分别指导小模型训练后的分类准确率,并用知识偏差来确定最优知识传递模型;最后将最优知识传递模型利用知识蒸馏算法与注意力转移算法相结合指导小模型训练,尽可能提升小模型的螺栓缺陷分类性能。结果在自建螺栓缺陷图像分类数据集上进行了验证,结果表明宽度为5的大模型向小模型传递螺栓缺陷知识性能最优,使小模型的螺栓缺陷分类准确率提高了5.56%,小模型与最优大模型的分类准确率只差2.17%,知识偏差为0.28,且小模型的参数量仅为大模型参数量的0.56%。结论本文提出的最优知识传递宽残差网络输电线路螺栓缺陷图像分类方法,弥补了大小模型螺栓缺陷图像分类的局限性,实现了精度与资源消耗的平衡。