基于浅层网络预测的元标签校正方法

针对深度神经网络(DNN)对含有噪声标签的图像数据具有记忆行为而导致的过拟合问题,提出一种基于浅层神经网络预测的元标签校正方法。该方法采用弱监督训练方式,通过设置标签重加权网络对噪声数据进行加权操作,利用元学习方法使模型动态地学习噪声数据,并将模型中深层与浅层网络的预测输出作为伪标签训练模型,同时利用知识蒸馏算法使深层网络指导浅层网络训练,以有效缓解模型的记忆行为并提升模型鲁棒性。在CIFAR10/100、Clothing1M数据集上的实验结果表明,相较于元标签校正(MLC)方法,所提方法在对称噪声比例为60%与80%的CIFAR10数据集上的准确率分别提升了3.49、1.56个百分点;此外,在CIFAR100数据集的消融实验中,非对称噪声比例为40%时,所提方法比无预测标签训练的模型准确率最高提升了5.32个百分点,验证了所提方法的可行性与有效性。