基于在线知识蒸馏的物理感知图像去雾算法

为解决传统图像模型在去雾时会产生伪影、光晕等问题,结合深度学习,提出了一种基于在线知识蒸馏的物理感知图像去雾算法。算法首先通过物理感知单元构建的多尺度网络获取丰富的共享特征,然后采用基于模型的方式和端到端的方式分别生成去雾图像,最后采用特征聚合块来融合两种方式生成的去雾图像。此外,算法采用在线知识蒸馏的学习策略来联合优化网络。实验结果表明:与其他去雾算法相比,所提算法在合成图像和真实场景图像上均取得了优异性能,在合成有雾室外数据集SOTS上的峰值信噪比和结构相似度分别为23.59 dB和0.937。

结合注意力转移与特征融合算法的在线知识蒸馏

为构建一个强大的在线集成教师指导各子网络学习的在线知识蒸馏模型,提升模型准确率,提出了一种结合注意力与特征融合的在线知识蒸馏方法(KD-ATFF),在各子网络输出处利用特征融合模块融合各分支最后一个block学习到的知识,从而构建强大的教师模型,指导各分支训练,同时利用所提的CL模块将深层神经元的注意力转移到浅层网络进行互学习,以增加各block的多样性,进一步提升单个子网络的性能。在CIFAR10/100数据集上进行实验,KD-ATFF与baseline方法相比错误率降低了约30%,于DML相比错误率最大降低了1.76%,验证了算法的有效性。

同伴协作学习的目标分布式在线知识蒸馏方法

构建一个能够在在线集成与网络协作的统一蒸馏框架,加强学生网络的差异性和增加知识的多样性模型,提出一种同伴协作学习的目标分布式在线知识蒸馏方法。该方法在同伴协作学习方法的基础上,让每个同伴都从1个目标分布中学习,得到1组由基于注意力机制生成的单独的聚合权重,并从其他同伴的预测中获得自己的目标,以提高基于集成的蒸馏的有效性。CIFAR-10和CIFAR-100的实验结果表明,最好状态下,本文提出的方法的top-1错误率比ONE提高了1.45%,各种主干网络的模型性能均有提高,证明该方法是有效、可行的。

基于一致性正则化的在线知识蒸馏

在线知识蒸馏通过同时训练两个或多个模型的集合,并使之相互学习彼此的提取特征,从而实现模型性能的共同提高。已有方法侧重于模型间特征的直接对齐,从而忽略了决策边界特征的独特性和鲁棒性。利用一致性正则化来指导模型学习决策边界的判别性特征。具体地说,网络中每个模型由特征提取器和一对任务特定的分类器组成,通过正则化同一模型不同分类器间以及不同模型对应分类器间的分布距离来度量模型内和模型间的一致性,这两类一致性共同用于更新特征提取器和决策边界的特征。此外,模型内一致性将作为自适应权重,与每个模型的平均输出加权生成集成预测值,进而指导所有分类器与之相互学习。在多个公共数据集上,该算法均取得了较好的表现性能。