动态一致自信的深度半监督学习

基于一致性正则化和熵最小化的深度半监督学习方法可以有效提升大型神经网络的性能,减少对标记数据的需求。然而,现有一致性正则化方法的正则损失没有考虑样本之间的差异及错误预测的负面影响,而熵最小化方法则不能灵活调节预测概率分布。首先,针对样本之间的差别以及错误预测带来的负面影响,提出了新的一致性损失函数,称为动态加权一致性正则化(DWCR),可以实现对无标记数据一致性损失的动态加权。其次,为了进一步调节预测概率分布,提出了新的促进低熵预测的损失函数,称为自信促进损失(SCPL),能灵活调节促进模型输出低熵预测的强度,实现类间的低密度分离,提升模型的分类性能。最后,结合动态加权一致性正则化、自信促进损失与有监督损失,提出了名为动态一致自信(DCC)的深度半监督学习方法。多个数据集上的实验表明,所提出方法的分类性能优于目前较先进的深度半监督学习算法。