基于正则化约束元学习优化器的深度学习模型

针对深度学习模型存在的过拟合和易受干扰等问题,在采用元学习优化器的基础上,研究并提出加入四种全新的正则化约束,用于训练元学习优化器。泛化能力和鲁棒性实验分别在两层和四层CNN的Mnist和Cifar10分类上进行,并与使用其他优化器的结果进行了比较,表明了加入正则化约束的元学习优化器,泛化能力得到提升,在FGSM和PGD攻击下的鲁棒性也得到了提升。在四种正则化约束中,Hessian矩阵的特征谱密度和迹作为正则化约束,泛化能力最好。