在训练集存在噪声标签或类别不平衡分布的情况下,深度神经网络具有过度拟合这种有偏差的训练数据的不良趋势。通过设计适当的样本权重,使用重加权策略是解决此问题的常用方法,但不适当的重加权方案会给网络学习引入额外的开销和偏差,仅...在训练集存在噪声标签或类别不平衡分布的情况下,深度神经网络具有过度拟合这种有偏差的训练数据的不良趋势。通过设计适当的样本权重,使用重加权策略是解决此问题的常用方法,但不适当的重加权方案会给网络学习引入额外的开销和偏差,仅使用重加权方法很难解决有偏差分布下网络的过拟合问题。为此,建议将标签平滑正则化和类裕度正则化与重加权结合使用,并提出了一种基于自适应重加权和正则化的元学习方法(ensemble meta net,EMN),模型框架包括用于分类的基本网络和用于超参数估计的集成元网。该方法首先通过基本网络获得样本损失;然后使用三个元学习器基于损失值以集成的方式估计自适应重加权和正则化的超参数;最终利用三个超参数计算最终的集成元损失更新基本网络,进而提高基本网络在有偏分布数据集上的性能。实验结果表明,EMN在CIFAR和OCTMNIST数据集上的准确率高于其他方法,并通过策略关联性分析证明了不同策略的有效性。展开更多
研究行为ρ*混合阵列加权和的矩完全收敛性,完善了Ahmed et al.[Statist.Probab.Lett.,2002,58:185-194],Peligrad et al.[J.Theoret.Probab.,1999,12:87-104]以及Baek et al.[J.Korean Stat.Soc.,2008,37:73-80]的结果.同时,给出一个应...研究行为ρ*混合阵列加权和的矩完全收敛性,完善了Ahmed et al.[Statist.Probab.Lett.,2002,58:185-194],Peligrad et al.[J.Theoret.Probab.,1999,12:87-104]以及Baek et al.[J.Korean Stat.Soc.,2008,37:73-80]的结果.同时,给出一个应用,得到基于ρ*混合序列的平滑移动过程的矩完全收敛性,扩充了Kim et al.[Statist.Probab.Lett.,2008,78:839-846]的结果.展开更多
文摘在训练集存在噪声标签或类别不平衡分布的情况下,深度神经网络具有过度拟合这种有偏差的训练数据的不良趋势。通过设计适当的样本权重,使用重加权策略是解决此问题的常用方法,但不适当的重加权方案会给网络学习引入额外的开销和偏差,仅使用重加权方法很难解决有偏差分布下网络的过拟合问题。为此,建议将标签平滑正则化和类裕度正则化与重加权结合使用,并提出了一种基于自适应重加权和正则化的元学习方法(ensemble meta net,EMN),模型框架包括用于分类的基本网络和用于超参数估计的集成元网。该方法首先通过基本网络获得样本损失;然后使用三个元学习器基于损失值以集成的方式估计自适应重加权和正则化的超参数;最终利用三个超参数计算最终的集成元损失更新基本网络,进而提高基本网络在有偏分布数据集上的性能。实验结果表明,EMN在CIFAR和OCTMNIST数据集上的准确率高于其他方法,并通过策略关联性分析证明了不同策略的有效性。
基金Supported by the National Natural Science Foundation of China (10871001,60803059)the Talents Youth Fund of Anhui Province Universities (2010SQRL016ZD)+1 种基金the Youth Science Research Fund of Anhui University(2009QN011A)the Innovation Group Foundation of Anhui University
基金Supported by the National Natural Science Foundation of China(11271020,11201004)the Key Project of Chinese Ministry of Education(211077)the Anhui Provincial Natural Science Foundation(10040606Q30,1208085MA11)
文摘研究行为ρ*混合阵列加权和的矩完全收敛性,完善了Ahmed et al.[Statist.Probab.Lett.,2002,58:185-194],Peligrad et al.[J.Theoret.Probab.,1999,12:87-104]以及Baek et al.[J.Korean Stat.Soc.,2008,37:73-80]的结果.同时,给出一个应用,得到基于ρ*混合序列的平滑移动过程的矩完全收敛性,扩充了Kim et al.[Statist.Probab.Lett.,2008,78:839-846]的结果.
基金Supported by the National Natural Science Foundation of China(11201001)the Natural Science Foundation of Anhui Province(1208085QA03,1308085QA03,1408085QA02)+2 种基金Research Teaching Model Curriculum of Anhui University(xjyjkc1407)Graduate Academic Innovation Research Project of Anhui University(yfc100023)the Students Innovative Training Project of Anhui University(201310357004,201410357117,201410357249)