基于多类指数损失函数逐步添加模型的改进多分类AdaBoost算法

多类指数损失函数逐步添加模型(SAMME)是一种多分类的Ada Boost算法,为进一步提升SAMME算法的性能,针对使用加权概率和伪损失对算法的影响进行研究,在此基础上提出了一种基于基分类器对样本有效邻域分类的动态加权Ada Boost算法SAMME.RD。首先,确定是否使用加权概率和伪损失;然后,求出待测样本在训练集中的有效邻域;最后,根据基分类器针对有效邻域的分类结果确定基分类器的加权系数。使用UCI数据集进行验证,实验结果表明:使用真实的错误率计算基分类器加权系数效果更好;在数据类别较少且分布平衡时,使用真实概率进行基分类器筛选效果较好;在数据类别较多且分布不平衡时,使用加权概率进行基分类器筛选效果较好。所提的SAMME.RD算法可以有效提高多分类Ada Boost算法的分类正确率。

一种基于指数损失函数的多类分类AdaBoost算法及其应用

提出一种新的多类分类AdaBoost算法——使用多类分类指数损失函数的前向逐步叠加模型FSAMME(forward stagewise additive modeling using a multi-class exponential loss function)。该算法是基于原始的两类分类AdaBoost算法归结为使用两类分类指数损失函数的前向逐步叠加模型的统计学观点,将两类分类的前向逐步叠加模型自然扩展到多类分类情况下得到的,并采用多类指数损失函数和前向逐步叠加模型对FSAMME进行了详细的理论证明。该算法大大降低对弱分类器的精度要求,只需每个弱分类器的精度比随机猜测好;算法简单明了,不用把多类问题转化为多个两类问题,而是直接求解多类分类问题,大大减小计算复杂度和计算量。通过对基准数据库的测试分类及航空发动机故障样本的诊断,结果表明:FSAMME算法一方面可达到较高的分类诊断准确率,其准确率明显高于AdaBoost.M1,略高于AdaBoost.MH;另一方面可大大减小计算成本,满足在线快速分类诊断的要求。

基于弱分类器调整的多分类Adaboost算法

Adaboost.M1算法要求每个弱分类器的正确率大于1/2,但在多分类问题中寻找这样的弱分类器较为困难。有学者提出了多类指数损失函数的逐步添加模型(SAMME),把弱分类器的正确率要求降低到大于1/k(k为类别数),降低了寻找弱分类器的难度。由于SAMME算法无法保证弱分类器的有效性,从而并不能保证最终强分类器正确率的提升。为此,该文通过图示法及数学方法分析了多分类Adaboost算法的原理,进而提出一种新的既可以降低弱分类器的要求,又可以确保弱分类器有效性的多分类方法。在UCI数据集上的对比实验表明,该文提出的算法的结果要好于SAMME算法,并达到了不弱于Adaboost.M1算法的效果。