AdaBoost分类问题的理论推导

为解决AdaBoost算法在二分类问题及多分类问题上缺乏共同的理论基础,算法系列的系统性难以得到理论诠释这一问题,首先,从算法思想的层面对AdaBoost算法与最优贝叶斯推理的关系进行了探讨;然后对AdaBoost算法的训练流程及相关参量进行了定量分析;最后从基本不等式定理入手,重点推导了AdaBoost算法由二分类问题向多分类问题延展的理论依据,探讨了AdaBoost算法的本质.总结并证明了AdaBoost算法的2条理论基础:当非负数之和是一个定值时,其差值越大则其乘积越小;非负数的算术平均数大于等于它们的几何平均数.并且分别就二分类问题和多分类问题对AdaBoost算法的应用提出了优化策略.