传统机器学习模型的超参数优化技术评估

合理的超参数能够保证机器学习模型适应不同背景和不同任务。为了避免在模型超参数数量过多、搜索空间过大的情况下出现手动调节导致的效率低下问题,多种超参数优化技术已经被研发并运用到机器学习模型训练中。文中首先回顾了8种常见的超参数优化技术,即网格搜索、随机搜索、贝叶斯优化、Hyperband、BOHB、遗传算法、粒子群优化算法和协方差矩阵自适应进化策略,并从时间性能、最终结果、并行能力、可拓展性、稳健性和灵活性5个方面分析各类方法的优缺点。其次,将8种方法应用到LightGBM、XGBoost、随机森林和KNN这4种传统机器学习模型上,在4个基准数据集上完成了回归、二分类和多分类的实验,对各类方法进行了比较。最后总结了各类方法的优缺点,给出了不同方法的适用情景。