摘要
每一个机器学习算法都会有超参数,超参数的设置很大程度上影响了算法实际的使用效果,因此调参可能是算法工程师最为基础和重要的任务。现代机器学习与深度学习算法的超参数量众多,不仅实现方法异常灵活、算法性能也受到更多的参数的复合影响,当代超参数优化算法主要可以分为:基于网格的各类搜索;基于贝叶斯优化的各类优化算法;基于梯度的各类优化;基于种群的各类优化。这些算法对于复杂集成算法的调整有极大的作用与意义。本文使用结构化数据,构建基于枚举网格搜索, 基于随机网格搜索,基于高斯(GP)过程的贝叶斯优化,基于TPE(Tree-structured Parzen Estimator Approach)的贝叶斯优化等方法的超参数优化模型,通过对比各类模型的运行时间,搜索最优RMSE与重建最优RMSE指标,挑选综合最优超参数优化模型。根据实验显示,本文最佳调优模型可将评估指标提升约6.3%,且在所用数据集中训练时间仅需6min,有助于工业领域使用集成算法提升模型性能与工作中算法调参效率。
