基于贝叶斯新型深度学习超参数优化的研究

Research on Hyper-parameter Optimization Based on Bayesian Deep Learning

一种新的贝叶斯优化的Python框架被称为GPflow Opt。这个包是基于流行的GPflow库,主要用于高斯过程,利用了Tensor Flow的优点包括自动微分,贝叶斯优化的并行处理和GPU计算。设计目标是关注于一个易于扩展的框架,使用自定义采集功能和模型。这个框架经过了完全的测试和文档化,并且提供了可伸缩性。本文是对贝叶斯优化算法进行改进,有效解决传统贝叶斯优化算法耗时长,性能波动大的缺陷。首先,通过拉丁超立方实验设计方法,生成贝叶斯优化中建立函数模型所需的初始点,提高有效评估点的生成率;其次,通过使用改进的高斯核函数和获取函数提高贝叶斯优化的效果。最后,在计算目标函数时合理选用部分数据,并在计算过程中使用并行计算的方法,加速整个优化过程。建立上述改进贝叶斯优化算法的实例,仿真结果表明该方法优化效率高,优化结果明显改善。