基于集成学习的计算集群作业时长预测与调度方法

【目的】本文的研究是为了提升作业时长预测的准确度,改善作业回填调度的性能,进而提高计算集群的计算资源利用率。【应用背景】作业调度在提升计算集群计算资源利用率方面发挥着重要作用,而作业时长预测是作业回填调度策略的关键判断依据。【方法】本论文基于集成学习方法对计算集群作业时长进行预测,集成了支持向量回归、随机森林、梯度提升回归树和自动机器学习等算法,并且采用本论文预测的作业时长进行了作业回填调度实验。【结果】采用本方法分别在HPC2N、CEA Curie和KIT FH2三个典型数据集上进行了测试,作业时长预测值的均方根误差比用户预估方法分别降低60.30%、51.91%、63.51%,比线性回归方法分别降低44.37%、31.98%、52.69%。【结论】作业回填调度模拟实验结果表明,本方法能够大幅提升作业时长预测的准确度,作业平均等待时间比用户预估方法分别降低9.07%、8.80%、1.83%,并且能够改善作业回填调度的性能,平均有界减速值比用户预估方法分别降低7.72%、0.96%、9.05%,提高了计算集群的计算资源利用率。

基于优先级的抢占式并行调度算法设计与分析

并行作业调度系统负责对高性能计算系统中作业队列的管理。其核心功能是在每次调度发生时,选择下一个被执行的作业。最简单的调度算法是先来先服务(FCFS)。但这种方法的缺点是资源利用率很低。解决这个问题,目前常用的算法有EASY Backfilling。但EASY算法也存在两个缺陷:要求用户估计作业运行时间和偏爱小作业。针对这两个问题,本文设计了一种新的调度方法:基于优先级的抢占式并行调度(Priority-based Preemptive Schedu-ling),并实现了两种算法的模拟系统,从性能和公平性两个角度对PPS算法和EASY算法进行了比较分析,表明了PPS算法的有效性。