一种可解释的云平台任务终止状态预测方法

基于特征选择和模型可解释方法构建可解释性强的云平台任务终止状态预测模型,该模型可视化任务/作业的静态和动态属性与终止状态之间的映射关系,进而找出负载特征与任务终止状态之间的映射机理.利用Google公开的工作负载监控日志,并加入云平台中任务的动态信息,采用沙普利加和解释(Shapley additive explain,SHAP)找出静态和动态属性对终止状态影响的重要性,利用变量重要性结合SHAP值和XGBoost模型,对任务终止状态预测模型建模后的结果进行解释,使用可视化技术呈现负载特征如何影响模型对不同任务终止状态的预测.用SHAP值绝对值的平均值衡量特征的重要性,实现任务不同终止状态特征重要性的全局可视化,根据结果筛选出对任务终止状态预测模型影响大的20个变量,作为特征筛选的依据;由可视化的结果可知,任务运行过程中,各特征的不同特征值对任务的终止状态有影响,不同特征值对终止状态的产生有不同的影响.特征选择结合模型可解释性方法运用于任务终止状态预测模型的构建流程中,可辅助构建高分类性能及易于理解的任务终止状态预测模型,通过对负载特征与任务终止状态之间映射机理的探索,可以优化云平台的调度机制.

领域对抗自适应的短任务负载预测模型

负载预测的精度是影响云平台弹性资源管理的主要因素之一。而云平台中存在着大量的短任务负载序列,其历史信息不足和不平滑的特性导致难以选择合适的模型进行精准预测。对此提出了一种领域对抗自适应的短任务负载预测模型。该模型采用奇异谱分析(singular spectrum analysis,SSA)对样本进行平滑处理;联合第四版本的Mueen相似度搜索算法(the fourth version of Mueen’s algorithm for similarity search,MASS_V4)与时间特征进行域间相似性计算,获得合适的源域数据来辅助迁移预测;将门控循环单元(gated recurrent unit,GRU)作为基准器构建网络,并利用Y差异定义新的损失函数,通过对抗过程建立出表征能力强的短任务负载预测模型。将所提方法在两个真实的云平台数据集上与其他常用的云负载预测算法对比,均表现出较高的预测精度。

基于类重叠度区分的大规模云平台任务终止状态预测

大规模云平台任务终止状态的预测是云资源调度策略优化的关键步骤。本文以Google云平台的计算调度系统Borg为对象进行研究,针对任务的各种终止状态极度不均衡和类重叠的问题,提出了一种类重叠度区分的自定义步长‐梯度提升决策树(SP‐GBDT)任务终止状态预测方法,对任务终止状态进行细粒度的多分类预测,提高少数类任务状态的预测准确率。首先将终止状态的多个类别拆分成若干个二类组合,通过支持向量数据描述模型(SVDD)筛选出类重叠度较低的最优二类组合。然后,分别对最优的二类组合进行扩展采样比例的自定义步长欠采样。最后构建梯度提升决策树模型,将欠采样之后的数据进行多分类。在Google云平台的运行监控日志数据集上进行验证,通过对比预测结果和预测过程的可解释性分析,SP‐GBDT模型能够很好地降低数据集的不均衡比例以及类重叠的程度。与决策树和随机森林等常用多分类预测方法相比,所提算法的F1‐score分别提高了30.39%和18.26%。