作业名层次化聚类算法预测作业运行时间

预测作业的运行时间有益于提升系统的调度性能,而聚类有助于训练出更好的预测模型。传统的聚类算法很难将相似的作业名聚类,为了将相似的作业更好地聚类,通过分析其组成成分的语义重要性,构建字母-结构-数字的作业名层次化聚类算法。以两台超级计算机的真实数据为例,实验结果发现,应用此算法聚类后的数据训练模型的预测精度相较传统方法有一定的提升,整体预测精度为70%~80%。

基于用户行为的超级计算机作业失败预测方法

超级计算机的规模不断扩大,与此同时,科学应用的复杂性也在不断增加,这导致了超级计算机上许多作业失败。作业失败会造成资源浪费,排队作业等待时间延长,严重影响系统的执行效率。提前预测作业失败,就可以采取必要的措施提升系统资源利用率和系统执行效率,这对未来的E级超级计算机至关重要。为此,尝试研究从已知的传统特征和构建特征中预测作业失败,发现能够反映用户工作行为模式和提交行为模式的特征及处理方式。通过结合行为特征和传统特征,提出基于树结构模型的综合框架来预测作业失败。实验结果表明,预测效果优于其他相关方法。