机器学习预测校级计算教学平台作业运行时间研究

机器学习方法在预测作业运行时间中被广泛采用,但在实际使用中,算例数据收集、预测方法选择、作业特征提取、小样本数据预测准确度提升等,仍是亟待解决的问题。以上海交通大学校级计算教学平台使用负载中占比相当大的高斯应用为例,基于SLURM作业调度系统的前后处理机制设计了高斯算例收集系统,评估了不同机器学习方法结合不同特征采集方式对于预测作业运行时间的适用性。最终,在5314个样本数据集上,基于决策树和深度神经网络结合Text-CNN提取特征及加入库伦矩阵F范数的方法分别获得71.87%和84.93%的准确度,优于传统支持向量机方法;在仅有118个样本的小数据集上,使用迁移学习方法复用预训练参数分别获得65.2%和63.3%的准确度,优于从零开始训练的方法;使用Text-CNN能够避免one-hot编码导致的稀疏矩阵特征且拓展性更强;引入库伦矩阵F范数对提高准确度发挥了重要作用。