机器学习预测校级计算教学平台作业运行时间研究

机器学习方法在预测作业运行时间中被广泛采用,但在实际使用中,算例数据收集、预测方法选择、作业特征提取、小样本数据预测准确度提升等,仍是亟待解决的问题。以上海交通大学校级计算教学平台使用负载中占比相当大的高斯应用为例,基于SLURM作业调度系统的前后处理机制设计了高斯算例收集系统,评估了不同机器学习方法结合不同特征采集方式对于预测作业运行时间的适用性。最终,在5314个样本数据集上,基于决策树和深度神经网络结合Text-CNN提取特征及加入库伦矩阵F范数的方法分别获得71.87%和84.93%的准确度,优于传统支持向量机方法;在仅有118个样本的小数据集上,使用迁移学习方法复用预训练参数分别获得65.2%和63.3%的准确度,优于从零开始训练的方法;使用Text-CNN能够避免one-hot编码导致的稀疏矩阵特征且拓展性更强;引入库伦矩阵F范数对提高准确度发挥了重要作用。

基于华为鲲鹏处理器的计算课程教学环境构建

为响应国家掌握核心技术,加快推进国产自主可控替代的号召,上海交通大学在国内高校中率先建设基于华为鲲鹏处理器的高性能计算平台,面向校内广泛的科学计算用户和师生提供服务。平台采用华为鲲鹏920处理器所建设,通过与π2.0超算平台配置相同的SLURM作业调度系统和共享统一的Lustre并行文件系统,确保用户的一致性体验。通过Spack编译部署和Singularity镜像部署两种软件管理方式,丰富了平台的科学计算软件列表,对常用的科学计算软件LAMMPS、GATK等进行测试,证明了平台的可用性和性能指标优越。同时,基于平台构建了计算课程教学支撑环境,可支撑线上线下混合式教学和大规模虚拟仿真实验教学。平台的建设为兄弟高校建设和使用ARM超算积累了经验,通过教学支撑的实践提升了教学质量,为学生的学习和发展提供了更好的条件和机会。