基于作业记账日志的并行作业特征分析工具JobCAT

并行作业特征分析是负载分析的重要基础。作业记账日志是开展作业特征分析的重要数据源。由于作业记账日志中没有记录应用名称,现有工具无法按应用名称开展作业特征分析。提出基于关键字模糊匹配的作业记账日志标记方法,设计通用的作业数据模型和柔性可扩展软件架构,集成实现并行作业特征分析工具JobCAT。通过某超级计算机系统百万量级作业记账日志数据测试验证,JobCAT的作业记账日志标记率大于95%。JobCAT支持7个插件、29项统计报表,可一键生成应用的作业特征分析报告,对负载分析研究具有实用价值。

计算网格工作负荷的建模

为评估计算网格中的作业调度,建立了网格工作负荷模型。在不同的节点,作业的运行时间不同;在不同的节点之间,作业的迁移开销不同。定义了不依赖网格资源性能的纯运行时间和纯迁移开销。借鉴并行计算机的工作负荷模型,可得到并行度、纯运行时间和到达间隔的分布。构建了作业提交位置、纯迁移开销、纯运行时间估计因子、完成期限的分布。应用实例表明,由网格工作负荷模型可获得各种工作负荷,支持对作业调度的全面评估。

网格工作负载中的用户作业特征研究

网格工作负载对研究网格系统具有非常重要的意义。用户作业是构成负载的来源,通过研究用户作业特征,可以对负载进行建模与预测。用户作业的聚合处理方法作为一种新的处理网格工作负载方法能够更加真实地反映出用户的提交行为和作业特性。通过使用3个著名网格的作业负载数据在作业到达时间、作业并行度、作业运行时间和作业等待时间4个方面对网格工作负载特性进行了分析。研究结果表明:新方法有助于进行负载分析和构建新的负载模型。

考虑本地作业流时的网格资源调度算法

研究了网格资源上有和没有本地作业流两种情况下两种网格资源调度算法的性能优劣对比情况。建立了一个资源的本地随机作业流模型,提出了最快处理器可用资源优先(HRARF)和最适合作业并行度可用资源优先(MSNARF)两种网格资源调度算法,并对所提出的两种算法在资源有和没有本地作业流两种情况下调度网格作业的完工时间进行仿真。仿真结果显示,在资源负载较重时,在有和没有本地作业流两种情况下,HRARF和MSNARF两种算法的性能优劣对比正好相反。在网格中,两种算法在资源共享时和资源独占时的性能优劣对比可能不同。