面向大规模集群的并行I/O用户层配置优化策略

影响应用I/O性能的关键因素主要有三个层次:包括应用的I/O接口实现、体系结构和文件系统组件的性能以及应用的I/O参数配置。从应用I/O配置优化的视角,分析了大规模集群并行I/O的配置调优空间,在此基础上,给出了一套大规模集群并行I/O性能特征测试分析方法。基于该方法,在某国产超级计算集群上开展了一系列I/O测试分析来刻画系统的I/O性能特征,进而指导并行应用程序的I/O配置优化。基于优化后的配置参数,在两类典型的并行I/O场景中,针对某类生产应用程序,8192进程下的重启动数据写操作时间下降了15%,4096核的程序作业加载时间从10 min缩短到了5 s。

一种面向高性能数值模拟软件的自动化测试平台

高性能数值模拟软件的快速研制是确保高性能数值模拟应用与高性能计算机协调发展的关键,是当前高性能计算应用领域亟待解决的瓶颈问题。软件测试是软件研制过程中不可或缺的重要环节,是影响软件研制效率的重要因素。研制适应于高性能数值模拟软件的自动化测试工具和环境对于软件的快速研发具有重要意义。当前广泛使用的商业、开源自动化测试平台无法很好地满足高性能数值模拟软件测试的需求,因此,设计实现了一种面向高性能数值模拟软件的自动化测试平台。该平台可以适应各类数值模拟软件的系统测试、验收测试需求,具有良好的跨平台性,简单易用,用户可同时通过多种方式方便快捷地访问测试结果,从而快速定位测试中发现的程序错误,为高性能数值模拟软件测试提供技术支撑。目前该平台已为实际的数值模拟软件研发提供测试验证服务,对中国工程物理研究院高性能数值模拟软件中心的19个软件,1 108个验收测试算例进行自动化测试,提供长时间的稳定测试服务,展现了该平台的普适性和稳定性。

MPI并行程序中通信等待问题的诊断方法及其应用

随着并行规模的扩大,现有通信等待问题的诊断方法存在内存开销大、测量时间开销大等问题。通过对现有通信等待问题诊断方法的深入分析,同时考虑测量开销可控的实际需求,建立基于热点函数的通信等待问题诊断模型。基于上述模型,总结出一种更精简、更实用的通信等待问题诊断方法。将该诊断方法分别应用到二维LARED集成、LARED-S、LAP3D等大规模MPI并行程序的通信等待问题诊断过程,应用效果表明本诊断方法可精确定位导致通信等待问题的关键代码段,给出的优化方案及性能提升空间对于后续的程序改进具有参考价值,其中根据诊断结果优化后的LARED-S程序性能提升32%,通信等待时间减少44%。

基于作业记账日志的并行作业特征分析工具JobCAT

并行作业特征分析是负载分析的重要基础。作业记账日志是开展作业特征分析的重要数据源。由于作业记账日志中没有记录应用名称,现有工具无法按应用名称开展作业特征分析。提出基于关键字模糊匹配的作业记账日志标记方法,设计通用的作业数据模型和柔性可扩展软件架构,集成实现并行作业特征分析工具JobCAT。通过某超级计算机系统百万量级作业记账日志数据测试验证,JobCAT的作业记账日志标记率大于95%。JobCAT支持7个插件、29项统计报表,可一键生成应用的作业特征分析报告,对负载分析研究具有实用价值。

一种面向数值模拟软件的持续集成平台

随着软件复杂度的增加和交付需求的变化,快速集成和自动部署成为高性能数值模拟软件推广应用的瓶颈。为满足软件构建和发布的差异化需求,简化从用户需求到软件发布的工作流程,基于Jenkins设计持续集成平台,实现软件静态审查、编译、测试和发布流程的自动化,全面记录软件构建日志和测试结果。利用Docker技术将构建环境容器化,实现环境的快速搭建和配置管理,满足多样化目标环境需求。该平台的实际应用效果显示,基于该平台的产品发布周期相比之前缩短约75%,可极大简化软件安装和部署难度。

一种面向构件化并行应用程序的性能骨架分析方法

性能骨架分析技术通过刻画并行应用程序的程序结构,为并行应用程序性能建模提供输入,是大规模并行应用程序性能分析、性能优化的基础。文中针对数值模拟领域中的一类构件化并行应用程序,在面向通用程序二进制文件的动静态结构分析技术的基础上,提出并实现了一种基于"构件-循环-调用"关系树(Component-Loop-Call-Tree, CLCT)的程序结构自动化生成方法,在此基础上,研制了一种面向构件化并行应用程序的性能骨架分析工具(CLCT SkeleTon Analysis Toolkit, CLCT-STAT)。该方法可以自动识别构件化应用程序中构件类成员函数符号,生成以构件为最小单位的并行应用程序性能骨架。在多个构件化并行应用程序上的测试表明,相比分析建模手动生成性能骨架的方法,所提方法不仅能提供更丰富的程序结构信息,还可以节约人工分析的时间成本。