多维、精细粒度高性能计算资源管理系统的设计和在气象业务中的应用实践

一种应用于中国气象局高性能计算机系统上的多维、精细化资源管理系统,不仅可以从CPU使用、计算和存储资源的使用、模式、作业等常规角度统计了解系统的运行情况,同时提供对特定队列、特定业务/科研用户或用户群的使用分析,提供对系统全天24小时时段运行情况的使用分析,提供作业等待情况的基本分析等功能。高性能计算系统是气象业务及科研应用的重要的基础设施平台,该系统对资源统计的大量数据进行多维度、多样化统计分析,构建精准、完善的数据服务,为用户提供高效、标准、可信的应用支撑平台,在保障业务稳定运行的同时,促进系统资源的效能和效率最大限度地发挥。

一个精细粒度实时计算资源管理系统

由于相应业务系统软件的缺乏,国家级气象高性能计算机的资源管理措施落后于能力建设的发展。对此,该文提出了一个精细粒度实时计算资源管理系统。系统设计紧密围绕着目前竞争最为激烈的计算资源,采用资源虚拟单元GCU作为资源使用的计量单位,屏蔽了不同高性能计算机系统的体系结构差异,实现了计算资源细粒度的统一量化统计。系统可分为用户接口层、资源管理层、HPC系统层等3个层次,根据与网格平台软件不同结合方式以两种方式运行。在国家气象信息中心完成了系统的研发、部署和试验运行,根据试验运行的部分数据进行了用户单位和用户个人的计算资源使用的统计分析。目前,计算资源管理系统成果已成功应用到国家级气象高性能计算机计算资源的业务管理工作中。

华南区域中心计算资源管理系统的建立与应用

近几年华南区域气象中心高性能计算机系统能力建设迅速,总能力超过2万亿次。为更好地发挥区域内计算资源投资效益,在引进吸收中国气象局国家级高性能计算资源管理软件的基础上,结合区域实际需要进行设计与自主开发,成功建立了一套精细化计算资源管理软件。该系统采用了"资源账户-资源点数"的设计思想,针对不同类型用户提供了相应的用户组织方案。该系统现已完成了编码实现和部署,实现了区域内两个主要高性能计算机系统的资源管理功能。应用到业务后,发挥了良好效益,实现了资源的均衡充分利用,成为区域内计算机资源管理的得力工具。

国家气象应用网格系统的设计

针对气象部门的高性能计算资源地域性分布不均、气象系统内计算资源要实现充分共享的问题,设计并实现基于计算资源的统一接口的国家气象应用网格。系统的运行情况表明其能较好地完成异地气象模式作业的提交和结果返回,实现气象部门内高性能计算资源的整合和管理。