气象应用的高性能计算机性能需求推算方法

气象应用是高性能计算的重要领域之一,随着数值预报模式的高速发展,中国气象局目前的高性能计算机系统已无法满足模式业务发展的需求,中国气象局依托"气候变化应对决策支撑工程"重点工程项目引进新一代高性能计算机系统用以支撑"十二五"期间的天气气候数值预报模式的发展,对新引进系统的建设规模估算成为必须解决的首要问题。文中主要基于数值预报模式的发展需求,根据数值预报模式各特征参数与高性能计算资源需求之间的变化关系,提出采用推算法对高性能计算机性能需求进行推算。根据该推算方法估算未来五年内中国气象局数值预报业务发展对高性能计算资源的需求量,解决了如何将应用需求转换成高性能计算机的能力需求。

气象高性能计算环境中模式协同研发管理

面向气象科学的数值预报模式的研发过程是一个多学科交叉、持续改进型的复杂系统工程。在地球系统模式、E级计算和后摩尔时代的发展趋势下,气象数值模式研发协同面临更复杂的协同、更专业的计算平台调试分析、更广泛的共享应用等挑战。从以上需求和挑战出发,在气象高性能计算环境中,采用Git分布式技术、Python及工作流技术,建设气象数值模式研发协同管理支撑环境和标准,实现模式协同研发过程的管理、成果的集成共享和研发调试试验及分析一体化的支撑,以提升模式研发协同效率和业务化效率,保障研发成果的完整性和可跟踪性,提升大规模科学软件研发的管理能力。应用效果表明,本研究规范化了模式研发的协同过程,并建立流畅的协同支撑环境,提升模式迭代升级和业务化效率,能够为科学研究、科学计算等大型传统科学计算模型的持续研发改进管理及软件工程协同管理提供借鉴。

中国气象局高性能计算机系统高可靠性设计

中国气象局的高性能计算机系统属于国家级的关键应用,承担着中国气象局所有业务及绝大部分科研项目的计算任务,系统的高可靠性对于整个系统和气象业务来说尤为重要。本文在简单介绍中国气象局目前主要的业务系统IBM cluster1600概况的基础上,从系统部件、网络配置、文件系统、存储等多个方面阐述了该系统设计实施过程中在高可靠性方面的考虑,并对2012年全年系统运行概况、故障及节点和系统可用性进行了统计和分析,证明该系统具有良好的高可靠特性。

基于Spring MVC的高性能计算机监视管理系统设计与实现

高性能计算机系统(HPC)是气象业务及科研应用的重要基础平台^([1])。为改变气象系统内部监视平台分散的现状,规范故障处理流程,保障系统稳定运行,国家气象信息中心对国家局和区域中心9套高性能计算机系统建立统一监视管理,提供一个能实时监视、故障流程化处理、性能分析、日志记录及统计查询的共享平台。监视管理系统采用Spring MVC框架技术,结合MVC设计模式和分层架构思想对系统的体系结构进行设计,达到了高内聚低耦合的目标,提高了项目的扩展性和开发效率。2016年8月监视管理系统业务运行,涵盖监视、管理、配置等核心服务项目,对气象业务和科研起到了有效的保障作用。

高性能计算机系统相对持续性能度量模型

高性能计算机系统的持续性能是反映实际领域应用中高性能计算机系统性能强弱的重要度量标准。简单介绍了高性能计算机系统常用的性能评价方法,结合应用基准程序集,提出了相对持续性能的度量模型。实验基于高性能计算气象应用评测,结果表明应用相对持续性能度量模型可区分不同厂商的高性能计算机系统的性能强弱,为高性能计算机系统的选择提供参考,并在一定程度上反映了气象应用本身的可扩展性。

高性能计算机统一资源管理系统的设计与实现

高性能计算是气象业务及科研应用的重要的基础平台,中国气象局(CMA)近年来相继引进多套高性能计算机系统用以提高气象服务和研发能力。随着用户和应用的增加,如何有效管理高性能系统资源成为一个重要课题。本文详解介绍CMA高性能计算机系统统一资源管理平台的设计和实现,该系统可以对多套异构的高性能计算机系统进行统一的资源精细化统计分析和计费管理,通过该平台,系统管理员动态掌握系统的运行和资源使用情况,并据此调整系统资源分配调度策略,从而更合理高效的利用系统资源,有效提高系统运行效益。

云及高性能计算集群环境中配置管理系统设计

比较主流的配置管理工具和代码托管服务平台的特点,分析其适用性,结合气象部门项目存在的问题,提出气象私有云平台上基于Perforce的分布式版本控制系统和基于Git的代码托管协作平台的设计,以及高性能计算集群架构上基于Subversion的版本控制系统设计,并分别给出三套系统的项目配置管理实例,实践显示适用性良好。

基于OpenACC的高性能计算并行优化研究与应用

针对GPU加速时存在的编码复杂性、移植性差导致开发维护效率低下的缺陷,利用基于OpenACC指导命令的加速技术对传统的串行代码进行改写,从而达到提高开发效率、简化代码的目的。以GRAPES全球模式长波辐射过程为研究对象,首先通过编译选项对程序性能进行初步优化,再根据其数据依赖和访存特性,对数据和循环结构进行预处理并添加OpenACC指导命令实现循环级并行。实验结果表明,长波辐射过程并行计算结果正确,在不改变原有代码结构的基础上即可获得4~6倍的加速比,优化性能可比拟相同计算能力的Intel集群,虽然较GPU加速仍有差距,但大大增强了代码的可读性和可移植性,且随着编译器和硬件技术的发展,OpenACC有着广阔的发展空间。

高性能计算机资源管理系统改进设计与实现

为实现高性能计算机资源精细化的统计查询和跨区域调配管理,调研中国气象局(CMA)和各区域中心需求,分析现有资源管理系统的实现方法和不足,充分利用数据库索引和预处理技术优化数据结构,整合SSH和jQuery框架重新设计和实现资源管理系统。测试及业务应用表明,新系统在响应速度、系统可维护性、功能可扩展性和使用便捷性等诸多方面均得到提升。系统管理员可据此调整系统资源分配调度策略,用户可选择空闲时段和队列提交作业,从而更合理高效的利用系统资源,有效提高系统运行效益。

高性能计算机用户信息的统一管理

高性能计算是气象业务及科研应用的重要的基础平台,中国气象局(China MeteorologicalAdministration,CMA)近年来相继引进多套高性能计算机系统,随着气象业务和应用能力的不断提高,系统利用率稳步上升,用户数也逐月增加,截止到2012年底,用户总数超过600人。用户数的增加、用户的变动导致系统中的用户信息不完整、错误以及无法更新,以至出现问题时无法及时联系到相关用户,对系统的维护管理及用户支持造成了一定的困难。本文介绍了对CMA多套高性能计算机系统上的用户信息进行统一管理的设计思路和具体实现,相关工作的完成有助于减少管理和维护成本,更好的为用户提供优质的支持和服务。

中国气象局的高性能计算机系统

中国气象局目前共有两套高性能计算机系统,其一是于2004年引进的IBM Cluster 1600;其二是于2009年引进的国产神威4000A系统。本文从系统的业务目标、系统架构、系统的软件环境、系统运行情况、系统维护等方面进行介绍,总结了高性能计算机系统在业务、科研的使用上情况及运行维护管理中遇到的问题及解决措施,为新一代计算机的引进提供良好的基础。

中国气象局Internet接入系统整改设计

优化中国气象局现有Internet接入系统,增强Internet接入系统的稳定性、安全性。利用负载均衡对多线路资源进行整合与优化,区别对待办公用户、科研用户、临时用户,更好的为不同类型的用户服务。对办公用户上互联网,利用流量管理技术限制消耗带宽、影响工作效率、违法乱纪的行为;对办公区用户上网、VPN回访行为进行管理和审计,加强对用户使用互联网的内部监管。保障业务系统的互联网资源,提高对外网服务器区的安全性,依照等级保护的要求对互联网DMZ区进行划分,利用入侵防御、防DDoS、网络审计、漏洞扫描等安全技术构建统一的网络安全防御体系,为不同等级的信息系统提供分级别的网络安全服务。

基于MPLS VPN的气象宽带网络测试系统

针对MPLS VPN多节点间的QoS等网络性能的测试,分析了MPLS VPN网络的测试对象和测试特点,利用网格计算的思想,提出了一种分布式运行的网络测试软件设计方法。将控制、通信和测试模块分层封装形成独立子系统,并提出了一种基于时序构造不同等级数据流的QoS测试算法,使用黑盒测试。通过气象宽带网络测试系统的实例,验证了设计与开销均较好的满足了MPLS VPN网络的测试需求,有效衡量运营商服务等级协议。

分布式环境下端到端的多路并行传输机制研究

在分布式环境中,不同的管理域之间的节点由于受到访问控制机制的限制,导致端到端的数据传输无法直接进行,因此必须借助数据源节点和目的节点之间的节点进行中转。此外,在复杂的分布式环境中,数据传输的源端和目的端之间存在多条传输路径,需要考虑在端到端的数据传输过程中如何对多条传输路径进行均衡利用,以提高数据传输效率。为此,利用端到端的数据传输的特点,基于缓冲区、数据分片、多路并行传输等技术,设计了一种适应高性能计算环境中的多路并行数据传输机制,研究了可靠性保证策略。理论分析表明,多路并行传输机制可以有效解决分布式环境下的数据传输访问控制和传输效率等问题,尤其是对于较为复杂的分布式环境下进行的大数据传输,该机制充分利用了整个网络环境的传输带宽,同时解决了中间节点的数据落地问题,为端到端的数据传输提供了高效可靠的保障。

GRAPES_GFS四维变分同化预报系统应用特征分析

高性能计算被越来越广泛地应用到各个领域的大规模计算问题中,性能优化至关重要,而应用运行特征分析是确定性能瓶颈和优化方向的关键技术。以GRAPESGFS为研究对象,提出一种快速分析应用运行特征的方法,准确提供F/M(浮点计算量与内存访问的比值)和F/C(浮点计算量与网络通信量的比值)等数值结果[1],通过定量数据确定应用类型。同时对主要并行模块进行函数级分析和不同进程比对,辅助专家准确定位模式运行特征,为进一步的源代码级性能优化确定修改方向,同时为应用的机群选型提供方案。

局域网维护中故障以及处理方法

随着我国社会经济的快速发展和科技技术的日新月异,计算机网络技术也在人们的生活和工作中被广泛应用。其中计算机局域网的应用给人们的工作和生活带来了极大便利的,也为社会经济的蓬勃发展具有较大的推动作用。但是,计算机局域网在应用过程中暴露出不少的缺陷,这些故障极大的影响了计算机局域网的应用,所以如何对局域网的故障进行处理以及维护,这是目前亟待解决的问题。