面向天河新一代超算系统通用处理器的性能分析工具集

天河新一代超算系统是继天河2号后天河系列的新一代超算系统.该系统拟采用通用处理器配合加速器的混合异构架构,其中通用处理器采用ARM架构.目前,面向ARM架构处理器的性能分析工具仍不够完善,而面向新一代超算的性能分析工具更是较为匮乏,实用性和效率还难以满足编程人员的需求.本文针对天河新一代超算系统的通用处理器,设计开发了一套性能分析工具集,包含缓存冲突检测、伪共享检测和内存缺陷检测三个子工具.工具集可以在天河新一代超算系统的普通用户权限下分析系统单节点内以及数据并行性较高的多节点程序的性能问题,并可以解决程序的内存问题.本文使用min-write、缓存行对齐填充、线程访问隔离等多种性能优化策略来提高工具性能,采用以上策略的工具的运行时间可至多减少至原先的1/20,同时使用新颖的红区检测法和红区隐藏与恢复机制来降低工具报告的假错误率.本文还开发了配套的可视化界面,使用户可以对程序的性能分析数据进行可视化的分析和处理,提高了工具的实用性和易用性.工具对程序执行带来的额外时间开销是40~100倍,额外内存开销是100~200倍,正确性和实用性得以保证,可以提高天河新一代超算系统的编程效率和程序性能.

强化学习算法在高校超算系统资源管理中的应用研究

应用强化学习算法优化超算系统资源管理和配置,核心是通过设计合理的奖励函数、定义状态和动作空间,实现智能算法并根据系统状态灵活选择资源分配策略,提高超算系统资源使用效率和产出比。实验结果表明,基于强化学习算法在不同负载和状态下可以显著提高资源利用效率,强化学习的灵活性和自适应性可以为超算系统资源管理提供智能化解决方案。

一种超算系统的强度可用性建模与评估

可用性评估越来越注重用户的感知,强度可用性就是这样一种能反映用户所感知的系统计算能力的可用性评估指标。然而超算系统所面对的用户有很多,他们在不同层次上与系统交互,因此所感知的强度可用性各不相同,但相互之间存在关联。若分别为他们建模求解,既会造成很多重复性工作,也会延长评估的过程。提出一种名为UHAM(User-oriented Hierarchical AvailabilityModeling)的、基于层次化建模的强度可用性评估方法,实现了一次建模与求解能满足多个评估需求的目的。UHAM方法独立于系统的具体结构,因而具有普适性。

基于Linux的超算系统中Windows应用程序运行环境探究

超算系统大多是基于Linux操作系统搭建的,限制了基于Windows操作系统的应用软件使用。此外,超算系统操作的高门槛使不熟悉Linux操作系统的用户望而却步,造成超算系统用户流失。基于Linux超算系统环境,探索兼顾超算系统运维管理便利性的Windows应用程序使用方法。研究通过X11转发、Wine和虚拟化等技术,为用户提供兼容超算作业调度系统Windows应用程序运行环境,同时提供安全、稳定的用户个人文件访问方法。所采用的配置方法与实例,可为具有类似需求的超算中心提供解决方案,从而拓宽用户软件应用范围,提高用户满意度。

天河超算系统并行算法库

国防科技大学研制的天河超算系统7次荣登世界超算TOP500排行榜第一名。面对高效能发挥超算系统性能的实际需求,天河团队抽取大型科学与工程计算中的共性核心计算方法,根据天河超算系统的特点设计与实现了可扩展并行算法,研制了天河超算系统并行算法库,是天河超算系统应用支撑环境的重要组成部分。本文首先对天河超算系统的发展历程和系统结构等内容进行回顾;随后,对网格处理算法库、偏微分方程离散求解算法库、矩阵计算算法库、粒子输运计算库、聚合通信算法库以及深度学习算法库等并行算法库的架构、功能以及性能进行重点介绍;最后,对天河超算系统上典型应用软件的简要总结显示:并行算法库可有效支撑典型应用软件的快速开发与性能优化。

构建支持大模型训练的计算机系统需要考虑的4个问题

支持大模型训练的计算机系统有3种类型,其中基于国产AI芯片系统的生态系统不是很好,要想改变这个局面,需要做好AI编译器、并行加速等10个关键软件;基于超级计算机的系统需要做好软硬件协同设计,从而更好地服务于大模型训练。针对如何搭建大模型的基础设施,提出4点平衡设计,以确保系统的性能、可靠性和可扩展性。

数据密集型超算现状、挑战以及未来发展趋势

[目的]对数据密集型超算的发展历程、主流系统结构、典型应用和计算、存储子系统进行较全面的梳理,指出未来发展趋势,为后续数据密集型超算系统优化提供参考。[方法]本文首先梳理了数据密集型超算中的关键概念,分析阐述现有平台对数据密集型应用的支持程度。说明了科学界和工业界对数据密集型应用的实际需求情况。并对数据密集型超算的未来发展趋势和面临的潜在挑战进行展望,建立了超算系统评测模型。[结果]相关研究人员和从业者可从本文快速了解到超算技术的关键概念及发展状况,精准捕捉当下与未来数据密集型超算研究热点和亟待解决的关键问题。[结论]数据密集型超算存储系统面临的复杂数据类型优化、混合负载优化、多协议支持与互通等将会成为未来一段时间内研究和发展的热点问题。

应用透明的超算多层存储加速技术研究

在E级计算时代,超算系统一般使用多层存储架构以满足应用数据访问的容量和性能需求,这种架构中不同层次的存储介质差异较大,难以实现统一名字空间管理,往往需要应用修改数据访问流程才能最大程度利用到多层存储的性能和容量优势。针对多层存储统一名字空间的问题,提出针对非易失性双列存储模块(NVDIMM)的块级缓存和针对突发缓冲存储(BB)的文件级缓存技术。基于NVDIMM的块级缓存技术对缓存窗口灵活控制,以支持数据块粒度的异步读写,实现NVDIMM与BB层统一名字空间管理;基于BB的文件级缓存技术将数据缓存在BB层中,并动态迁移和管理文件副本,实现BB层与传统磁盘文件系统统一名字空间管理。在神威E级原型验证系统中的测试结果表明,所提出的两种技术较好地解决了多层存储的透明加速难题,NVDIMM块级缓存与BB相比,在缓存窗口16 MB时128 KB顺序读写带宽分别提升27%和36%,8 KB随机读写带宽分别提升20%和37%;基于BB的文件缓存技术利用BB的高带宽支撑数据访问,与全局文件系统相比,128 KB顺序读写带宽分别提升55%和141%,8 KB随机读写带宽分别提升163%和209%。此外,实际应用的测试也表明以上两种缓存技术具有透明的存储加速效果。

中国再次登顶新一期全球超级计算机500强榜单

新一期全球超级计算机500强榜单11月13日发布，中国超算“神威·太湖之光”和“天河二号”连续第四次分列冠亚军，且中国超算上榜总数又一次反超美国，夺得第一。