基于BLACS的2.5D并行矩阵乘法

并行矩阵乘法是线性代数中最重要的基本运算之一,同时也是许多科学应用的基石.随着高性能计算(HPC)向E级计算发展,并行矩阵乘法的通信开销所占比重越来越大.如何降低并行矩阵乘法的通信开销,提高并行矩阵乘的可扩展性是当前研究的热点之一.本文提出一种新型的分布式并行稠密矩阵乘算法,即2.5D版本的PUMMA(Parallel Universal Matrix Multiplication Algorithm)算法,该算法是通过将初始的进程分成c组,利用计算节点的额外内存,在每个进程组上同时存储矩阵A、B和执行1/c的PUMMA算法,最后通过规约操作来得到矩阵乘的最终结果.本文基于BLACS(Basic Linear Algebra Communication Subprograms)通信库实现了一种从2D到2.5D的新型数据重分配算法,与PUMMA算法相结合,最终得到2.5D PUMMA算法,可直接替换PDGEMM(Parallel Double-precision General Matrix-matrix Multiplication),具有良好的可移植性.与国际标准算法库ScaLAPACK(Scalable Linear Algebra PACKage)中的PDGEMM等经典2D算法相比,本文算法缩减了通信次数,提高了数据局部性,具有更好的可扩展性.在进程数较多时,例如4096进程时,系统测试表明相对PDGEMM的加速比可达到2.20~2.93.进一步地,本文将2.5D PUMMA算法应用于加速计算对称三对角矩阵的特征值分解,其加速比可达到1.2以上.本文通过大量数值算例分析了2.5D PUMMA算法的性能,并给出了实用性建议和总结了未来的工作.

面向天河二号Lustre文件系统优化实践

近年来,随着高性能计算技术的飞速发展,Lustre文件系统作为高性能计算重要组成部分越来越受到重视,对于Lustre文件系统元数据服务的高可靠性一直是研究的重点,针对Lustre文件系统元数据高可靠性的研究,本文设计了一种双MDT冗余的架构保证了元数据服务的高可靠性;同时随着应用复杂度的提高和计算规模的增加,对Lustre文件系统的性能要求也越来越高,特别是在处理海量小文件和I/O密集型应用时,对Lustre文件系统元数据的I/O性能提出了更高的要求,为了提高元数据的I/O性能,本文通过升级MDT元数据底层硬件设备来提升元数据的I/O性能和提升整体文件系统的I/O性能,满足新的应用对文件系统IO的要求。

CSPTH:基于天河二号的晶体结构预测软件框架

晶体结构是深入理解材料的物理及化学性质的重要信息,发展可以从理论上预测晶体结构的方法具有重要意义。通过高性能计算集群甚至利用超级计算机来加速晶体结构预测已逐步成为趋势。本文中,我们基于天河二号超级计算机开发了一套开源的晶体结构预测软件框架,命名为CSPTH。在算法层面,我们基于当前效率最高的遗传算法进行晶体结构预测,并采用了多种技术提升结构预测效率,包括并行化生成种群结构;引入空间群限定,减少自由度搜索,提升结构多样性;引入晶体指纹进行相似性算法,排除相似结构干扰,避免“基因漂变”的问题。特别地,我们针对晶体结构预测算法的应用特点以及天河二号的系统环境,从任务以及数据管理两个方面做了优化。在任务管理上,我们设计了多层任务调度管理模块,根据计算任务的规模大小的分发细粒度作业(节点内)以及粗粒度作业(跨节点),提升计算资源的高效使用;在数据管理上,我们将每个计算任务的数据都临时储存于计算节点的RAMDISK,提取有效信息后再存储于MongoDB数据库,避免大量小文件存储于公共存储。CSPTH已在15种已知一元、二元以及三元体系上进行了结构预测,实验结果表明CSPTH能根据给定的组分及外部压力条件下全部预测出相应的稳定结构。