广义共轭余差法的通信避免算法

广义共轭余差法是一种用于求解非对称线性方程组的有效算法。为减少算法中的全局通信,首创性地提出了“通信避免的广义共轭余差法”,避免了迭代过程中的全局通信,使算法中的全局通信总次数降低了一个数量级,同时减少了约50%的计算量(计算量的具体减少比例与计算规模相关)。大规模测试中(最大16384进程),新算法最高达到了原算法3倍的运算速率。进一步分析表明,新算法在各种并行规模下的运算速率和可扩展性都优于原算法。在较小并行规模下,新算法的优势主要来源于计算量的减少。在较大并行规模下,新算法的优势主要来源于全局通信量的减少。

基于CPU+GPU异构并行的广义共轭余差算法性能优化

为了提高GRAPES数值天气预报模式的计算效率,改善动力框架部分的性能,针对广义共轭余差算法(GCR)求解赫姆霍兹方程在GRAPES模式中耗时较大的问题,提出了一种基于CPU+GPU异构并行的预处理广义共轭余差算法。采用不完全LU分解对系数矩阵进行预处理来减少迭代次数,在此基础上实现了OpenMP的细粒度并行和MPI粗粒度并行,OpenMP并行主要是采用循环展开的方式对程序中无数据依赖的循环体使用编译制导来提高程序的性能;MPI并行主要是将数据划分给各个进程,采用非阻塞通信和优化进程通信数据量的方式来提高并行程序的可拓展性。实现了MPI+CUDA异构并行,MPI负责节点间进程通信以及迭代控制,CUDA负责处理计算密集型任务,将GCR中耗时较大的矩阵计算部分移植到GPU上处理,采用访存优化和数据传输优化来减少CPU和GPU间的数据传输开销。实验结果表明:与串行程序相比,OpenMP并行加速比为2.24,MPI并行加速比为3.32,MPI+CUDA异构并行加速比为4.69,实现了异构平台上的广义共轭余差算法性能优化,提高了程序的计算效率。

GRAPES模式中Helmhothz方程两种求解方法的对比研究

GRAPES是中国气象局自主研发的一个全球/区域分析预报系统。其模式计算方程组经过离散化之后,积分求解过程最终归结为对一个椭圆方程或Helmholtz(赫姆霍兹)方程的求解,这个求解是整个动力框架计算的核心。在目前GRAPES全球模式的准业务计算中,对于分辨率为0.5o的系统,Helmholtz方程的求解时间占到了整个模式计算时间的三分之一强。而且随着未来高分辨率模式的进一步加细,以及模式计算精度的提高,方程求解计算总量更是呈指数式增长。为此,本文分析了GRAPES模式中求解Helmholtz方程所采用的广义共轭余差法(GCR),并对比给出了利用PETSC函数库中提供的GMRES方法求解Helmholtz方程的一些初步测试结果。结果表明,采用高精度的GMRES方法可以减少模式预报偏差,改善模式预报准确度,在大规模并行计算时具有更好的可扩展性能。

GRAPES动力框架中大规模稀疏线性系统并行求解及优化

赫姆霍兹方程求解是GRAPES数值天气预报系统动力框架中的核心部分,可转换为大规模稀疏线性系统的求解问题,但受限于硬件资源和数据规模,其求解效率成为限制系统计算性能提升的瓶颈。分别通过MPI、MPI+OpenMP、CUDA三种并行方式实现求解大规模稀疏线性方程组的广义共轭余差法,并利用不完全分解LU预处理子(ILU)优化系数矩阵的条件数,加快迭代法收敛。在CPU并行方案中,MPI负责进程间粗粒度并行和通信,OpenMP结合共享内存实现进程内部的细粒度并行,而在GPU并行方案中,CUDA模型采用数据传输、访存合并及共享存储器方面的优化措施。实验结果表明,通过预处理优化减少迭代次数对计算性能提升明显,MPI+OpenMP混合并行优化较MPI并行优化性能提高约35%,CUDA并行优化较MPI+OpenMP混合并行优化性能提高约50%,优化性能最佳。