CPU+多GPU异构协同计算的体系结构研究

以CUDA架构为例,对传统的CPU+单GPU架构进行了分析,提出了一种CPU+多GPU异构协同计算的系统方案,对关键的CPU对多GPU的管理及多GPU间数据通信等问题做了重点讨论,从理论上进行了可行性分析,并提出了相应的优化方法.

面向天河2A系统的基于蒙特卡罗方法的粒子输运异构协同计算

粒子输运模拟在核科学领域、医疗放射治疗领域中占有重要的地位。基于MC方法设计和开发了面向天河2A系统的粒子输运异构协同算法;基于天河2A系统的异构通信模式BCL和ACL,提出了一种CPU与加速器Matrix2000之间的简单高效的对称通信模式;在Matrix2000加速器端,通过OpenMP指令开发程序的线程级并行;优化了原MC程序串行数据收集通信模式,提出了新的二叉树通信模式,极大地减少了通信时间。实现的基于CPU/Matrix2000异构协同计算的并行程序,在天河2A系统上进行测试,大规模测试可以扩展到45万核,相对5万核并行效率保持在22.54%。

面向国产异构DCU平台的大规模并行矩量法研究

面向国产异构众核处理器超级计算机发展趋势,实现了基于CPU+DCU国产异构并行系统的大规模并行高阶矩量法。在同构并行矩量法负载均衡策略的基础上,提出了一种“MPI+openMP+DCU”的高效异构并行编程框架,解决了计算任务与计算能力不匹配的问题,实现了矩量法异构并行计算过程的负载均衡。采用细粒度任务划分策略与异步通信技术,对深度计算处理器计算过程进行了流水线优化设计,实现了计算与通信重叠,提升了矩量法异构协同计算的效率。通过与有限元法的仿真结果对比,验证了CPU+DCU异构并行矩量法的准确性。基于国产深度计算处理器异构平台的可扩展性分析结果表明,与单纯CPU计算相比,所实现的CPU+DCU异构协同计算方法能够获得5.5~7.0倍的加速效果,且在国家超级计算西安中心能够实现全系统运行,并行规模从360节点扩展到3 600节点(共1 036 800个处理器核心),并行效率可以达到约73.5%。

针对天河2号的一种嵌套剖分负载平衡算法

天河2号等亿亿次计算机上的大规模异构协同计算对负载平衡算法提出了3方面要求:低算法复杂度、适应多级嵌套的数据传输系统和支撑异构协同计算.通过组合3级嵌套负载平衡算法框架、贪婪剖分算法和内外子区域剖分算法,设计了一种能够同时满足这3方面要求的负载平衡算法.模型测试表明,算法可以达到90%以上的负载平衡效率.天河2号上32个节点的测试表明,算法能够保证通信开销较小.5个典型应用在天河2号上最大93.6万核的测试表明,算法能够支撑应用高效扩展,并行效率最高可达80%.