基于Lustre文件系统的MPI-IO编程接口改进

针对传统MPI集群并行I/O效率不高的问题,通过分析Lustre并行文件系统的特点和MPI-IO集中式I/O操作的算法,提出了一种基于MPI-IO编程接口的改进方案,用以改善集群I/O瓶颈,提高I/O并行效率,并通过实验验证了该方案的可行性。

MPI-IO中Collective I/O的优化

本文对MPI-IO库中Collective I／O的实现算法Two-phase I／O提出了改进。通过选取主联络进程来减少第 一阶段进程间的通信量,从而减少Two-phase I／O方法在通信过程中的时间消耗,提高了整体的I／O性能。

面向非易失内存的MPI-IO接口优化

在高性能计算环境中,MPI应用多个计算节点同时访问底层存储系统文件时,其I/O开销受到访问模式和外存设备性能的影响。针对MPI应用访问文件的特征,利用非易失内存高带宽、低时延、可字节寻址、数据可持久化等优势,提出面向非易失内存的MPI-IO接口优化方案;对文件数据建立分布式的缓存并维护持久性的元数据、对进程间数据传输策略进行优化,使应用可以有效管理、利用非易失内存设备,保持缓存数据一致有效。实验结果证明,所提系统为应用带来数十倍的读写性能提升。未来将进一步优化本方案的并行性。

基于FFT并行算法的并行I/O性能的研究

该研究对象为并行计算机的I/O性能,将任务分发给不同的处理结点,通过进程间的相互协调、有序合作完成FFT并行算法的实现。在完成任务的过程中,通过记录I/O时间与计算时间,求出I/O性能与计算性能,通过分析比较数据从而认识I/O性能的重要性。研究计算机的I/O性能对于如何进一步改进系统以及提高资源利用率具有重要意义。

基于MPI的并行I/O方法

基于MPI-2规范的并行I/O方法,以并行矩阵乘法问题为例,比较了并行I/O和串行I/O的性能,给出了并行I/O方法的应用实例。

GPFS文件系统原理和模式IO优化方法

GPFS(通用并行文件系统)普遍应用于IBM大规模集群系统中,能够为并行应用程序提供高性能的I/O存取访问。该文介绍了GPFS的原理和工作机制,并以安装在国家气象信息中心的IBM高性能计算机系统为试验平台,初步测试了在实际环境中GPFS的应用情况,在应用程序中对文件访问进行性能优化的方式有2种:①由主任务负责全部文件访问,②通过MPI-IO在GPFS中实现并行文件访问。测试结果表明,GPFS可以提供很好的文件访问支持,但要想获得较高的性能,需要在应用程序中进行深入调试。

使用MPI的并行I/O实现及性能分析

论文讨论了并行环境中I/O的基本方法——串行I/O方法和并行I/O方法,并使用MPI-1及MPI-2对这两种方法进行了实现。分析了不同的实现方法对I/O带宽产生的影响。通过理论分析和实验表明,基于MPI-2的并行I/O实现方法与其它I/O实现方法相比,可得到更高的I/O带宽,是解决I/O性能问题的有效途径。

海洋环流模式的并行I/O优化研究

极端气象日益加剧,严重影响人类的生产生活。如何有效应对未来极端环境变化,更关乎国际竞争。因此,发展高精度高分辨率的地球系统模式推动气候变化研究至关重要。随着模式精度和分辨率的不断提高,I/O性能已成为制约模式计算效率和可扩展性的瓶颈。选取典型的海洋环流模式LICOM3作为研究对象,基于天河HPC系统,详细测试和分析了模式的I/O逻辑过程,发现在3K进程规模下I/O可占整体运行时间一半以上,是限制模式计算性能的关键因素。为此,设计并实现了主要输出过程的MPI-IO并行优化方案,显著提升了模式运行效率,基本解决了模式I/O瓶颈。测试结果表明,MPI-IO并行优化方案将输出时间占比从48.58%降到2.44%,将输出带宽提升到6.21 GB/s,约是原程序的14倍。此外,进一步分析了影响并行I/O性能的因素,以期为相关工作提供参考和指导。