MPI代码规模缩减方法及其实现

消息传递接口MPI广泛采用的fork-join编程模式会使程序在扩展时遭遇隐式代码规模膨胀的问题,根据迭代空间理论分析了问题产生的原因,针对MPI程序任务分派的各个阶段提出了相应解决方法,并将扩展性较好的一种实现为MPI自动执行框架.实验证明,这个框架仅会造成轻微的性能减损,却显著地减轻了隐式代码规模膨胀产生的影响.

一种多传感器图像并行融合新方法

小波包变换能够为图像融合提供非常精细的分析。但是,在图像较大时融合的计算量大,耗时长,难以进行快速、实时融合。通过对小波包融合方法在单处理机上的执行效率的分析,针对算法固有的时间复杂性和并行性,提出了一种分布存储环境下的小波包并行融合算法。该算法针对小波变换计算的数据局部性特点,设计并实现了基于Pentium PC和1000Mbps交换式以太网的机群系统的MPI(Message Passing Interface)并行环境的并行小波包图像融合方法。针对不同大小图像、以及不同的集群规模,分析了并行计算的性能。在机群系统上对算法进行实现,结果表明该算法具有良好的并行性能。

通用遥感数据并行处理框架设计与实现

为了简化对地观测地面系统遥感数据并行处理软件的开发工作,在分析遥感数据处理流程、并行任务调度和容错策略的基础上,设计了遥感数据并行处理框架。该框架集成了遥感数据预处理并行任务调度、消息和数据交换、故障管理等公共功能,并设计实现了简单易用的插件接口规范,以支持多载荷、多种遥感数据预处理功能的扩展以实现并行处理,具有较好的通用性和功能扩展性。最后基于消息传递接口(MPI)技术,在集群上实现了遥感数据处理并行框架,并在此框架上实现遥感数据预处理的并行系统,完成了系统并行性能测试与分析,结果表明该框架在简化遥感数据预处理并行功能开发的同时还能满足遥感数据并行处理效率要求。

一种面向大型地理栅格数据的并行处理框架

随着高分辨率数据获取技术的发展,地理栅格数据的数据量不断增大,串行计算方式无法快速处理大型栅格数据,因此需要通过并行技术提高效率。传统开发过程将算法与进程调度、内存管理以及数据I/O混杂在一起的编程方式,对程序员要求较高,代码质量不易控制。提出了一种面向大型地理栅格数据的并行处理框架,利用核心类的真实和虚拟两种读取方式,实现了大型数据的分步骤、分块的快速加载和写入,并将所有的并行任务调度、进程间的数据传输过程以及特定的栅格算法步骤归结为任务;通过该框架可以将算法本身与并行调度、磁盘I/O等底层操作分离,使算法编写者可以专注于算法本身,降低开发难度,提高代码质量,解决了快速编写大型地理栅格数据算法程序的目的。实验表明,本框架可实现较好的并行效果,并显著降低代码量、提高软件质量。

层次式面向对象并行环境HOOPE的效率和性能分析

并行软件的开发始终是并行应用技术发展的难点之一 .要开发高效、灵活、复用性好的并行软件更是困难 .为了在一定程度上解决这个问题 ,我们从层次式结构、设计模式和面向对象应用框架等技术角度出发 ,研制了面向专业领域的 HOOPE并行开发环境 .本文在对该环境作简单介绍的基础上 ,着重分析其开发效率和所开发软件的并行性能 .并由此得出结论 :HOOPE是一个适合开发大规模并行计算任务的简单实用。

适用于任意网格的大规模并行CFD计算框架PHengLEI

针对计算流体力学(Computational Fluid Dynamics,CFD)大规模并行计算的需要,我们设计了适用于任意网格类型的并行计算框架风雷(PHengLEI)软件,同时支持结构网格、非结构网格和重叠网格.为了实现并行通信与网格类型无关且与物理求解器开发者隔离,我们设计了通用的通信模式和一种基于网格块的“三合一”的数据交换模式,即将多块结构网格块、并行分区网格块和结构/非结构网格块间的交界面数据完全标准化为数据底层后,在数据底层统一进行交换,使得数据交换不依赖于网格类型和数据类型,从而实现任意网格类型并行通信模式的统一.作为气动数据生产的“数值风洞”,要求代码将并行隔离至底层,为此针对主流计算机系统的特点,设计了粗粒度MPI/OpenMP混合并行模式,领域专家只需关注求解器开发而无需关注并行通信,在提高可移植性、可扩展性的同时尽可能兼顾封装性.针对大规模并行计算的实际工程需求,设计了并行分区、大规模并行文件存储模式,以缩短前置处理和文件I/O时间.最后,分别基于结构网格、非结构网格和重叠网格,给出了工程应用领域的标模算例,以说明PHengLEI并行计算框架对不同网格类型的适应性.大规模网格测试结果表明,国产定制集群上16.38万核并行效率达83%以上,“天河二号”上近10万核并行效率达95%以上,展现了较好的可扩展性和并行计算效率.

面向天河互连网络的可扩展通信框架实现技术

开源通信框架在编程模型和互连接口之间定义标准化的通信编程接口,提供了独立于互连网络特性的高性能通信操作,提高了编程模型在新型互连网络上的开发效率。通过设计与实现多通道数据传输协议,解决了通信框架在天河互连网络上实现时的性能和扩展性问题。测试数据表明,天河互连网络上的通信框架具有很低的软件层开销,提供了接近于互连硬件设计指标的通信性能,为拓展天河互连网络对各种编程模型和分布式计算框架的高效支持提供了良好的基础。

一种跨平台的并行编程框架设计与实现

并行程序设计的复杂性及并行计算平台的多样性导致程序可移植性较差。为此,设计并实现一种跨平台、分层次的并行编程框架OpenCH。该框架通过两层并行函数库和层次化的API设计,对上层应用程序隐藏并行化细节,为基于不同计算平台的库函数设计了统一的函数接口,使底层平台的变化对上层应用程序透明。根据底层函数库的开发,给出一种填充式的编程方法和任务调度系统。将OpenCH应用于遥感影像分类,实验结果证明,基于该框架开发的并行程序可运行于多种并行计算平台,并具有较高的并行加速比,编程框架本身造成的时间开销低于15%。

面向大规模地震数据并行处理高速可扩展通信技术应用研究

随着地震数据规模的不断增大,在进行数据并行处理时,并行计算通信框架因使用TCP(Transmission Control Protocol)协议存在网络吞吐量低、高时延等性能问题,以及主从并行模式下存在主节点网卡性能瓶颈问题,制约了数据并行处理效率的线性提升,集群节点规模扩展性下降明显。为此,提出采用RoCE(RDMA over Converged Ethernet)协议替换TCP协议、主节点配置高性能100 GE网卡的高效并行计算通信优化方案,解决了并行计算框架存在的数据网络传输性能问题及主节点同时收集多个计算节点计算结果数据的网络性能瓶颈问题,实现了高速可扩展技术的大规模地震数据处理通信应用方案,计算节点可快速完成数据通信,提升了大规模地震数据处理计算效率;另外采用UCX(Unified Communication X)技术还提升了应用系统的可移植性与使用的便捷性。逆时偏移处理数据的测试结果表明,对于本次大规模数据的处理,逆时偏移并行计算效率提升了32.8%,效果显著,可缩短大规模地震数据逆时偏移计算的时间,并减少计算能源消耗,因此具有很高的实用价值和经济效益。

基于分布式数据集的并行计算框架内存优化方法

随着科学计算和人工智能技术的快速发展,分布式环境下的并行计算已成为解决大规模理论计算和数据处理问题的重要手段。内存容量的提高以及迭代算法的广泛应用,使得以Spark为代表的内存计算技术愈发成熟。但是,当前主流的分布式内存模型和计算框架难以兼顾易用性和计算性能,并且在数据格式定义、内存分配、内存使用效率等方面存在不足。提出一种基于分布式数据集的并行计算方法,分别从模型理论和系统开销两个角度对内存计算进行优化。在理论上,通过对计算过程进行建模分析,以解决Spark在科学计算环境下表达能力不足的问题,同时给出计算框架的开销模型,为后续性能优化提供支持。在系统上,提出一种框架级的内存优化方法,该方法主要包括对跨语言分布式内存数据集的重构、分布式共享内存的管理、消息传递过程的优化等模块。实验结果表明,基于该优化方法实现的并行计算框架可以显著提升数据集的内存分配效率,减少序列化/反序列化开销,缓解内存占用压力,应用测试的执行时间相比Spark减少了69%~92%。