基于分布式数据集的并行计算框架内存优化方法

随着科学计算和人工智能技术的快速发展,分布式环境下的并行计算已成为解决大规模理论计算和数据处理问题的重要手段。内存容量的提高以及迭代算法的广泛应用,使得以Spark为代表的内存计算技术愈发成熟。但是,当前主流的分布式内存模型和计算框架难以兼顾易用性和计算性能,并且在数据格式定义、内存分配、内存使用效率等方面存在不足。提出一种基于分布式数据集的并行计算方法,分别从模型理论和系统开销两个角度对内存计算进行优化。在理论上,通过对计算过程进行建模分析,以解决Spark在科学计算环境下表达能力不足的问题,同时给出计算框架的开销模型,为后续性能优化提供支持。在系统上,提出一种框架级的内存优化方法,该方法主要包括对跨语言分布式内存数据集的重构、分布式共享内存的管理、消息传递过程的优化等模块。实验结果表明,基于该优化方法实现的并行计算框架可以显著提升数据集的内存分配效率,减少序列化/反序列化开销,缓解内存占用压力,应用测试的执行时间相比Spark减少了69%~92%。

基于低代码思想的可视化并行计算框架设计

先进装备的新型信息处理平台采用高性能多核处理器为核心的一体化架构,来满足高性能和智能化需求。为了支撑密集计算任务,需要并行计算框架来解决多核同步、负载均衡、任务调度、数据分发等并行计算应用难题。然而,现有的并行计算框架多为基于Linux的开源框架,不支持国产多核处理器;同时,基于并行计算框架的编程方式与传统的以控制算法为中心的结构化编程思路不同,对于习惯了C/C++编写串行程序的用户,基于并行计算框架编程面临许多难题。针对上述问题,在解决国产多核处理器操作系统并行计算框架适配问题的同时,基于低代码设计思想,研究简化并行计算框架编程方法、提升并行应用编程效率的技术途径,通过可视化组件配置与代码自动生成的方式,真正地降低并行编程难度,充分发挥国产多核处理器的并行计算效能。

面向对象有限元并行计算框架PANDA

为提高我国工程数值模拟软件的开发能力,面向武器工程大规模并行计算需求,基于层次化、模块化及面向对象的现代软件设计技术,分析探讨有限元并行计算框架的设计方法,形成初步的基础开发框架PANDA 0.1版;详细描述PANDA框架的层次结构设计,并探讨该基础开发框架设计中的底层网格数据结构设计、有限元共性管理模块及并行策略等部分关键技术;简要介绍PANDA框架的扩展应用方法.研究表明:采用框架技术进行结构力学有限元程序开发,具有高效、快速和便捷等优点.

JASMIN框架中多块结构网格拼接并行计算及其应用

基于JASMIN框架,本文设计了多块结构网格拼接的并行算法并研制了相应的软件模块。该模块设计实现了网格块间关系统一描述算法,及网格片间统一通信调度策略,从而有效解决了多块结构网格拼接并行计算中的通信性能瓶颈问题。同时,该模块封装了数据分布存储、数据通信等并行计算细节,提供了规范接口,能够支撑用户简便地实现多块结构网格拼接并行计算。数值测试表明,该模块具有很好的并行性能,可以支撑应用程序扩展到上千核。

JASMIN框架中联邦并行计算及其在多物理耦合中的应用

多物理耦合是一类普遍的复杂应用问题。并行计算时,在充分考虑各个物理过程的基础上,还需要在不同物理过程之间建立数据依赖关系并交换物理量值。这无论对并行算法设计,还是对并行编程实现来说,均具有较大的难度。JASMIN框架提供联邦计算功能,很好地封装和实现了单层结构网格上的多物理耦合并行计算。该功能实际应用于激光聚变和地球系统模式等领域,支撑研发了多个应用程序,可以有效使用成千上万个处理器核进行数值模拟。

基于JASMIN框架的抛物方程有限差分解法并行计算及其应用

抛物方程有限差分解法的网格步长严格受波长限制,在求解城市小区电波传播问题时,计算速度明显变慢,为此,基于JASMIN框架研究了抛物方程有限差分解法的并行方法,通过将同一步进面划分成多个网格片,并分配到不同的处理器进行运算,实现了抛物方程有限差分解法的并行计算。与解析解的对比验证了并行程序的正确性,同时通过实例分析了并行程序的高效性,算例表明,抛物方程有限差分解法的求解效率得到了有效的提高。最后,模拟和分析了某一电信基站天线在包含9栋规则建筑物的城市小区环境中的电磁特性,结果表明,该方法能够得到基站在空间各处的信号覆盖强弱,可以为基站选址提供参考。

考虑楼板作用的钢筋混凝土框架有限元模型及并行计算效率

对于钢筋混凝土框架,考虑楼板与梁的协同作用可以更充分地体现结构静动力性能。本文首先采用分层壳单元模拟楼板,通过刚臂耦合梁板,建立了可以较好模拟梁板协同工作的框架结构有限元模型,并与其它3种采用简化假定的模型进行了比较。为了控制这种模型的分析误差,必须将梁、板划分为较小单元,所以需要耗费大量的计算机内存和时间。为此,比较分析了采用集群并行计算与普通串行计算的求解时间,结果说明对于中等到较大的框架模型,集群计算均可以大量减少计算时间。

面向对象有限元并行计算框架PANDA的并行机制

为实现面向对象有限元并行计算框架PANDA对高性能计算的支持,分别从并行计算流程、区域分解、分区信息和通信封装等部分设计PANDA框架在并行计算方面的数据结构.在计算流程中建立区域分解和并行求解器的配合协作方式,进而描述进行区域分割的3种网格剖分方法;对分区边界单元和节点信息的组织以及对并行通信操作的封装使复杂的并行通信调用简单、易行.用PANDA框架开发有限元程序时,只需以串行方式编写代码就可得到并行计算服务.对某夹具的算例表明PANDA框架并行计算实现的正确性和可靠性.

一个层次式面向对象并行计算框架的设计

本文讨论了一个层次式并行应用软件开发框架的设计思想 ,将并行计算底层细节进行逐级抽象 ,采用面向对象封装与继承机制 ,为科学计算领域提供了快速原型实验和应用开发环境 .该框架的层次结构使之成为独立于体系结构的并行开发环境 。

面向对象有限元并行计算框架PANDA的多物理场耦合服务

针对结构分析软件面向多物理场的应用,分析讨论面向对象有限元并行计算框架PANDA的多物理场耦合服务设计,即多物理场分析类型的扩充能力、不同物理场间的数据传递和多物理场耦合分析的求解策略.在PANDA提供的多物理场耦合服务的基础上,开展热-力耦合分析功能的程序开发,实现热弹性分析功能.热弹性分析算例计算结果与ANSYS的计算结果完全一致,表明基于PANDA框架的多物理场耦合功能开发已取得一定进展.

支持多种并行计算模型的面向对象框架研究

为了支持并行程序设计，几乎所有的程序设计语言均通过提供并行与同步通信机制来支持某一高级并行计算模型，如Ａｄａ语言的任务与会合机制以及Ｊａｖａ语言的线程和同步方法．显然，这样的程序设计语言仅能支持一种高级并行计算模型．尽管单模型的途径对某些应用来说简单而有效，但由于现实世界中的问题往往较为繁杂而难以完全用单一模型来解决．文章采用面向对象的语言机制和框架技术来解决此问题．通过分析现有各种语言中高级并行计算模型的共性，提出了若干新的面向对象语言机制．以此为基础，提出了并行面向对象框架的概念，并讨论用其表达和使用高级并行计算模型的方法．结果是，可在某种意义下将高级并行计算模型从语言中分离出来，而单一语言可由多个并行框架加以支撑，从而使得在单一面向对象语言中支持多种高级并行计算模型成为可能．

基于分布式对象的并行计算框架(英文)

在为工作站机群构造并行软件的过程中,计算特征和组成特征非常重要.但是,由于缺乏有效的支撑环境,当今的分布式并行计算软件系统效率低下,这在计算特征方面尤为明显.提出一个基于分布式对象的并行计算框架,目的在于保证高效的并行计算开发,提供封装和复用并行程序的机制,并保证系统的动态平衡和容错性.框架是4层模型,包括对象组层和移动对象层.实验结果证明了方案的有效性.

一种对象化并行计算框架

分布式计算、并行计算、内存计算是目前提高计算性能的关键技术和热点研究领域.在大数据环境下,针对数据型统计分析系统性能劣化明显、不能满足用户使用需求的问题,提出了一种轻量级高性能对象化并行计算架构,研制了该架构的对象服务组件、对象管理服务组件和客户端代理组件,并将该架构和组件在国家电网资产质量监督管理系统中进行了验证应用,其效果表明该框架能大幅提升大数据处理效率.

面向对象有限元并行计算框架PANDA的应用模板

为解决面向对象有限元软件框架PANDA的应用问题,降低使用PANDA框架进行并行应用程序开发的难度,提高软件开发的重用性,从PANDA的框架设计、PANDA的应用模板和应用测试等3方面介绍针对不同物理问题的程序建立机制,即PANDA框架的使用方法──应用模板方法.PANDA框架的开发目前处于初始阶段,为提高其易用性仍需进行大量的研究工作.

钢筋混凝土框架结构计算机仿真与并行计算

介绍了钢筋混凝土框架结构计算机仿真和并行计算的研究现状。数值仿真主要采用有限元、离散元等数学物理模型,而可视化技术及图形仿真基于图形学和图像处理技术,是驾驭计算过程及理解大体积数据的唯一有效途径。有限元并行计算有SBS、EBE两种策略,非线性求解有直接与迭代解法,动力时程分析有显式、隐式和精细时程积分法。最后介绍了并行计算在钢筋混凝土结构分析中的应用。

一种基于集群的通用并行计算框架设计

近年来各领域应用的数据量和计算量需求都大幅增加,传统单个计算设备往往无法胜任如此规模的计算量,因此越来越多的领域开始尝试使用并行计算技术,分布式并行计算是进行并行计算的一种主要方式,常见的框架为基于Map Reduce的Hadoop。提出一种基于集群的通用并行计算框架,参考"管道过滤器"模式,对三个模块"任务划分"、"控制器节点"和"计算节点"都进行详细设计描述,相对于Hadoop,对有向无环图型任务由更好支持,并且支持迭代型任务,另外增加缓存机制,减少系统耗时,一定程度支持实时性应用。

面向对象有限元并行计算框架PANDA求解器的服务构件化设计与集成

针对很多结构有限元程序需要使用数值方法进行系统方程组求解的共性特点,提出对数值求解部分进行构件化设计,形成求解器服务,用于面向对象有限元并行计算框架PANDA为不同应用类型的有限元程序开发提供数值算法.将美国Livermore国家实验室开发的数值求解器库HYPRE作为数值求解构件集成到PANDA框架中,利用其提供的数值解法进行结构静力有限元并行求解,获得较理想的结果.目前,PANDA框架已经能够为应用程序的开发提供较丰富的数值解法方面的选择.

应用并行计算框架提升地震数据处理效率分析

并行计算框架系统将地震数据可分割处理的特点与现代计算机群多节点、多线程的并行运算能力巧妙结合,在提升常规地震处理运算效率、缩短地震资料处理周期方面发挥了显著作用。本文通过大量数据的测试,对影响并行计算框架运算效率的各种因素进行了分析。并行计算框架对地震数据处理运行效率的提高并不是随着并行任务数线性增长,与机群I/O效率及并行处理作业的计算量有关。随着并行任务数的增加,效率提高速度会逐步放缓,当达到最佳并行度时会出现拐点。另外,并行计算框架效率的提高与数据分割粒度有关,粗粒度分割更有利。因此应用并行框架系统时,应根据机群I/O效率与并行处理作业的计算量,选择合理的并行处理任务数。

适用于任意网格的大规模并行CFD计算框架PHengLEI

针对计算流体力学(Computational Fluid Dynamics,CFD)大规模并行计算的需要,我们设计了适用于任意网格类型的并行计算框架风雷(PHengLEI)软件,同时支持结构网格、非结构网格和重叠网格.为了实现并行通信与网格类型无关且与物理求解器开发者隔离,我们设计了通用的通信模式和一种基于网格块的“三合一”的数据交换模式,即将多块结构网格块、并行分区网格块和结构/非结构网格块间的交界面数据完全标准化为数据底层后,在数据底层统一进行交换,使得数据交换不依赖于网格类型和数据类型,从而实现任意网格类型并行通信模式的统一.作为气动数据生产的“数值风洞”,要求代码将并行隔离至底层,为此针对主流计算机系统的特点,设计了粗粒度MPI/OpenMP混合并行模式,领域专家只需关注求解器开发而无需关注并行通信,在提高可移植性、可扩展性的同时尽可能兼顾封装性.针对大规模并行计算的实际工程需求,设计了并行分区、大规模并行文件存储模式,以缩短前置处理和文件I/O时间.最后,分别基于结构网格、非结构网格和重叠网格,给出了工程应用领域的标模算例,以说明PHengLEI并行计算框架对不同网格类型的适应性.大规模网格测试结果表明,国产定制集群上16.38万核并行效率达83%以上,“天河二号”上近10万核并行效率达95%以上,展现了较好的可扩展性和并行计算效率.

数据驱动并行计算的3层软件架构设计及应用

数据驱动并行计算是科学与工程计算中普遍存在的一类计算,其执行通常依赖于数据流有向图.在实际应用中,结点调度、数据通信和数值计算紧耦合并发执行,较难解耦编程,这给应用软件的协同研制和代码复用带来困难.借助于统一形式的数据流有向图并行算法框架,分无环有向图调度、无环有向图建模和数值计算3个层次,设计了软件体系结构,实现于并行自适应结构网格应用支撑软件(J parallel adaptive structured mesh applications infrastructure,JASMIN)框架的通量扫描积分构件中,有力地支持了结点调度、数据通信和数值计算的解耦编程.研究成果成功应用于科学计算中典型的中子输运计算,典型的代码开销测试和2 048个处理器核的并行性能测试表明,软件架构及其构件化实现是有效的.