异构系统并行计算软件性能测评分析与实证研究

【目的】“并行计算软件性能测评”一直是超算领域重要的研究方向。在异构系统上对计算软件实际性能进行真实测评和分析,可以有效促进对异构系统计算软件生态的良性发展。【方法】本文首先通过调研文献对国内外并行计算软件性能测评方法进行研究分析,归纳总结出业界对并行计算软件性能测评的研究划分的3个重要阶段;通过并行计算矩阵乘积Cannon算法对软件的真实性能进行实证分析,并对运行时间和效率等重要指标进行多维度的实验分析。【结果】在同一节点下,不是使用越多的加速卡越能降低该并行程序的运行时间;不同规模矩阵在不使用加速卡和使用单个加速卡两种情况下,程序的并行效率均没有因为节点的增多而发生明显的变化。【结论】在异构系统计算软件中只关注并行效率不能如实反映该软件性能的真实水平。除节点间并行效率因素外,节点内部加速也成为反映并行计算软件真实水平的一项重要测评指标。

基于异构系统的多级并行稀疏张量向量乘算法

张量在许多实际应用中被用来表示大规模、多源、高维、多模态的数据.稀疏张量分解作为挖掘数据中隐藏信息的有效方法之一,已被广泛应用于机器学习、文本分析、生物医疗等研究领域中.稀疏张量向量乘(Sparse Tensor-VectorMultiplication,SpTV)是张量分解中最基础、耗时最多的运算之一.为加速大数据和人工智能相关应用的运行效率,本文提出了基于CPU-GPU异构结构的多级并行SpTV加速算法.首先,为了将SpTV运算映射到混合、多级并行的分布式CPU-GPU异构多/众核构架,本文设计了一种多维并行SpTV划分方法,采用面向节点级并行的N-1维张量划分和面向GPU线程级并行的矩阵划分,充分利用计算节点间和节点内的多级并行计算能力.其次,设计了一种基于稀疏张量纤维的压缩存储格式,压缩稀疏张量的内存占用,优化SpTV运算的计算和访存模式.最后,提出了基于多流并行的异构高效SpTV算法,进一步设计了稀疏张量的细粒度划分方法、多流并行运行机制和基于张量块排序的多流并行优化技术,实现了SpTV运算中通信开销和计算开销的相互重叠与隐藏.实验结果表明,与相关工作aeSpTV相比,所提出的SpTV算法在所有测试数据集上最高能够获得3.28倍的加速比.

CPU-GPU异构系统在光学遥感影像处理中的应用

近年来,CPU-GPU异构系统在光学遥感影像数据处理领域的应用得到了广泛关注。首先介绍CPU-GPU异构系统的体系架构及发展历程。其次,介绍光学遥感影像数据处理流程。接下来,对CPU-GPU异构系统在光学遥感影像预处理、后续处理领域应用现状进行介绍。最后对CPU-GPU异构系统在光学遥感影像数据处理系统中的应用进行分析和总结,分析可知,CPU-GPU异构系统在光学遥感影像数据处理领域应用具有可行性且前景广阔,但仍需解决算法并行化设计、优化及CPU和GPU负载平衡等关键问题,这对推动CPU-GPU异构系统在光学遥感影像数据处理中的应用具有重要意义。

一种面向异构并行系统的最大功耗管理方法

高功耗已成为制约高性能计算机发展的重要问题之一.近年来,大量研究关注于如何在满足系统功耗约束的条件下优化系统执行性能.然而,已有方法大都针对同构系统,未考虑异构处理器之间的功耗或速度差异,难以高效应用于基于加速器的异构系统.对当前异构并行系统执行模型进行了抽象,并提出了融合两级功耗控制机制的系统功耗管理框架,自顶向下依次为系统级功耗控制器和异构处理引擎功耗控制器.在异构处理引擎功耗控制中,针对类OpenMP并行循环,首先分析了异构多处理器在满足功耗约束条件下达到性能最优的条件.基于该结果,给出了功耗受限的并行循环划分算法,该方法通过协调并行循环调度和动态电压频率调节技术以优化异构并行处理.在系统级功耗控制中,建立了异构处理引擎效能评估方法,以此作为功耗划分的依据,在兼顾并发应用公平性的同时,提高系统整体执行效能.最后,基于典型CPU-GPU异构系统验证了方法的有效性.

异构机群系统上双序列全局比对并行算法

对于处理机节点具有不同的计算速度、通信延迟和存储容量的异构机群系统,考虑通信启动开销,基于可分负载理论,提出一种双序列全局比对问题并行处理的最优分配策略,利用该策略确定出并行迭代次数和分配给各个从处理机的子序列长度。异构PC机群系统上的实验结果表明,提出的双序列全局比对并行算法优于基于平均分配策略的并行比对算法,获得良好的加速和可扩展性。

异构机群系统上基于多轮分配方式的近似串匹配并行算法

在给定正文串分配轮数的前提下,考虑处理机节点具有不同计算速度、不同通信能力的情形,根据从处理机是否允许重叠执行计算和通信操作,提出异构机群计算环境下的最优正文串多轮分配策略;同时提出一种周期性的正文串多轮分配策略并给出了相应的正文串多轮分配的闭合解,此策略可以求出最优的分配轮数.实验结果表明,正文串多轮分配策略比正文串单轮分配策略大大缩短了近似串匹配并行处理的时间,并且在正文串多轮分配策略中,当近似串匹配应用的规模较小时,分配轮数比参与近似串匹配并行处理的从处理机数更能影响近似串匹配并行处理的完成时间,反之,从处理机数对近似串匹配并行处理的完成时间影响更大.

异构并行系统中高时效性任务的节能调度方法

面向异构并行系统的高时效性任务调度问题开展研究,着重考虑能耗因素对于调度方案的影响。首先在问题分析中,给出任务与资源的形式化描述。随后提出异构并行系统任务调度的决策变量和优化目标,并构建约束模型。基于典型调度过程,将原问题分解为序列生成算法设计问题和指派控制算法设计问题。提出用于任务排序的三种策略,以及用于任务分配的调度算法。在仿真实验中,将所提算法进行组合,在不同场景下进行对比测试。实验结果表明,所提方法能够在保证任务执行率的前提下,通过优化调度方案减少系统的能量开销。

并行异构系统中的一种高效任务调度算法

并行分布计算是当前计算机科学的热点之一。调度算法是影响分布式计算的关键因素,也是一个具有挑战性的课题。调度算法是将有通信关系的任务按顺序分配给不同的处理器。提出了一种基于区间插入和任务复制的高效启发式算法,通过对各种随机任务图和高斯迭代任务图进行模拟,与已有算法相比,新算法的效率有很大的提高。

面向国产异构DCU平台的大规模并行矩量法研究

面向国产异构众核处理器超级计算机发展趋势,实现了基于CPU+DCU国产异构并行系统的大规模并行高阶矩量法。在同构并行矩量法负载均衡策略的基础上,提出了一种“MPI+openMP+DCU”的高效异构并行编程框架,解决了计算任务与计算能力不匹配的问题,实现了矩量法异构并行计算过程的负载均衡。采用细粒度任务划分策略与异步通信技术,对深度计算处理器计算过程进行了流水线优化设计,实现了计算与通信重叠,提升了矩量法异构协同计算的效率。通过与有限元法的仿真结果对比,验证了CPU+DCU异构并行矩量法的准确性。基于国产深度计算处理器异构平台的可扩展性分析结果表明,与单纯CPU计算相比,所实现的CPU+DCU异构协同计算方法能够获得5.5~7.0倍的加速效果,且在国家超级计算西安中心能够实现全系统运行,并行规模从360节点扩展到3 600节点(共1 036 800个处理器核心),并行效率可以达到约73.5%。

存储受限异构机群系统的多目标串近似匹配并行算法

针对处理机节点具有不同的计算能力、通信延迟和存储容量的情形,考虑计算和通信启动开销,给定处理机分配顺序,基于可分负载理论,分别建立单层和两层树结构模型的存储受限异构机群系统的目标串最优分配线性规划模型,给出相应的目标串最优分配方法,并讨论了处理机最优分配顺序.实验结果表明,本文提出的基于最优分配方法的多目标串近似匹配并行算法优于平均分配算法,获得了较好的加速并具有良好的可扩展性.

异构机群系统上近似串匹配并行算法

基于可分负载理论的最优原则，在假定正文串分配顺序固定的前提下，考虑处理机节点具有不同计算速度、不同通信能力的情况，提出一种异构机群计算环境下的最优正文串分配策略，给出最优正文串分配的闭合解。对于节点具有不同计算速度、通信能力、存储容量的异构机群系统，建立正文串最优分配的线性规划模型。针对几种特殊情况讨论正文串的最优分配顺序。实验结果表明，与平均分配正文串策略以及按照从处理机能力分配正文串策略相比，利用该策略进行近似串匹配并行处理所需时间分别缩短了10％～40％和5％～20％。

CPU-GPU系统中基于剖分的全局性能优化方法

针对将应用移植到CPU-GPU异构并行系统上时优化策略各自分散、没有一个全局的指导思想的问题,提出了一种基于剖分的全局性能优化方法.该方法由优化策略库、剖分工具库和策略配置模块组成.优化策略库将应用移植到异构并行系统上的性能优化过程划分为访存级、内核加速级和数据划分级3级优化;针对3级优化剖分工具库提供了3级剖分机制,通过运行时的剖分技术获取剖分信息;策略配置模块根据所获取的信息指导用户在每级优化中选择合适的优化策略.实验证明,基于剖分的全局性能优化方法可以明确地指导将应用移植到CPU-GPU异构并行系统上的全局优化过程,利用该优化方法后,以矩阵相乘和傅里叶变换为例的应用性能提升明显,最终性能相对于访存级优化最高可提高30%左右.

异构机群系统上并行计算双序列的最长公共子序列

针对处理机节点具有不同计算速度、不同通信能力的情况,考虑计算和通信启动开销,给定处理机分配顺序,基于可分负载理论,提出一种存储受限异构机群系统的序列串最优分配线性规划模型,给出相应的序列串最优分配方法。实验结果表明,基于最优序列串分配方法的双序列最长公共子序列并行算法优于平均分配序列串算法,获得了较好的加速,并具有良好的可扩展性。

大规模异构数据并行处理系统的设计、实现与实践

随着互联网和物联网应用的快速发展,数据处理模式从结构化逐渐扩展到结构化、半结构化和非结构化混合的异构数据处理模式。设计了一种大规模异构数据并行处理系统,在统一的平台功能视图基础上,采用统一的资源管理框架,实现对结构化、JSON/XML、图数据、文档数据等多种异构数据进行存储和查询,采用统一的开发语言,实现跨数据类型和数据存储引擎的并行计算,满足多业务应用开发的需要,并通过实际的商业部署,验证了系统的可行性。

校园网异构数据库系统中的一种并行查询策略

在设计新的校级MIS系统时,为了能充分利用原有的数据又不破坏这些系级MIS,我们在校园网上设计了一个异构数据库联合使用系统HDBUS。HDBUS是将分布在网络不同节点上的ORACLE,SYBASE数据库服务器及FoxPro台式数据库中的本地库(LocalDataBase)集成为一个全局库(Global DataBase)并提供全局事务管理和并行查询处理的异构分布式数据库系统。HDBUS选用PB(PoweBuilder)作为主要的开发工具,然而作为客户端工具,我们发现它不支持数据库服务器间的并行工作。

大规模异构并行系统高效能调度关键技术及应用

主要完成人：李肯立,唐卓,张大方,陈浩,李仁发,唐小勇主要完成单位：湖南大学项目团队立足于高性能计算国际研究前沿,发明了异构并行环境下的高效能随机任务调度方法,解决了时间和能耗等多目标限制下的任务分配问题;发明了一种将GPU虚拟化的方法vCUDA,为在GPU上提供通用高性能计算提供了可能;将并行随机调度方法扩展到云计算环境,发明了一种新型的云计算资源管理调度技术.在此基础上,他们设计实现了一个高效能随机并行任务调度器,在国内多家国家超级计算中心和主要超级计算机研制单位生产实践中成功应用,平均节电7%左右,取得了明显的社会效益和经济效益.

异构并行编程模型研究与进展

近年来,异构系统硬件飞速发展.为了解决相应的编程和执行效率问题,异构并行编程模型已被广泛使用和研究.从异构并行编程接口与编译/运行时支持系统两个角度总结了异构并行编程模型最新的研究成果,它们为异构架构和上层应用带来的技术挑战提供了相应的解决方案.最后,结合目前的研究现状以及异构系统的发展,提出了异构并行编程模型的未来方向.

异构多核图形处理器存储系统设计与实现

提出了异构多核图形处理器(HMGPU)存储管理系统的硬件实现方法,采用固定分区与分页式分区两种方式分别对大片连续数据与小片非连续数据进行管理,使用Verilog语言进行硬件设计和仿真,并在FPGA开发板上进行了验证。实验结果表明,该系统为HMGPU提供了2 021.2 MB/s的有效存储带宽。

异构机群系统上带返回信息的可分负载多轮调度算法

针对处理机具有不同的计算速度、通信能力的异构机群计算环境,以及实际应用中许多问题的求解在处理完任务后向中心处理机节点返回处理结果信息的情形,通过允许计算和通信操作重叠执行,采取FIFO调度策略和多次并行分配计算任务的方法,提出一种带返回结果信息的调度轮数可变的可分负载多轮调度算法.实验结果表明,该算法对于处理具有返回结果信息的应用的调度性能优于UMR可分负载多轮调度算法,并且可以获得近似最优的调度轮数.

并行工程中基于XML的分布式约束管理系统研究

约束在产品并行开发过程中起着十分重要的作用 ,约束管理系统的建立对于并行工程 (ConcurrentEngineering ,CE)的应用具有非常重要的意义。本文介绍了并行工程中基于XML(eXtensibleMarkupLanguage)的分布式约束管理系统的设计与实现 :该系统采用Browser/Server结构 ,使用XML作为约束信息的传递媒介 。