CPU-GPU异构计算环境下的并行T近邻谱聚类算法

谱聚类是数据挖掘领域最常用的聚类算法之一,但对于如何利用多核CPU与资源有限的众核加速器设计并实现一个在异构单节点上能够处理大规模数据集的高效谱聚类算法,目前尚无理想的解决方案.PSCH（parallel spectral clustering for hybrids）算法是专为CPU-GPU异构计算环境设计的并行T近邻（T-nearest-neighbors,TNN）谱聚类算法,通过分块计算相似性矩阵打破了GPU设备内存的限制,所能处理的数据集规模仅受限于CPU主存的容量.PSCH算法中使用CUDA设计实现双缓冲轮转4段流水机制,通过重叠计算与传输在打破存储瓶颈的同时保证了高计算性能.PSCH算法采用隐式重启动Lanczos方法（implicitly restarted Lanczos method,IRIM）在异构硬件上计算稀疏特征矩阵的特征分解,减轻了特征分解步骤的计算瓶颈.PSCH算法在配有一块GTX 480GPU的单节点上能够对百万以上规模的数据集进行聚类,并对实验中的4个数据集取得了相对于使用16进程的MPI并行谱聚类PSC算法2.0~4.5倍的性能.

一种基于CPU-GPU异构计算的混合编程模型

在分析基于CPU-GPU异构计算模式程序开发面临的主要挑战和当前解决途径的基础上,设计了一种适用于GPU集群环境的、综合利用MPI、OpenMP、CUDA以及OpenGL API开发技术的混合编程模型,重点分析了混合编程模型的两种编程方式的实现原理,搭建了相应的实验环境并进行了对比测试。实验结果表明,使用混合编程模型设计的程序具有良好的性能表现和扩展潜力。

CPU-GPU异构计算框架下的高性能用电负荷预测

随着电网的快速发展,用电信息采集系统的数据计算业务面临着巨大挑战。近年来,图形处理器(GPU)因其在浮点计算速度和存储带宽方面的优势成为高性能计算问题中的研究热点,也被成功应用在电力系统计算分析等科学计算领域。在基于人工智能方法的电力负荷预测问题中,以往大部分研究仅考虑了使用GPU加速预测模型的训练,而并未应用在数据集的获取和计算上。提出了一种基于中央处理器-图形处理器(CPU-GPU)异构计算框架下全流程加速的高性能用电负荷预测方案。首先结合统一计算架构(CUDA)和多线程技术实现了使用多台GPU完成用电负荷的并行预处理,随后在聚类分析后基于XGBoost算法完成了多台区负荷预测,并利用GPU加速了模型的训练计算。最后通过对深圳市43254个台区用电信息的实例分析,验证了所提方法的高效性与适用性。

基于负载均衡的CPU-GPU异构计算平台任务调度策略

针对中央处理单元-图形处理单元(central processing unit-graphics processing unit,CPU-GPU)异构计算系统中,CPU和GPU负载不均导致系统性能降低的问题,提出了一种基于队列的混合调度策略.该策略通过探测获得CPU和GPU处理指定任务的计算能力,将计算任务按照探测比例分配给CPU和GPU;将并行任务存入双向队列,以降低调度带来的额外开销.结果表明,使用该策略的基准测试程序系统性能平均提升了28.07%.总体而言,该调度策略能够缩短CPU与GPU完成各自计算任务后的等待时间,有效平衡系统CPU与GPU之间的负载,提升系统性能.

eMD:基于异构计算的大规模分子动力学模拟软件

【目的】异构计算已经成为高性能计算的重要组成部分,GPU异构计算可显著提速计算密集型的分子动力学模拟应用,本文介绍自研分子动力学模拟软件eMD的系统设计及其异构计算应用。【方法】首先介绍eMD软件的目标定位,包括应用功能和计算性能两方面;然后介绍软件概要设计,包括框架、模块和接口等组成部分;重点围绕面向异构计算的软件架构设计和移植优化技术进行阐述。【结果】eMD软件系统基于GPU异构计算可实现大规模体系模拟,同时提供特色的分子动力学模拟算法和模型。【结论】eMD将充分发挥GPU异构计算算力,以提升分子动力学模拟应用效率,助力分子建模理论方法的创新应用和分子科学问题的研究。

异构计算系统中能量感知利润最大化在线算法

异构计算系统中的任务调度仅以能耗优化为目标,往往会忽略最大完工时间带来的负面影响。此外,庞大的机器与任务数量为调度决策带来了极大的时间成本。以异构计算系统管理者单位时间收益最大化为目标,建立了考虑任务包的能量感知利润最大化问题模型,并为之设计了一种高效的在线算法。每到达一个用户,该在线算法能够通过系统当前状态构造多个线性方程组,并求得利润最大的解,即当前用户提交任务的分配策略。同时计算了该算法的运行时间复杂度为O(nm 4)。通过与另外两种常用算法进行对比,提出的在线算法能够在多项式时间内,得到目标值拟最优的调度方案。

基于国产异构计算平台的快速SVD算法及其在海洋资料同化的应用

【目的】资料同化已经在大气和海洋的数值预报中发挥重要作用,它可以利用不同来源的观测资料对初始场数据进行修正,从而提高数值预报的准确性,目的在于通过奇异值分解(SVD)算法的改进提高基于国产异构计算平台的资料同化计算效率。【方法】本文在大规模计算环境下并行策略及实现方法基础上,设计并实现了基于国产异构计算平台的CPU和类GPU卡协同批量SVD解算的实现流程和数据结构,并给出了实际性能提升测试数据,同时,完整地使用C/C++实现了资料同化程序。【结果】该算法充分利用国产异构计算平台CPU和计算卡的计算资源,实现了基于SVD的矩阵求逆的高效实现算法,从基础算法上显著提高了资料同化的计算效率。【结论】基于国产异构计算平台CPU和计算卡协同方式的奇异值分解的高效实现算法,其应用可以扩展到量子计算、人工智能、图像处理、信号降噪等领域的算法实现,具有广泛的应用价值,使用C/C++语言的资料同化应用软件,丰富了国产异构计算平台的应用生态。

任意起伏地形下重力异常三维正演及并行计算

为了进一步提高空间-波数域三维重力异常正演算法的适用范围和计算效率,本文采用任意傅里叶变换算法实现了空间-波数域三维重力异常正演,且在NVIDIA CUDA平台上进行CPU-GPU并行加速.任意傅里叶变换算法的基本思想是将二维傅里叶变换转化为两个一维傅里叶变换,一维傅里叶变换积分离散为多个单元积分累加和,离散单元中原函数采用二次插值形函数拟合,求出单元积分的解析表达式.相比现有的傅里叶变换算法,新方法具有采样灵活、积分精度高、计算速度快和傅里叶变换的截断效应小等优势.利用空间-波数域算法的高度并行性,采用CPU并行求解常微分方程,GPU并行计算任意傅里叶变换,实现了CPU-GPU并行加速方案,进一步提升了本文算法效率.利用常密度模型,对比数值解和解析解,结果表明本文算法正确;利用变密度模型对比了任意傅里叶变换算法与高斯快速傅里叶变换算法的计算效率与精度,在相近的数值精度下,本文算法波数选取少,效率高;测试CPU-GPU并行效果,结果表明相比CPU串行算法,CPU-GPU并行算法的计算效率大大提升,千万数量级节点数模型正演仅耗时数秒.最后利用实际地形数据进行三维重力异常场数值模拟,证明了新方法的高效性与实用性,对实现大规模复杂条件下重力异常精细化反演成像与综合解释有重要意义.

基于异构计算平台的背景噪声预处理并行算法

背景噪声地震学利用地震台站记录的背景噪声信号计算台站之间的互相关信息,以此推演地质结构信息,近年来广泛应用于地球结构和油气勘探等领域。地震噪声数据处理往往需要通过预处理计算来减少仪器、地震信号的干扰,这一过程需进行多种信号处理计算。随着我国地震台站布设的推广,地震波形文件持续积累,预处理计算的耗时大大增加。针对计算耗时问题,基于图形处理器异构计算平台,提出了一种并行地震噪声预处理算法。并行算法在台站、时间和分段3个维度设计了并行计算框架,针对预处理中的计算过程实现了计算核函数,并且通过分批计算实现了对大批量文件的自适应处理。实验结果表明,并行预处理算法取得了约95倍的加速比,且具备良好的并行性。

面向国产超算平台的通用能源管网仿真计算模型

为实现城市能源管网仿真软件的自主可控,基于国产异构高性能计算机“嵩山”超级计算平台,提出一种通用的城市能源管网仿真计算模型。通过优化管网中“非管”组件模型,提高了计算模型对国产异构并行计算机系统的适配性;将不同管网组件的计算过程进行封装,弱化了网络组件在仿真计算过程的依赖性,提升模型在工程实现上的可并行性。供水、燃气和热力三种场景的并行仿真实验,证明了计算模型在解决城市能源供给网络的仿真计算上具有一定的普适性;通过管网实测数据与仿真模型中模拟数据对比结果表明仿真管网压力的误差率在4%以下,其温度的误差率低于2%,同时也说明了提出的管网仿真计算模型在国产超算平台上具有良好的计算通用性。

GPU异构计算在深度学习训练加速中的应用

基于统一计算设备架构(Compute Unified Device Architecture,CUDA)框架实现的主流深度学习框架能够直接利用图形处理器(Graphics Processing Unit,GPU)的硬件优势,并通过集成优化库如CUDA深度神经网络加速库(CUDA Deep Neural Network library,cuDNN)对卷积、循环等不同类型层进行针对性加速。文章首先介绍GPU架构及CUDA框架的工作原理,概述主流深度学习框架的GPU支持,重点分析CNN卷积层、循环神经网络(Recurrent Neural Networks,RNN)循环层等在GPU上的具体实现与优化手段。

基于GPU的zk-SNARK中多标量乘法的并行计算方法

针对zk-SNARK(zero-knowledge succinct non-interactive argument of knowledge)中计算最为耗时的多标量乘法(multiscalar multiplication,MSM),提出了一种基于GPU的MSM并行计算方案。首先,对MSM进行细粒度任务分解,提升算法本身的计算并行性,以充分利用GPU的大规模并行计算能力。采用共享内存对同一窗口下的子MSM并行规约减少了数据传输开销。其次,提出了一种基于底层计算模块线程级任务负载搜索最佳标量窗口的窗口划分方法,以最小化MSM子任务的计算开销。最后,对标量形式转换所用数据存储结构进行优化,并通过数据重叠传输和通信时间隐藏,解决了大规模标量形式转换过程的时延问题。该MSM并行计算方法基于CUDA在NVIDIA GPU上进行了实现,并构建了完整的零知识证明异构计算系统。实验结果表明:所提出的方法相比目前业界最优的cuZK的MSM计算模块获得了1.38倍的加速比。基于所改进MSM的整体系统比业界流行的Bellman提升了186倍,同时比业界最优的异构版本Bellperson提升了1.96倍,验证了方法的有效性。

异构计算系统中弹性节能调度策略研究

目前,节能已成为异构计算系统中减少电量开销、提高系统可靠性和保护环境的重要研究内容.传统的节能调度策略侧重于研究如何节能而忽略了用户对任务完成时间的期望,使得任务执行效果受到较大影响.特别是当系统负载较重时,由于电压调节缺乏自适应性,导致在某些情况下(如应急服务)的任务执行效果不可容忍.文中提出一种弹性节能调度策略(Elastic Energy-Aware Scheduling,EEAS),用于动态调度异构计算系统中非周期、独立任务.EEAS策略根据系统负载情况在系统节能与用户期望之间进行权衡,即当系统负载较重时,EEAS优先考虑用户期望,通过动态调整计算节点局部队列中等待任务的执行电压提高任务完成率;当系统负载较轻时,EEAS在尽量满足用户期望的基础上最大限度地降低任务执行电压以实现节能.文中通过大量的模拟实验比较了EEAS、GEA、HVEA和LVEA的性能.实验结果表明,EEAS的调度质量优于其他策略,可有效提高系统弹性.

异构计算中的负载共享

在基于消息传递的异构并行计算系统中 ,各处理器或计算机具有自制和独立地调度、执行作业的能力 .当一个可划分的作业初始位于一个处理器上时 ,为了提高计算性能 ,该处理器可以请求其他异构处理器负载共享 ,参与协同计算 ,减少作业的完成时间 .该文提出了异构计算负载共享的一种方案 .首先 ,调用负载共享协议 ,收集当前各处理器参与负载共享的许可数据 ,包括共享时间段、计算能力等 .然后 ,构造一个作业量与作业完成时间之间的关系函数 .该函数是选择一组合适的处理器群、优化作业划分、作业完成时间最小的理论基础 .最后 ,给出了优化负载划分和调度的有效算法以及应用实验实例 .该算法在启动作业执行时刻方面具有一定的实时性 。

面向CPU+GPU异构计算的多目标测试用例优先排序

测试用例优先排序是一种基于整个测试用例集以寻找最优测试用例执行序列的软件回归测试技术.由于其能够尽早地发现错误,同时应用灵活度高、不会漏掉重要测试用例等,在实际软件测试过程中可以有效提高测试效率.多目标测试用例优化排序是寻找同时覆盖多个测试准则的用例执行序列,通常采用演化算法优化求解,但执行时间较长,严重影响了在实际软件测试中的应用.采用先进的GPU图形卡通用并行计算技术,提出了面向CPU+GPU异构计算下的多目标测试用例优先排序技术,在NSGA-II算法中,实现了基于序列编码的适应度函数计算和交叉操作的GPU并行计算,在近6万行有效代码的工业界开源程序上实现了30倍的计算效率提升.同时,实验验证了不同并行策略的计算加速比,提出了切实可行的CPU+GPU异构计算模式,并提供了相应的原形工具.

面向异构计算的高性能计算算法与软件

研发适应国产异构计算环境的高性能计算算法与软件是非常重要的课题,对我国高性能计算软件研发匹配高性能计算硬件高水平发展的速度具有重要意义.首先,简要介绍高性能计算应用软件的现状、趋势和面临挑战,并对几类典型高性能计算应用软件开展并行计算算法特征分析,涵盖了宇宙N体模拟、地球系统模式、计算材料相场动力学、分子动力学、量子计算化学和格点量子色力学等多个问题、尺度和领域.其次,讨论了面向国产异构计算系统的对策,提炼出若干典型应用算法和软件的共性问题,涉及核心算法、算法发展、优化策略等.最后,面向异构计算体系结构,对高性能计算算法与软件进行了总结.

计算任务与体系结构匹配的异构计算可扩展性分析

扩展性是衡量高性能并行系统的一个关键要素,而扩展性的研究主要集中在同构的高性能系统上,异构系统研究的文献很少.本文以异构系统为研究对象,根据实际应用任务,将计算任务分为三类:单任务模型、元任务池模型和fork-join任务队列模型,并给出这三类计算任务的定义.提出描述基于计算任务和体系结构相匹配的异构计算系统匹配矩阵,给出异构计算的可扩展性定义.针对上述三种计算任务模型以及异构匹配给出异构系统的可扩展性条件,为异构系统的可扩展性提供了理论依据.用实例分析证实了这种方法的有效性.

异构计算系统任务调度的遗传算法及改进

提出一种新的染色体编码方法——逆排序消出结点法RSEEN,确保染色体对应的任务分配调度为合理调度,不必在遗传操作过程中不断地验证和调整基因以保证染色体的有效性,简化了遗传操作,使优良基因更易保全并传递给后代,种群的进化过程更接近自然的进化法则。另外,还采用了启发式变异方法,加速了算法的收敛性。同时,构造本算法是以异构计算系统模型为基础的,充分考虑了任务间数据交换的开销和处理机间的差异,算法的应用更有普遍意义。

异构计算系统的任务调度算法SMT-GA

给出一种对异构计算系统（ＨＣＳ）进行任务映射与调度的遗传算法——ＳＭＴ－ＧＡ算法．首先对ＨＣＳ任务调度问题作出形式描述，然后分别介绍ＳＭＴ－ＧＡ算法的总体框架，染色体设计，从染色体获取调度方案的方法，染色体适合度函数设计，交叉与变异遗传操作算子设计等．最后给出算法实现情况及实验结果分析与结论等．

面向条件受限环境的动态可重构异构计算平台

在体积、功耗等条件和资源受限的场景下,承载异构计算资源的嵌入式计算设备之间如何实现异构资源的接入和自适应协同管理,进一步联合形成具有足够规模“算力”的智能空间“云”计算平台,是实现平台“算力”的跨越提升、实现更多功能、更优性能和更高智慧应用的关键.本文提出了一种任务驱动的嵌入式可重构异构计算平台,通过集群构建的方式,对多个分布式的、承载各种不同异构计算资源的嵌入式计算板卡统一调度管理;利用容器化技术,构建任务驱动的、可重构的任务执行的虚拟计算环境;开发了基于B/S模式的平台可视化用户界面,实现了用户对平台的随遇接入和全网资源可见.本文提出的嵌入式计算平台能够提供高可用的任务接入、任务下发与任务执行;实现了异构计算资源的自组织协同和统一化管理;基于容器化的任务执行方式细化了资源管理粒度,在不损失计算能力的前提下提高了资源利用率和任务并发度.本文提出的嵌入式动态可重构计算平台解决方案是对未来嵌入式“云”计算平台架构研究设计的有益探索.