离散时间的完全服务并行优化轮询排队系统特性分析

轮询是一种依次有序服务的系统资源动态调度机制.针对服务器在站点间查询、服务和转移过程中的流水线作业方式导致了系统整体服务效率较低的问题,本文提出了完全服务的并行优化轮询系统.首先,构建了系统的单服务器多队列排队模型和相应的系统状态方程,并精确解析出系统特性参数的完整数学解析表达式.此外,还提出了一种系统状态稳定性的判定方法,对不同负载状态下的系统稳定性进行了定量分析.计算机仿真的统计分析结果与理论计算值相一致.最后,系统性能分析表明,在保持周期性、无冲突服务的基础上,系统的队长、时延特性和稳定状态下负载能力均得到了较大的提高.

基于Lp范数的非负矩阵分解并行优化算法

非负矩阵分解算法可以从高维数据中提取出低维和稀疏的有用信息,是处理图像聚类、数据压缩和特征提取等问题的重要手段。传统非负矩阵分解算法大多采用欧几里得距离来度量重构误差,尽管其在许多任务中已经显示出有效性,但在解决实际应用问题时仍面临着聚类效果欠佳、收敛速度慢、稳定性较差等问题。为解决这些问题,文中采用Lp范数作为非负矩阵分解的损失函数,通过调节系数p来获得更好的聚类结果。基于协同优化理论和Majorization-Minimization算法,使用粒子群优化算法来并行求解基于Lp范数的非负矩阵分解问题,并在多个真实数据集上验证了所提方法的可行性和有效性。实验结果表明所提算法明显提升了程序的执行效率且一系列评价指标均优于传统非负矩阵分解算法。

多核数字信号处理卷积算法并行优化

针对国防科技大学自主研发的异构多核数字信号处理(digital signal processing, DSP)芯片的特征以及卷积算法自身特点,提出了一种面向多核DSP架构的高性能多核并行卷积实现方案。针对1×1卷积提出了特征图级多核并行方案;针对卷积核大于1的卷积提出了窗口级多核并行优化设计,同时提出了逐元素向量化计算的核内并行优化实现。实验结果表明,所提并行优化方法实现单核计算效率最高能达到64.95%,在带宽受限情况下,多核并行扩展效率可达到48.36%~88.52%,在典型网络ResNet50上的执行性能与E5-2640 CPU相比,获得了5.39倍性能加速。

基于OpenMP的航迹融合并行优化方法

针对组网雷达中分布式数据融合计算量随数据量增大急剧增加的问题及航迹融合中最耗时的航迹关联环节,提出一种基于OpenMP的多线程优化方法。通过OpenMP并行计算雷达航迹间的关联距离,提升内部算法运算速度,并将数据接收、融合处理和结果输出过程进行多线程处理,进一步加快外部数据交互速度,提升融合处理整体时间性能。以大容量目标场景为测试用例,评估处理时间和优化加速比。仿真结果表明,所提并行优化方法能够有效提升运算速度。

电动缸举升机构伺服性能的亚全局并行优化设计

针对电动缸举升伺服机构的非线性环节对武器站伺服性能的影响,基于应用背景开展了伺服性能优化方法的研究。针对可设计非线性环节中的增益波动、间隙宽度、不平衡力矩和摩擦力矩进行了作用机理分析;基于机构布局和控制器参数建立了运动学、动力学和控制策略的数学模型、设计约束和目标优化函数;提出了亚全局并行优化方法,对可设计非线性环节进行了基于内点法的多目标优化,解决了局部串行优化的局部最优问题;对基于PI控制器+DOB观测器的复合控制策略进行了单独设计,解决了机械惯量参数、控制器参数和观测器名义模型不匹配的问题。经验证,亚全局并行优化方法的优化结果在整体上更佳,且更加贴合工程实际。

基于容器化的快速射电暴搜寻GPU并行优化

【应用背景】快速射电暴(Fast Radio Burst,FRB)搜寻是500米口径球面射电望远镜(FAST)的重要科学目标之一,其计算复杂度高,数据量大,当前算法GPU利用率偏低,数据处理需较多的人工介入操作。【目的】在不修改算法实现的前提下,实现进程级GPU并行优化,提高GPU整体资源利用率,简化算法运行调度,支持利用自动化脚本驱动计算过程。【方法】利用容器化封装FRB搜寻算法,结合GPU聚合技术实现多个FRB搜寻计算容器的多进程并行,支持GPU闲时复用。通过容器化封装屏蔽了GPU调用、依赖库管理等技术细节,减少人工介入操作。【结果】算法实验结果表明,在不修改原始算法、不增加GPU资源的前提下,将单GPU绑定6个计算进程,并行优化可实现FRB搜寻算法的加速比达到5.3,并行效率达到0.88,取得良好的并行效果。【结论】基于容器化封装及进程级GPU聚合的并行优化,可实现GPU利用率及计算效率的提升,有效支持自动化处理。该方法还具有良好的通用性,可适用于类似应用的并行优化。

深度神经网络模型任务切分及并行优化方法

为解决传统手工切分神经网络模型计算任务并行化方法面临的并行化难度大、训练耗时长、设备利用率低等问题,提出了一种基于深度神经网络(DNN)模型特性感知的任务切分及并行优化方法。结合硬件计算环境,对模型计算特性进行动态分析,获取模型内部相关性和各类参数属性,构建原始计算任务有向无环图(DAG);利用增强反链,构建DAG节点间可分区聚类的拓扑关系,将原始DAG转换为易于切分的反链DAG;通过拓扑排序生成反链DAG状态序列,并使用动态规划将状态序列切分为不同执行阶段,分析最佳分割点进行模型切分,实现模型分区与各GPU间动态匹配;对批量进行微处理,通过引入流水线并行实现多迭代密集训练,提高GPU利用率,减少训练耗时。实验结果表明:与已有模型切分方法相比,在CIFAR-10数据集上,所提模型切分及并行优化方法可实现各GPU间训练任务负载均衡,在保证模型训练精度的同时,4 GPU加速比达到3.4,8 GPU加速比为3.76。

神威·太湖之光平台上宇宙N体模拟中FMM的并行优化

宇宙学模拟是典型的N体问题,是高性能计算中具有代表性和挑战性的问题之一。本研究在神威·太湖之光平台上对天文N体模拟软件PhotoNs-2中的计算主体——快速多极子方法(fast multipole method,FMM)进行移植和性能优化。针对目前研究中存在的计算效率不高、通信开销大问题,结合神威·太湖之光SW26010处理器架构特点,通过数据重整、超越函数计算重构、设计双缓冲和消息传递接口通信时合并发送树进行优化。相较于优化前,优化后的PhotoNs-2在3个不同算例规模下均取得约24倍的加速效果。提出的优化方案可以为其他高性能应用在神威·太湖之光平台上的移植与优化提供参考。

面向非易失性内存的高性能计算并行优化研究

针对非易失性内存在高性能计算运行过程中存在的内存分配不均匀问题,研究非易失性内存的高性能计算并行优化方法。结合新型高速网络RDMA和非易失性存储设备,提出分布式非易失性内存新型存储结构,加入一致性模块和本地非易失性内存管理模块,同时加强本地非易失性内存的管理;通过SPL框架进行分布式并行计算,经过数据预加载后,使用分布式独立内存分配算法优化多任务多线程的并行计算过程。实验结果表明:该方法能够使非易失性内存的数据保持一致,增强读写性能,提升工作效率;对于并行多线程任务的内存分配具有更好的扩展性,增强系统并行运算能力,同时适用性广泛。

基于高性能计算机的并行优化技术科普探析

针对高性能计算机上核反应堆大规模并行计算程序的不稳定运行和内存空间报错等并行运行问题,以核反应堆蒙特卡罗分析程序为例从高性能计算机的系统参数配置、高速网络系统和并行文件系统等方面进行了并行优化研究。选取蒙特卡罗分析程序例题进行测试验证,可实现其大规模并行计算,且符合并行计算规律,所提并行优化方案能有效解决高性能计算机上大规模计算程序并行运行问题。

等强度梁理论下的多截面独立并行优化研究

等强度梁的优化设计方法是汽车轻量化和性能设计的关键技术之一,开发等强度梁的多截面独立并行优化算法对底盘零部件的高效轻量化设计具有重要意义。基于Abaqus软件二次开发平台,将理论模型与有限元仿真相结合,开发了新型等强度梁多截面独立并行优化算法,该算法在理论上对梁各个截面进行满应力优化设计,并通过有限元仿真对理论力学模型进行连续迭代修正构建等强度梁结构。将开发的多截面独立并行优化算法应用于车桥桥壳的轻量化设计中,结果显示:桥壳降重10.41%,最大应力降低10.64%。随后借助该算法对含多变量的截面形状进行了优化研究,证明了所建多截面独立并行优化算法具有较好的鲁棒性和稳定性,可应用于任意截面形状的等强度梁优化研究。

大规模海洋数据同化的并行优化

海洋数据同化是一种同时利用海洋观测资料和海洋数值模式对海洋数据进行修正的有效方法,经过处理的海洋数据更加接近海洋的真实情况.在高分辨率下,基于中国科学院大气物理研究所(Institute of Atmospheric Physics,Chinese Academy of Sciences,IAP)和大气科学和地球流体力学数值模拟国家重点实验室(State Key Laboratory Modelling for Atmospheric Sciences and Geophysical Fluid Dynamics,LASG)发展的LASG/IAP气候系统海洋模式(LASG/IAP climate ocean model,LICOM)的同化并行程序往往涉及大量的文件读取、通信和计算,以往的研究虽然对这些方面进行了优化,但是由于优化只是停留在上层算法层面,没有考虑底层的文件系统以及超算集群的架构,因此优化的效果不太明显.针对以往研究存在的问题,进一步将海洋数据同化的数据特性、计算特性与所使用的超算平台的架构特性相结合,在此基础上结合时间局部性和空间局部性,提出了基于计算拓扑图的负载均衡策略、基于Lustre文件存储架构和超算集群特性的并行优化策略,以及计算、读取通信、写回3层重叠策略.最后,使用高分辨率数据集,在天河2号超算集群上对所提算法进行了测试.相比于现有算法,所提的算法在4 000核下对总体同化性能上提升了18倍.另外,还在曙光7 000超算集群上开展了测试.在4 000块DCU加速卡上,相比于已有算法,所提算法提升总体计算性能8倍左右.

面向图片识别的深度学习模型并行优化方法

针对机器学习中的图片识别问题,结合已有的图片识别方法,在集群并行系统上对图片识别的并行优化方法进行研究。通过引入参数服务器机制,对分布式随机梯度下降算法中的参数更新机制进行了改进。一方面对Worker节点计算出的梯度进行稀疏化处理,以减少Worker节点和参数服务器节点之间的通信量;另一方面将参数服务器节点向Worker节点发送更新后的模型参数转换为参数服务器节点向Worker节点发送累积的梯度,然后对累积的梯度进行稀疏化处理,以进一步减少Worker节点和参数服务器节点之间的通信量。此外,为了解决由于稀疏化而引起的训练精度损失问题,引入了一种应对动量损失的动量修正方法,以提升图片识别模型的精度。实验结果表明,与基本的异步随机梯度下降算法ASGD相比,本文并行优化方法在3种不同的压缩率下,对深度学习图片识别模型的训练速度平均可提高2.95倍,测试准确率平均提高了4.6%。

冷连轧轧制力深度神经网络模型泛化能力并行优化

为了更好调控冷连轧板厚参数,设计了一种冷连轧轧制力深度神经网络模型,增强了冷连轧模型的控制效果。选择2030冷连轧结构进行研究,对多输入多输出(MIMO)深度神经网络(DNN)进行预处理,针对多线程CPU与GPU实施了优化,对比了神经网络模型和冷连轧系统Siemens模型误差。研究结果表明:L-M算法表现出了更优的收敛稳定性、测试和验证性能、梯度下降趋势,并且收敛速度也更快。以随机方式选择200个数据并测定泛化性能测试得到,L-M算法获得了比SCG算法更大的相关系数。都是随着隐含层数的增加,获得了性能更优的神经网络模型,并且都会增加训练时间。从各项模型指标分析,L-M算法都比SCG算法的性能更优。构建神经网络轧制力模型总共包含二个隐含层、节点数介于17~30、通过L-M算法进行训练。采用神经网络轧制力模型得到的结果与实测值之间的误差比Siemens机理模型和测试值的误差更低。

基于并行优化算法的独立和并网DC-MGs运行优化研究

为了提高直流微电网的可持续性和运行效率,电网的运行方式需要进行优化才能最大程度地利用可再生能源。为了实现这一目标,构建了一个考虑多种关键因素的数学模型,以确定最佳的发电操作策略。首先,基于元启发式算法,采用并行方式得到并行粒子群优化(PPSO)、并行旋涡搜索算法(PVSA)和并行蚁狮优化器(PALO)等优化策略。之后,应用基于逐次逼近的每小时潮流法(HPFSA)迭代过程以评估目标函数和约束条件的性能。基于以上解决方案,在独立网络与并网网络中进行了大量模拟实验。实验结果表明,PVSA在独立运行的直流微电网中表现出色,而PALO方法在并网连接的直流微电网中取得结果最佳。同时,在两种不同的测试系统中,优化算法显著改善了两个微电网的技术、经济和环境条件。因此,对于实现可持续、高效的微电网运营方式具有重要意义。

基于GPU的并行优化技术

针对标准并行算法难以在图形处理器(GPU)上高效运行的问题,以累加和算法为例,基于Nvidia公司统一计算设备架构(CUDA)GPU介绍了指令优化、共享缓存冲突避免、解循环优化和线程过载优化四种优化方法。实验结果表明,并行优化能有效提高算法在GPU上的执行效率,优化后累加和算法的运算速度相比标准并行算法提高了约34倍,相比CPU串行实现提高了约70倍。

基于免疫机理的多峰值函数并行优化算法

多峰值函数的极值问题一直是优化领域中的一个难点和热点。传统搜索方法和遗传算法很难同时搜索出多个极值。基于生发中心中免疫细胞亲和度成熟的机理,本文提出了一种并行优化算法,目的是找出多峰值函数的多个最优解或最优解和尽可能多的局部优化解。算法的主要步骤有超变异、选择、记忆和相似性抑制。用不同的多峰值函数进行了仿真实验,并和相关算法进行了比较,结果表明所提出的算法具有良好的搜索性能。

基于多领域仿真的SQP并行优化算法

研究多领域仿真优化中SQP算法的并行处理与调度策略,提出了基于多领域仿真的SQP并行优化问题中的抽象调度模型即等式约束离散变量优化模型,对算法理论的可行性做了深入探讨;采用机群系统构建了并行仿真优化环境,在自主研发的多领域统一建模与仿真平台MWorks下实现了并行优化模块。以F14战机简易模型的控制参数优化为例,验证了该方法的有效性。

基于Matlab的分布式并行优化计算环境

在对并行计算环境进行深入讨论的基础上,提出了基于Matlab的分布式并行优化计算环境的层次结构,并设计了初始化函数、发送接收任务函数、进行任务函数和回送并综合结果函数四大类的基本并行函数,这些函数都具有大粒度的特点。利用这些基础函数,实现了并行SQP。从伪代码的分析中表明,利用四类基本函数实现分布式并行计算是简单而有效的。

基于循环神经网络的汉语语言模型并行优化算法

计算复杂度高导致循环神经网络语言模型训练效率很低,是影响实际应用的一个瓶颈.针对这个问题,提出一种基于批处理(mini-batch)的并行优化训练算法.该算法利用GPU的强大计算能力来提高网络训练时的矩阵及向量运算速度,优化后的网络能同时并行处理多个数据流即训练多个句子样本,加速训练过程.实验表明,优化算法有效提升了RNN语言模型训练速率,且模型性能下降极少,并在实际汉语语音识别系统中得到了验证.