自适应任务迁移分布计算研究

基于我国新一代国防领域信息处理系统要求处理速度快、I/O吞吐量大,可靠性高、负载均衡、良好的可扩展性需求,提出了自适应任务迁移分布计算算法思想,并对其实现提出了详细的设计思想。

面向空间分布式计算的动态任务分解及长时保障机制

低轨卫星具有覆盖范围广、离地面近等优势,随着在轨处理能力的不断增强,未来将成为地面网络的重要补充。然而,随着用户对网络服务实时性的需求日益增长,如何在资源有限的条件下,基于低轨卫星为用户提供计算密集型服务,已成为一个急需解决的问题。尤其是在低轨卫星高速移动、星间链路动态切换的情况下,如何保证空间计算能力能持续稳定地驻留在用户区域并提供稳定可靠的服务,无疑是一项巨大的挑战。为了解决上述问题,提出一种动态任务分解聚合的分布式计算策略,通过卫星分布式计算解决单星算力不足的问题。在进行任务分解与调度时,充分考虑卫星网络的资源占用情况以及子任务之间的关联关系,对任务进行灵活的分解聚合。此外,为将低轨卫星算力驻留在用户区域,解决低轨卫星服务周期短的问题,研究并设计了一种长时保障机制。根据实时卫星网络拓扑及任务分解调度图,结合任务间的关联关系进行迁移决策,对卫星迁移过程进行模块化设计,根据实时网络状况调整迁移过程中的数据压缩率以及服务切换方式,降低迁移过程中服务的中断时间。仿真实验结果表明,提出的策略可保障长时分布式计算,能提供服务的平均时长延长了110%,用户满意度提高了约20%,迁移开销以及任务间的传输开销均降低了约15%。

基于任务的自适应分布计算研究

基于我国新一代国防领域信息处理系统要求处理速度快、I/O吞吐量大、可靠性高、良好的可扩展性需求,文章提出了基于任务的自适应分布计算算法思想,并对其实现提出了详细的设计思想。

分布式云计算资源组织和任务分配策略

提出了一种分布式的云计算系统资源组织与任务分配策略,该策略将云计算的资源划分为很多自治的簇,通过簇首选举算法选出相应的簇首,簇首对簇内的资源进行一定的管理;另外,该策略还可以对簇进行动态的调整,根据簇的大小实现簇的自发分割和合并;仿真表明,任务迁移可以使工作节点数目约降为原先的一半,因此能够有效地减少主机使用个数;该方法在簇管理方面提供了完全分布式的解决方案,提高了资源管理的灵活性和可扩展性,从而为大规模、大范围的云计算的应用提供了保证。

局域同构分布式系统的自适应任务分配算法

本文为局域同构分布式系统设计—个自适应任务分配算法。它使用阈值和阈长两个参量把节点划分成接受者、负载适中者和发送者三种类型，并根据节点的类型分布和任务等待情况等自适应地进行阈值修改。它采用发送者和接受者都能启动的对称启动机制，并通过系统总负载和任务总等待量的估计来自适应地控制启动行为的实施。它依靠分散式的状态估计和收集方法使得每个节点都可以进行任务分配工作。它力求在负载均衡、任务平均等待时间以及系统效率上实现综合优化。

基于自适应知识迁移与资源分配的多任务协同优化算法

多任务优化算法在各任务单独优化的同时进行任务间的知识迁移,从而提升多个任务的综合性能。然而,在相似度较低的任务间进行负向知识迁移反而会导致整体性能下降,且为难度不同的任务分配同等的计算资源会造成资源浪费。此外,在任务的不同阶段采用固定的搜索步长容易陷入局部最优。为解决上述问题,提出了一种基于自适应知识迁移与动态资源分配的多任务协同优化(Multitask Cooperative Optimization Algorithm Based on Adaptive Knowledge Transfer and Resource Allocation,AMTO)算法。首先,每个任务用一个单独的种群进行优化,并将一个种群分成3个子种群,采用3种不同的搜索策略,增加搜索行为的多样性,并且在单个任务内根据个体成功率来动态更新搜索步长,增强自适应搜索能力,避免陷入局部最优;其次,利用多个任务间知识迁移的反馈结果在线计算任务间相似度,并依据相似度自适应地调整迁移概率,同时,在相似度较低的任务间进行迁移时还需减去任务偏差,减小负向知识迁移造成的性能下降程度,提升算法对任务间差异的感知能力;然后,通过评估任务性能的提升度来估计任务难度与优化状态,对不同难度与状态的任务动态按需分配资源,最大限度地提升资源的利用率,减少资源浪费;最后,在简单与复杂两类多任务优化函数上,将本文算法与经典的多任务算法进行对比实验,验证了本文算法中自适应迁移策略、动态资源分配策略及其综合的有效性。

基于自适应与主动消息的任务调度策略研究与实现

在并行分布计算中，任务调度策略是影响并行分布计算性能的重要因素。结合现有任务调度算法存在的问题，运用有效聚合与充分释放的思想，提出并实现了一种具有自适应和主动消息的任务调度策略，有效地提高了系统的整体性能。

局域网环境下的分布式任务调度

介绍了分布式系统的硬、软件结构，对分布式任务调度算法进行了较为详细的讨论，并提出了一种有效的启发式调度算法。

基于PVM的自适应任务调度策略的消息处理

采用自适应的任务调度策略,通过由计算主机收集各自的负载信息并主动适时发给调度主机,减轻了调度主机的负载,改善了调度主机的调度性能。本文基于PVM并行程序开发环境,介绍了任务调度策略实现过程中消息的处理方法。

一种基于Web Service的异构分布式计算模型

提出了一种基于Web Service的异构分布式计算模型,希望通过利用Web Service这一新技术给异构分布式计算带来一种新思路。通过应用这种模型,能够使用网络中的资源而不必关心网络环境。我们确信因为这种模型带来的一些特点,必将使其日后得到广泛的应用。

面向机器学习的分布式并行计算关键技术及应用

当前机器学习等算法的计算、迭代过程日趋复杂,充足的算力是保障人工智能应用落地效果的关键。本文首先提出一种适应倾斜数据的分布式异构环境下的任务时空调度算法,有效提升机器学习模型训练等任务的平均效率;其次,提出分布式异构环境下高效的资源管理系统与节能调度算法,实现分布式异构环境下基于动态预测的跨域计算资源迁移及电压/频率的动态调节,节省了系统的整体能耗;然后构建了适应于机器学习/深度学习算法迭代的分布式异构优化环境,提出了面向机器学习/图迭代算法的分布式并行优化基本方法。最后,本文研发了面向领域应用的智能分析系统,并在制造、交通、教育、医疗等领域推广应用,解决了在高效数据采集、存储、清洗、融合与智能分析等过程中普遍存在的性能瓶颈问题。

分布式系统中动态负载均衡实现模型

随着计算机技术的发展 ,分布式系统日益受到人们的重视因而被普遍应用 ,但由于任务提出和执行的随机性 ,各台机器上负载不均衡现象时有发生 ,所以负载均衡是提高分布式系统效率的重要因素 ,但目前的研究都集中在策略的提出上 ,对实现模型的研究比较少 .作者在综合许多负载均衡策略的基础上按照性能递增的顺序 ,结合网络拓扑结构构建了链式模型、网状模型和链网模型 ,对其进行了系统的研究 ,对几种模型给出了各自相应的算法 ,并进行了评价 ,指出了这几种模型各自的优缺点及适用范围 .研究结果表明 :链网模型在动态负载均衡实现方面具有良好的有效性、稳定性、可靠性、通用性 ,对用户具有透明性 ,是一种性能优越的动态负载均衡模型 .

不确定环境下含云计算数据中心的电网韧性增强调度

为解决飓风来临前路径不确定时输电线路随机故障等带来的难题,提出了适用于含云计算数据中心的电网韧性增强日前调度策略,并将其构建为两阶段风险规避的分布鲁棒优化问题。以飓风对输电线路的时空影响为出发点,采用蒙特卡洛模拟获得飓风路径不确定时线路的离散故障集合,并构建基于L1距离度量的分布鲁棒模糊集合。然后,在日前调度中,对机组和数据中心进行优化以平衡经济性和电网韧性,并采用追索问题量化其对日间调度的影响,形成两阶段优化问题。随后,对优化问题进行确定性转换与解耦求解。最后,以含4个数据中心的IEEE-RTS系统为测试算例,验证了所提韧性增强策略应对模糊不确定性的有效性。

分布共享环境下支持弹性伸缩的图处理框架

作为大数据处理的一种重要模式,图处理被广泛地应用在机器学习、数据统计和数据挖掘等场景中。在企业级应用中,多种类型的大数据处理框架通常会部署在同一个分布式集群中,其运行环境是开放、共享的,这时图处理需要考虑运算资源动态变化的问题。为了能适应这种动态性,更加充分地利用开放共享环境的资源,图处理框架应该具备弹性伸缩能力。通过调研,发现现有的图处理框架尚未完全实现弹性伸缩。为此,介绍了一种支持弹性伸缩的分布式并行图处理框架SPar Ta G。首先基于任务并行模型定义了图处理任务集及任务模型;其次基于任务迁移机制设计并实现了可动态伸缩的图处理框架;最后设计了一个基于负载均衡的调度算法,实现了动态伸缩的图处理过程。实验结果说明,SPar Ta G的性能与当前流行的开源图处理框架Giraph相近,且具有较好的弹性伸缩能力。