共享的MapReduce环境下批量作业的调度算法研究

MapReduce作为当前最热门的并行数据处理系统之一,已经被广泛应用在生产、研究等多个领域中.任务调度策略作为MapReduce的核心技术之一,直接关系到系统的性能.但是,在多用户(部门)共享的MapReduce环境下处理批量作业时,已有的调度算法不能够保证系统良好的吞吐能力.针对此问题,一种在共享的MapReduce环境下的吞吐量驱动的任务调度算法(简称TD调度算法)被提出.首先结合共享的MapReduce环境下批量作业调度的特点,给出了调度框架,并根据处理过程中作业的参数变化,将作业归为4种状态并给出状态间的转换规则,避免了系统中资源浪费并保证了资源分配的公平性;其次,总结了在处理批量作业时提高吞吐量的主要手段,进而提出了TD调度算法,有效地降低了网络开销并显著的提高了系统的吞吐能力.最后通过大量的实验对TD调度算法的性能进行了验证.实验结果表明,TD调度算法能够有效地提高在共享的MapReduce环境下处理批量作业时系统的吞吐能力,符合实际应用的需求.

基于多约束投标策略的改进合同网算法

针对无人机使用传统合同网算法进行任务分配存在的投标个数多、网络吞吐量不均衡、工作负载高等问题,提出一种改进合同网算法任务分配模型。首先对无人机任务分配的空间环境进行建模,在传统合同网算法的投标阶段,结合一种基于无人机能力评估方法的投标策略,该策略建立了基于代价函数和收益函数的任务效能函数。通过多次仿真,对历史任务效能、本次招标的任务效能、工作负载和网络吞吐量4个指标依次进行分析和评估,仿真结果验证了改进合同网算法的有效性。

云平台下多终端自适应负载均衡算法仿真

针对当前方法在实现过程中由于云平台下终端设备较多导致网络资源负载不均衡,吞吐量较小、稳定性较差等问题,提出一种基于模糊循环迭代控制的多终端自适应负载均衡算法,通过构建多终端资源负载时间模型,对终端资源节点所完成终端任务的总时间进行计算,得到云平台下多终端资源负载均衡的目标函数;建立资源权重分配机制,控制多终端输出和输入之间的空间模糊距离,当正态分布概率迭代计算结果最小时,实现了多终端自适应负载均衡。仿真验证,采用方法能够提高平均吞吐量、降低平均延时、提高资源任务分配率和资源利用率,保证多终端自适应负载均衡的稳定性和灵活性。

温度约束多核处理器最大稳态吞吐量分析

随着多核处理器功耗密度的不断增大,温度约束条件下的性能分析已经成为多核处理器早期设计优化的重要组成部分.当处理器运行不同的任务时,处理器温度具有很大的差异性,但现有研究成果并没有考虑任务差异性对处理器性能的影响.针对采用动态频率电压调节作为温度管理技术的多核处理器,为了提高在温度约束条件下稳态吞吐量的分析准确性,考虑不同任务之间的差异性,提出一种新的最大吞吐量分析方法.将任务特征引入性能分析模型,论证了当多核处理器吞吐量达到最大值时各处理器核上任务特征之间的关系,将最大稳态吞吐量分析归结为线性规划问题.仿真实验结果表明,所提方法具有较好的分析准确性,任务特征对多核处理器最大吞吐量具有非常大的影响.

网格中数据并行流水线的任务指派优化

为了缩短网格中数据并行流水线在吞吐率受限下的延迟,提出了一种优化任务指派的算法.在一个流水线中,每个任务都可以是一个数据并行程序.当多个任务被指派到同一个并行系统时,假设每个任务排他地使用一组处理机.根据优化目的,优化过程可分成连续的两个阶段,即提高吞吐率和缩短吞吐率受限下的延迟.对不同的优化阶段,用不同的启发式算法确定一个并行系统中每个任务的处理机数.改派任一任务都会使流水线的性能发生变化,性能提高的幅度被称为任务优先级.通过重复改派优先级最高的任务,流水线的性能可迅速提高,这在仿真实验中已得到了证实.

多核系统的多应用任务映射方法研究

在多核处理器系统中,多个计算任务映射到多核处理器内核的方式对于系统吞吐率至关重要。针对此问题提出一种新的多应用任务到多核的映射算法,该算法在应用到来之前预测应用的相关性能,并采用分支限界法提前为未来应用预留合适的内核几何位置。当应用真正到来时,根据预留的区域完成映射。实验结果表明,该算法相比其他传统算法,在多任务通信量的减少和多核系统的吞吐率等方面都收到了良好效果。

基于滚动优化的密码云实时任务阈值调度方法

针对当前云任务调度算法在密码云环境中无法实现任务实时处理的问题,提出一种基于滚动优化窗口的实时阈值调度方法。首先,将密钥调用环节融入密码任务流程中,提出一种密码云服务架构;其次,为实现任务的实时调度,构建基于滚动窗口的密码任务调度器模型和吞吐量分析模型,用于获得实时的吞吐量数据;最后,为满足云租户对高速密码服务的客观需求,提出吞吐量阈值调度算法,从而根据实时吞吐量相对于吞吐量阈值的变化情况实时迁移虚拟密码机。仿真结果表明,该方法与未采用滚动优化窗口或虚拟机迁移技术的方法相比,具有任务完成时间短、CPU占用率低的特点,且实时吞吐量能够持续保持在网络带宽的70%~85%,从而验证了其在密码云环境中的有效性和实时性。

异构网络链路传输控制系统设计

针对传统传输控制系统存在网络吞吐量低、往返时延高等问题,提出并设计了基于数据快速活肤的异构网络链路传输控制系统。根据异构网络特点设计模块总体框图,并对初始化模块、任务调度模块、数据传输模块、图像传输模块展开分析。在传统拥塞避免算法基础上,对快速恢复算法进行优化,由此完成传输控制系统的设计。实验结果证明,该系统设计可大大提高网络平均吞吐量,降低往返时延值,改善了网络传输控制性能。

遥感卫星数据预处理系统复杂任务调度模型研究与实现

针对遥感卫星数据预处理系统同时对多卫星数据处理任务进行调度时,因资源分配不合理,导致计算资源浪费、系统吞吐量低、无法满足卫星数据时效性要求的问题,提出了一种基于预处理任务性能及预处理系统工作流特性的调度模型。该模型通过研究预处理任务算法的一般特征,对不同资源分配情况下的任务执行时间进行预估,并根据预处理任务工作流对卫星数据产品所需总时间进行预估;在此基础上,采用基于任务时效性和系统资源利用率的二次资源动态分配算法对预处理任务进行调度。实验结果表明,该调度模型在满足多卫星数据处理的时效性要求的同时,合理地减小调度过程中存在的资源浪费,提高了系统的吞吐量。

面向无人机蜂群的航电云多层任务调度模型

在航空作战体系中,基于航电云的无人机(UAV)蜂群作战是提高未来无人机综合作战能力的一种新模式。针对无人机蜂群作战的航电云架构,如何将云端作战任务派发到无人机且保证作战任务完成时间是其中关键。在无人机蜂群分层分簇网络结构和模块级资源虚拟化的基础上,对传统单层平台级任务调度模型进行改进,提出了一种细化到模块级的多层任务调度模型,将作战任务从云端逐层调度到无人机功能模块上执行。利用OMNeT++对无人机蜂群多层任务调度模型以及传统的单层任务调度模型分别进行仿真,云端以攻击使命组为例构建使命组集进行分配,并对任务吞吐量、消息平均端到端延时和任务完成时间进行性能对比。仿真结果表明:与平台级单层任务调度相比,在执行任务方面,模块级多层任务调度模型将单个任务平均完成时间降低了46.2%,将使命组完成时间降低了52.1%,在保证任务吞吐量的基础上具有对复杂任务更稳定的调度能力;在网络性能方面,模块级多层任务调度模型消息端到端延时更低,延时分布更集中,提高了网络消息传输的实时性。

满足吞吐约束与资源节约的任务流调度方法

根据实时信号处理应用中嵌入式计算硬件的资源受限特点,提出一种新的适合计算任务流的实时任务调度算法,以满足吞吐率为调度约束条件、以最小化流水线时延为调度目标并兼顾资源节约原则.算法为两层结构,首先采用任务插入策略得到满足吞吐率约束的中间结果;再通过基于任务复制的优化调度,分析了影响调度长度的关键任务并按照所定义的优先级构造关键边的决策树以确定需复制的关键父任务,充分利用了处理器的空闲时间片以减少时延.另外还设计了检测任务复制后出现的冗余处理器的方法.通过随机任务图仿真分析,说明该算法能以较小的处理器使用量获得满足吞吐率约束的调度结果.