多云环境下基于代价驱动的科学工作流调度策略

针对多云环境下带截止日期约束的科学工作流调度问题,引入局部关键路径算法思想,提出基于代价驱动的科学工作流调度策略,目的是在满足科学工作流截止日期约束的同时,尽可能降低执行代价.该策略充分考虑多云环境和科学工作流的独有特性,首先根据工作流自身结构合并存在有向割边的相邻任务;再基于关键父任务迭代机制寻找带局部截止日期的局部关键路径;最后为局部关键路径分配最适合实例,并执行所有任务.实验表明,文中策略有效提高现有真实科学工作流的执行效率,并大幅减少执行代价.

一种新颖的云计算容错任务调度算法

云计算作为一种新兴的计算范式,越来越受到工业界和学术界的关注.云计算是一种商业性服务,当用户提交的实时应用因机器故障而没办法得到成功执行的时候,云提供商必须提供经济赔偿.提出一种新颖的云计算容错任务调度算法,算法通过采用主/副版本技术提供容错机制.同时,通过离散粒子群优化算法对截止期错失率、执行时间、执行成本、负载均衡度进行多目标优化.此外,为了提高系统资源的利用率,采用被动副版本重叠技术来减少冗余.实验结果表明该算法可以有效地减少任务失效个数,缩短任务总执行时间,减少任务总执行成本.

针对Hadoop异构集群节点性能的数据分配策略

当前Hadoop的实现主要针对同构集群,假设任务处理的数据基本是本地的.然而,实际应用中集群多为异构.这暴露出现有的数据分配策略对数据局部性考虑的不足,其产生的不必要数据传输耗费了大量的带宽资源和传输时间.通过结合Hadoop中数据放置与任务执行的关系,按不同节点对不同任务的执行能力进行数据分配.在考虑异构集群中节点固有性能的情况下,提出一种机架间基于任务特性和节点计算能力的数据分配策略.该分配策略提高了对数据局部性的关注,使每个节点都尽可能只访问本地数据.通过实验可知,该策略可以有效地缩短作业执行时间,提高时效性;同时提高数据局部性,减少网络数据传输,避免拥塞;最后,该分配策略还具有较好的稳定性.