基于奖惩共存收益模式的大数据作业调度器

为满足服务商获得最大收益、达到平台资源利用率最大的要求,提出一种基于奖惩共存收益模式的大数据作业调度器,该调度器中包括基于任务执行时间的确定轮数算法(TRN)和基于最大轮数的作业调度算法(MRNS)。TRN确定作业在不同奖惩阶段的Map和Reduce的最大轮数组合以及最大标准时间;MRNS选择具有局部最大收益的作业和该作业的任务最大轮数方案,制定出基于任务的作业调度策略。实验结果表明,提出的作业调度器对比已有的调度器,作业平均完成时间缩短了13.5%~25.9%、服务商收益提高了16.3%~26.4%,平台资源利用率平均提高了7.8%~10.3%,故该大数据作业调度器具有一定的高效性和可用性。