面向MapReduce的自适应延迟调度算法

MapReduce已经成为主流的海量数据处理模式,调度作为其中的关键环节已受到业界的广泛关注。但是,已有的调度算法难以达到公平性和数据本地性之间的平衡,提出一种动态自适应的延迟调度算法,针对公平延迟调度算法静态设置延迟时间的不足,根据节点的释放速度动态调整作业的延迟等待时间,避免了节点释放速度快时,作业因静态延迟时间而进行的无效等待,从而减少了完成整个作业的响应时间。通过对基于Hadoop平台实现的原型系统的文本排序实验测试表明,自适应的延迟调度算法相比已有的延迟调度算法在作业响应时间方面提升5%～8%。