Hadoop下基于资源感知的调度算法

在大规模的数据中心中,I/O型作业和CPU型作业通常会同时在同一集群上运行,他们之间所需要的资源是互补的.现有的Hadoop调度算法并没有对这两种工作的并行化进行研究,针对这点不足,提出了基于资源感知的调度算法,对作业负载和节点负载进行合理的分类和调度,解决因为资源竞争和不合理调度而影响处理速率的问题.对该算法进行实验及性能分析,在验证了算法在作业完成时间和系统吞吐量方面有很大改进.