基于负载估计的Hadoop资源感知调度器

目前，大多数基于云的应用都需要大规模的数据处理能力，而待处理数据的增长速度远远超过可用计算能力的增长速度，Hadoop被用来通过商用硬件实现大型集群的分布式处理。在大型集群中，工作负载一般是异构性的，这主要是指在大型集群上同时运行I／O密集型，CPU密集型或网络密集型的作业，而这些作业又有不同类型的资源需求。Hadoop的默认作业调度算法是基于FIFO实现的，而它并没有考虑到不同类型作业的并行化调度问题。