Hadoop环境下节点负载均衡调度策略的设计与实现

本文提出一种计算节点负载的任务调度策略,通过节点的本地任务预计完成时间与全部节点执行本地任务的预计完成时间的平均值做比较,小于平均值即为负载较轻的节点,反之较重。在任务的执行过程中根据计算节点的负载情况来进行任务调度,把负载较重的任务适当分给负载较轻的任务,合理进行任务分配,该策略可以减少非本地任务数量的产生,从而减少数据的迁移次数,也可以避免出现某些节点空闲而其他节点任务繁重的情况,从而提高集群处理数据的能力。理论分析和实验验证表明基于数据本地化的节点负载均衡任务调度策略可以提高数据本地性,使数据间的传输更高效,提高系统中资源的利用率。