Hadoop环境下节点负载均衡调度策略的设计与实现

本文提出一种计算节点负载的任务调度策略,通过节点的本地任务预计完成时间与全部节点执行本地任务的预计完成时间的平均值做比较,小于平均值即为负载较轻的节点,反之较重。在任务的执行过程中根据计算节点的负载情况来进行任务调度,把负载较重的任务适当分给负载较轻的任务,合理进行任务分配,该策略可以减少非本地任务数量的产生,从而减少数据的迁移次数,也可以避免出现某些节点空闲而其他节点任务繁重的情况,从而提高集群处理数据的能力。理论分析和实验验证表明基于数据本地化的节点负载均衡任务调度策略可以提高数据本地性,使数据间的传输更高效,提高系统中资源的利用率。

加强办公室督办职能 保障海关各项工作落实

加强办公室督办职能保障海关各项工作落实武汉海关海关的各项决策和工作计划制定以后，关键在于执行和落实。而加强督办，是推动落实的重要手段。督办工作是海关办公室的重要职能。近年来，我们在关领导的指导下，采取有效措施，督办工作取得一定成效，具体做法是：一、督...