摘要
Hadoop集群广泛应用于企业和研究机构的大数据处理和并行计算中。该文针对Hadoop集群节点管理中缺少动态负载均衡和节能相互结合的调度技术的现状,提出一种动态负反馈调整算法,并设计和实现了一个用于Hadoop平台节点动态管理的系统。通过大量Hadoop经典测试用例测试,结果表明：该算法能够有效提高负载均衡并通过减少节点的空闲时间以有效地节能,与未使用本算法的结果相比,节点平均空闲休眠时间增加25%,节能14%。同时通过与其他算法相比,节点间均衡度有一定程度提升,平均负载方差减少10%。
Hadoop clusters are widely used in enterprises and research institutions but there are few tools in Hadoop to dynamically load balance and improve the energy efficiency. A dynamic load balancing method with negative feedback was developed for a dynamic management system for Hadoop systems and tested using classic Hadoop benchmark examples. This method reduces the total idle time of the Hadoop nodes by 25% and reduces energy consumption by 14% on average compared with other algorithms by improving the load balancing through reducing the load variations by 10%.
出处
《清华大学学报（自然科学版）》
EI
CAS
CSCD
北大核心
2016年第11期1226-1231,共6页
Journal of Tsinghua University(Science and Technology)
基金
国家自然科学基金资助项目(61672136,61650110513)
四川省科技厅项目(2016GZ0322)
中科院西部之光项目(R51A150Z10)
重庆市基础研究与前沿技术研究计划项目(cstc2015jcyjB0244)
关键词
分布式计算
HADOOP
调度算法
动态负载均衡
节能调度
distributed computing
Hadoop, scheduling algorithm
dynamic load-balancing
energy-efficient scheduling
