-
题名基于预测模型的HDFS集群负载均衡优化与研究
被引量:2
- 1
-
-
作者
于磊春
陈健美
刘响
胡杨
-
机构
江苏大学计算机科学与通信工程学院
-
出处
《计算机应用与软件》
北大核心
2018年第5期149-156,201,共9页
-
文摘
针对HDFS集群默认负载均衡策略中判定阈值的设定具有主观性、滞后性以及衡量指标单一性等问题,通过分析HDFS集群架构搭建、HDFS集群处理对象以及集群本身动态实时变化等特点,结合研究一些负载均衡策略中阈值改进算法,提出一种基于预测模型估算文件属性并结合集群属性综合计算阈值的方法,并将该方法计算出的阈值代入相应的负载均衡策略中进行负载优化。通过实验结果分析表明,提出的基于预估模型估算文件属性具有很高的准确性,并且基于预估模型的负载均衡策略对于集群负载的调整具有高效性,同时能够进一步缩短集群的作业执行响应时间,提高集群作业效率。
-
关键词
HDFS集群
预测模型
文件属性
集群属性
阈值
负载均衡
-
Keywords
HDFS cluster
Prediction model
File attributes
Cluster attributes
Threshold
Load balancing
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-