一种多层次Hadoop平台设计

大数据和大数据中心规模的进一步扩大为Hadoop平台的可扩展性提出了新的要求.在系统地分析了制约Hadoop平台性能和可扩展性因素的基础上,提出了一种多层次Hadoop平台.通过将Hadoop平台划分为若干区域,形成全局-区域-节点的多层次结构.由Master节点负责系统级的元数据管理和任务分发,区域管理节点负责区域级的元数据管理和任务分发,从而提高Hadoop平台可扩展性和容错性.实验表明,该平台可有效提高Hadoop的可扩展性,具有一定的可行性.