Hadoop YARN大数据计算框架及其资源调度机制研究

Hadoop 2.0提出一种新的资源管理系统YARN,它可以支持多种大数据计算框架(如Map Reduce、Storm、Spark等),目前已经成为腾讯、阿里等互联网公司部署大数据平台采用的主流计算框架。为此,文章在分析Hadoop YARN计算框架的基本结构和工作流程的基础上,重点研究Hadoop YARN中的资源调度机制,包括其资源调度器的模型与机制,及其目前已经实现的容量调度器(Capacity Scheduler)和公平调度器(Fair Scheduler)的设计思想、工作原理和脆弱性,并探讨其下一代欧米伽调度器(Omega Scheduler)的主要设计思想。