不同粒度下的时序数据调度系统设计与实现

随着社会信息化程度的不断提高，互联网技术发展迅速。为解决网络中的单机模式与时序数据调度的问题，本文利用Clojure语言在Linux平台上设计与实现了一个基于Hadoop面向时序数据的调度系统。该系统基于开源的Hadoop调度系统Oozie，针对时序数据在任务流之间的复杂变化和任务流中不同任务之间的依赖关系这两方面进行设计与实现。在确保数据粒度与任务之间正确依赖的前提下，提供了一套简单方便的应用程序编程接口用来定义Hadoop任务。