大数据流式计算框架的任务调度优化方法研究

Storm是当前流式大数据计算处理的主要平台,它配置了一个自动任务调度框架,但其并未考虑到网络节点负载不均衡,调度方式单一。提出直接分配固定节点的任务分配调度策略,将子拓扑中组件线程都分配给固定的工作节点上;基于负载均衡任务调度策略,应用贪心策略选取资源数量最大的工作节点进行分配,实验结果表明本文提出的任务调度策略具备较好的实时性。