Storm环境下基于权重的任务调度算法

大数据流式计算平台Apache Storm默认采用轮询的方式进行任务调度,未考虑到拓扑中各任务计算开销的差异以及任务之间不同类型的通信模式,在负载均衡和通信开销方面存在较大的优化空间。针对这一问题,提出一种Storm环境下基于权重的任务调度算法(TSAW-Storm)。该算法首先根据各任务的CPU资源占用情况以及任务间的数据流大小,分别确定拓扑的点权和边权;并利用最大化边权增益的思想,逐步构建起各工作节点中承载的任务集合,在保证集群负载均衡的同时,尽可能将边权较大的节点间数据流转化为节点内数据流,从而降低网络传输开销。实验结果表明,在包含有8个工作节点的WordCount基准测试中,TSAW-Storm的系统延迟和节点间数据流大小相比Storm默认调度算法分别降低了30.0%和32.9%,且各工作节点的CPU负载标准差仅为Storm默认调度算法的25.8%;此外,在与在线调度算法的对比实验中,TSAW-Storm在系统延迟、节点间数据流大小和CPU负载标准差方面分别降低了7.76%、11.8%和5.93%,且算法的执行开销明显降低,有效提高了Storm系统的运行效率。

基于Storm的多租户槽感知调度策略

Storm默认任务调度采用轮询算法将任务平均分配到每一个工作节点,但是在多个拓扑提交的情况下Storm默认调度将任务随机分配到工作节点的槽,造成槽分配不均衡的问题并导致工作节点的负载不均衡.针对这一问题,本文提出了多租户槽感知调度策略:首先,根据节点的优先级权重划分,将工作节点按照队列的形式排序,并由队列的FIFO的特点进行优先级分配任务;其次,按照每个工作节点占用的槽越小优先级越高的特点分配任务;然后,每个工作节点被占用的槽不能超过工作节点的槽被占用的最大阈值;最后,实时更新每个工作节点的槽的占用信息进行任务调度,降低工作节点的CPU负载,提高吞吐量,降低延迟.实验证明,在集群4个工作节点的环境下基于benchmark基准测试运行4个作业拓扑的结果表明,本文提出的多租户槽感知调度策略与默认调度相比,分别在数据流的吞吐量提高24.2%、延迟降低29%、CPU负载相对降低了15.1%.