-
题名基于异构Flink集群的节点优先级调度策略
被引量:4
- 1
-
-
作者
汪文豪
史雪荣
-
机构
南京工业大学计算机科学与技术学院
盐城师范学院数学与统计学院
-
出处
《计算机工程》
CAS
CSCD
北大核心
2022年第3期197-203,共7页
-
基金
国家自然科学基金(11872327)
江苏省高等学校自然科学研究项目(20KJA190001)。
-
文摘
Flink流处理系统默认的任务调度策略在一定程度上忽略了集群异构和节点可用资源,导致集群整体负载不均衡。研究分布式节点的实时性能和集群作业环境,根据实际作业环境的异构分布情况,设计结合异构Flink集群的节点优先级调整方法,以基于Ganglia可扩展分布式集群资源监控系统的集群信息为依据,动态调整适应当前作业环境的节点优先级指数。基于此提出Flink节点动态自适应调度策略,通过实时监测节点的异构状况,并在任务执行过程中根据实时作业环境更新节点优先级指数,为系统任务找到最佳的执行节点完成任务分配。实验结果表明,相比于Flink默认的任务调度策略,基于节点优先级调整方法的自适应调度策略在WorldCount基准测试中的运行时间约平均减少6%,可使异构Flink集群在保持集群低延迟的同时,节点资源利用率和任务执行效率更高。
-
关键词
flink集群
异构集群
负载不均衡
节点优先级
自适应调度
-
Keywords
flink cluster
heterogeneous cluster
load unbalancing
node priority
adaptive scheduling
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-