期刊导航
期刊开放获取
河南省图书馆
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式:
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于节点集计算能力差异的Hadoop自适应任务调度算法
被引量:
3
1
作者
朱洁
李雯睿
+1 位作者
王江平
赵红
《计算机应用》
CSCD
北大核心
2016年第4期918-922,共5页
针对异构集群任务推测式执行算法存在的任务进度比例固定、落后任务被动选取等问题,提出基于快慢节点集计算能力差异的自适应任务调度算法。该算法量化节点集计算能力差异实现分集调度,并通过节点与任务速率的动态反馈及时更新快慢节点...
针对异构集群任务推测式执行算法存在的任务进度比例固定、落后任务被动选取等问题,提出基于快慢节点集计算能力差异的自适应任务调度算法。该算法量化节点集计算能力差异实现分集调度,并通过节点与任务速率的动态反馈及时更新快慢节点集,提高节点集资源利用率与任务并行度。在两节点集中,利用动态调整任务进度比例判别落后任务,主动选择采用替代执行方式为落后任务执行备份任务的快节点,从而提升任务执行效率。与最长近似结束时间(LATE)算法的实验对比结果表明,该算法在短作业集、混合型作业集、出现节点性能下降的混合型作业集执行时间上比LATE算法分别缩短了5.21%、20.51%、23.86%,启用的备份任务数比LATE算法明显减少。所提算法可使任务主动适应节点差异,在减少备份任务的同时有效提高作业整体执行效率。
展开更多
关键词
HADOOP
计算能力
自适应
任务调度
推测式执行
下载PDF
职称材料
题名
基于节点集计算能力差异的Hadoop自适应任务调度算法
被引量:
3
1
作者
朱洁
李雯睿
王江平
赵红
机构
南京
晓庄
学院
信息工程
学院
南京
可信
云
计算与大
数据
分析
重点
实验室
(
南京
晓庄
学院
)
出处
《计算机应用》
CSCD
北大核心
2016年第4期918-922,共5页
基金
国家自然科学基金资助项目(61202136)
江苏省科技项目(BY2013095-3-11)
+2 种基金
江苏省高校自然科学研究项目(13KJD520007)
南京晓庄学院科研项目(2012NXY14
2013NXY99)~~
文摘
针对异构集群任务推测式执行算法存在的任务进度比例固定、落后任务被动选取等问题,提出基于快慢节点集计算能力差异的自适应任务调度算法。该算法量化节点集计算能力差异实现分集调度,并通过节点与任务速率的动态反馈及时更新快慢节点集,提高节点集资源利用率与任务并行度。在两节点集中,利用动态调整任务进度比例判别落后任务,主动选择采用替代执行方式为落后任务执行备份任务的快节点,从而提升任务执行效率。与最长近似结束时间(LATE)算法的实验对比结果表明,该算法在短作业集、混合型作业集、出现节点性能下降的混合型作业集执行时间上比LATE算法分别缩短了5.21%、20.51%、23.86%,启用的备份任务数比LATE算法明显减少。所提算法可使任务主动适应节点差异,在减少备份任务的同时有效提高作业整体执行效率。
关键词
HADOOP
计算能力
自适应
任务调度
推测式执行
Keywords
Hadoop
computation capacity
adaptive
task scheduling
speculation execution
分类号
TP301.6 [自动化与计算机技术—计算机系统结构]
TP393.027 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于节点集计算能力差异的Hadoop自适应任务调度算法
朱洁
李雯睿
王江平
赵红
《计算机应用》
CSCD
北大核心
2016
3
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部