期刊导航
期刊开放获取
河南省图书馆
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式:
文摘
详细
列表
相关度排序
被引量排序
时效性排序
一种Spark集群下的shuffle优化机制
被引量:
2
1
作者
熊安萍
夏玉冲
杨方方
《计算机工程与应用》
CSCD
北大核心
2018年第4期72-76,共5页
Spark是基于内存的分布式数据处理框架,其shuffle过程中大量数据需要通过网络传输,已成为Spark最主要的瓶颈之一。针对shuffle过程中存在的数据分布不均造成不同节点网络I/O负载不均的问题,设计了基于task本地性等级的重启策略,进一步...
Spark是基于内存的分布式数据处理框架,其shuffle过程中大量数据需要通过网络传输,已成为Spark最主要的瓶颈之一。针对shuffle过程中存在的数据分布不均造成不同节点网络I/O负载不均的问题,设计了基于task本地性等级的重启策略,进一步提出了均衡的调度策略来平衡各节点的网络I/O负载。最后通过实验验证了优化机制能够减少计算任务的执行时间,提升整个shuffle过程的执行效率。
展开更多
关键词
Spark集群
shuffle过程
数据传输
本地性
调度策略
下载PDF
职称材料
题名
一种Spark集群下的shuffle优化机制
被引量:
2
1
作者
熊安萍
夏玉冲
杨方方
机构
重庆邮电大学计算机科学与技术学院
重庆市移动互联网数据应用工程技术研究中心
出处
《计算机工程与应用》
CSCD
北大核心
2018年第4期72-76,共5页
基金
重庆邮电大学博士启动基金(No.A2015-17)
文摘
Spark是基于内存的分布式数据处理框架,其shuffle过程中大量数据需要通过网络传输,已成为Spark最主要的瓶颈之一。针对shuffle过程中存在的数据分布不均造成不同节点网络I/O负载不均的问题,设计了基于task本地性等级的重启策略,进一步提出了均衡的调度策略来平衡各节点的网络I/O负载。最后通过实验验证了优化机制能够减少计算任务的执行时间,提升整个shuffle过程的执行效率。
关键词
Spark集群
shuffle过程
数据传输
本地性
调度策略
Keywords
Spark cluster
shuffle process
data transfer
locality
schedule strategy
分类号
TP311 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
一种Spark集群下的shuffle优化机制
熊安萍
夏玉冲
杨方方
《计算机工程与应用》
CSCD
北大核心
2018
2
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部