期刊导航
期刊开放获取
河南省图书馆
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式:
文摘
详细
列表
相关度排序
被引量排序
时效性排序
面向大数据处理的基于Spark的异质内存编程框架
被引量:
9
1
作者
王晨曦
吕方
+4 位作者
崔慧敏
曹婷
John Zigman
庄良吉
冯晓兵
《计算机研究与发展》
EI
CSCD
北大核心
2018年第2期246-264,共19页
随着大数据应用的发展,需要处理的数据量急剧增长,企业为了保证数据的及时处理并快速响应客户,正在广泛部署以Apache Spark为代表的内存计算系统.然而TB级别的内存不但造成了服务器成本的上升,也促进了功耗的增长.由于DRAM的功耗、容量...
随着大数据应用的发展,需要处理的数据量急剧增长,企业为了保证数据的及时处理并快速响应客户,正在广泛部署以Apache Spark为代表的内存计算系统.然而TB级别的内存不但造成了服务器成本的上升,也促进了功耗的增长.由于DRAM的功耗、容量密度受限于工艺瓶颈,无法满足内存计算快速增长的内存需求,因此研发人员将目光逐渐移向了新型的非易失性内存(non-volatile memory,NVM).由DRAM和NVM共同构成的异质内存,具有低成本、低功耗、高容量密度等特点,但由于NVM读写性能较差,如何合理布局数据到异质内存是一个关键的研究问题.系统分析了Spark应用的访存特征,并结合OpenJDK的内存使用特点,提出了一套管理数据在DRAM和NVM之间布局的编程框架.应用开发者通过对本文提供接口的简单调用,便可将数据合理布局在异质内存之中.仅需20%~25%的DRAM和大量的NVM,便可以达到使用等量的DRAM时90%左右的性能.该框架可以通过有效利用异质内存来满足内存计算不断增长的计算规模.同时,"性能/价格"比仅用DRAM时提高了数倍.
展开更多
关键词
内存计算
SPARK
异质内存
非易失性内存
编程框架
下载PDF
职称材料
题名
面向大数据处理的基于Spark的异质内存编程框架
被引量:
9
1
作者
王晨曦
吕方
崔慧敏
曹婷
John Zigman
庄良吉
冯晓兵
机构
计算机体系结构国家重点实验室(中国科学院计算技术研究所)
中国科学院大学
澳大利亚野外机器人中心(悉尼大学)
数学工程与先进计算国家重点实验室
出处
《计算机研究与发展》
EI
CSCD
北大核心
2018年第2期246-264,共19页
基金
国家“八六三”高技术研究发展计划基金项目(2015AA011505,2015AA015306)
国家“九七三”重点基础研究计划基金项目(2016YFB1000402)
+1 种基金
国家自然科学基金项目(61402445,61672492,61432016,61521092)
数学工程与先进计算国家重点实验室开放基金项目(2016A03)
文摘
随着大数据应用的发展,需要处理的数据量急剧增长,企业为了保证数据的及时处理并快速响应客户,正在广泛部署以Apache Spark为代表的内存计算系统.然而TB级别的内存不但造成了服务器成本的上升,也促进了功耗的增长.由于DRAM的功耗、容量密度受限于工艺瓶颈,无法满足内存计算快速增长的内存需求,因此研发人员将目光逐渐移向了新型的非易失性内存(non-volatile memory,NVM).由DRAM和NVM共同构成的异质内存,具有低成本、低功耗、高容量密度等特点,但由于NVM读写性能较差,如何合理布局数据到异质内存是一个关键的研究问题.系统分析了Spark应用的访存特征,并结合OpenJDK的内存使用特点,提出了一套管理数据在DRAM和NVM之间布局的编程框架.应用开发者通过对本文提供接口的简单调用,便可将数据合理布局在异质内存之中.仅需20%~25%的DRAM和大量的NVM,便可以达到使用等量的DRAM时90%左右的性能.该框架可以通过有效利用异质内存来满足内存计算不断增长的计算规模.同时,"性能/价格"比仅用DRAM时提高了数倍.
关键词
内存计算
SPARK
异质内存
非易失性内存
编程框架
Keywords
in-memory computing
Spark
heterogeneous memory
non-volatile memory(NVM)
programming framework
分类号
TP312 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
面向大数据处理的基于Spark的异质内存编程框架
王晨曦
吕方
崔慧敏
曹婷
John Zigman
庄良吉
冯晓兵
《计算机研究与发展》
EI
CSCD
北大核心
2018
9
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部