Apache Spark技术研究与应用前景分析
被引量:3
摘要
介绍Spark的关键技术——弹性分布式数据集及其主要的体系架构,总结Spark的应用场景,简要分析Spark未来发展以及它与Hadoop之间的关系。
出处
《电信技术》
2016年第9期67-68,71,共3页
Telecommunications Technology
参考文献2
-
1方艾,徐雄,梁冰,张玉忠,杨翊平.主流大数据处理开源架构的分析及对比评测[J].电信科学,2015,31(7):152-157. 被引量:4
-
2胡俊,胡贤德,程家兴.基于Spark的大数据混合计算模型[J].计算机系统应用,2015,24(4):214-218. 被引量:56
二级参考文献20
-
1夏俊鸾,邵赛赛.Spark Streaming: 大规模流式数据处理的新贵. http://www.csdn.net/article/2014-01-28/2818282-Spark -Streaming-big-data. 2014.
-
2Dean J, Ghemawat S. MapReduce: simplified data processing on large clusters. Communications of the ACM, 2008, 3(51-1): 107-113.
-
3耿益锋,陈冠诚.Impala:新一代开源大数据分析引擎. http://www.csdn.net/article/2013-12-04/2817707-ImpalaBig- Data-Engine. 2013.12.
-
4Strom. http://storm.incubator.apache.org/. 2014.
-
5Zaharia M, Chowdhury M, Das T, et al. Resilient distributed datasets: A fault-tolerant abstration for in-memory cluster computing. Proc. of the 9th USENIX Conference on NetWorked System Design and Implementation. 2012. 2-16.
-
6Gonzalez J, Low Y, Gu H. PowerGraph: Distributed garph-p arallel computation on natural graphs. Proc. of the 10th USENIX Symposium on Operating Systems Design and Implementatin. 2012. 17-30.
-
7Zaharia M, Chowdhury M, Franklin MJ, Shenker S, Stoica I. Spark: Cluster Computing with Working Sets. Technical Report No. UCB/ EECS- 2010-53May 7, 2010.
-
8Xin R, Rosen J, et al. Shark: SQL and Rich Analytics at Scale. Technical Report UCB/EECS. 2012.11.
-
9Engle C, Lupher A, et al. Shark: Fast Data Analysis Using Coarse-grained Distributed Memory. SIGMOD 2012. May 2012.
-
10Zaharia M, Das T, Li HY, Shenker S, Stoica I. Discretized streams: An efficient and fault-tolerant model for stream. Proc. on Large Clusters. HotCloud 2012. June 2012.
共引文献57
-
1韩亚兰,韩学明,白玲.用电子冷热针灸仪治疗糖尿病50例疗效观察[J].针灸临床杂志,2000,16(2):33-34. 被引量:1
-
2叶小榕,邵晴.基于Spark的大规模社交网络社区发现原型系统[J].科技导报,2018,36(23):93-101. 被引量:8
-
3陆韦,朱捷飞,崔德义,孟飞.基于“互联网+”的电网用电监察平台设计[J].自动化与仪器仪表,2019(1):103-105. 被引量:2
-
4汤伟,杨铖.智能检索技术在电网调度本体知识库中的应用[J].自动化与仪器仪表,2019(1):178-180. 被引量:2
-
5汤伟,杨铖.智能检索技术在电网调度本体知识库中的应用[J].自动化与仪器仪表,2019(2):193-196. 被引量:1
-
6张雄,陆路,石宣化.分布式数据处理系统内存对象管理问题分析[J].中兴通讯技术,2016,22(2):19-22. 被引量:2
-
7陈羽中,郭松荣,陈宏,李婉华,郭昆,黄启成.基于并行分类算法的电力客户欠费预警[J].计算机应用,2016,36(6):1757-1761. 被引量:11
-
8林穗,赵菲.基于Spark的线性模型在广告投放系统中的应用研究[J].广东工业大学学报,2016,33(5):28-33. 被引量:4
-
9张琦,张春平,杨志,刘铭.基于OPC框架的高效计算服务应用[J].计算机系统应用,2016,25(9):92-97.
-
10夏靖波,韦泽鲲,付凯,陈珍.云计算中Hadoop技术研究与应用综述[J].计算机科学,2016,43(11):6-11. 被引量:74
同被引文献15
-
1彭宇,姜红兰,杨智明,乔立岩,刘旺.基于DSP和FPGA的通用数字信号处理系统设计[J].国外电子测量技术,2013,32(1):17-21. 被引量:90
-
2刘莹.基于数据挖掘的商品销售预测分析[J].科技通报,2014,30(7):140-143. 被引量:21
-
3黎文阳.大数据处理模型Apache Spark研究[J].现代计算机(中旬刊),2015(3):55-60. 被引量:34
-
4马学娟.基于快速傅里叶变换(FFT)和小波变换的大型风机机械振动故障的分析[J].科技与创新,2016(11):121-121. 被引量:3
-
5谭旭杰,邓长寿,董小刚,袁斯昊,吴志健,彭虎.SparkDE:一种基于RDD云计算模型的并行差分进化算法[J].计算机科学,2016,43(9):116-119. 被引量:4
-
6余殷博.基于人工智能下的机器学习历史及展望[J].电子技术与软件工程,2017(4):129-129. 被引量:13
-
7刘大庆,林浩然,陈树越.快速傅里叶变换中计算倒序的新思路[J].电子与信息学报,2018,40(3):758-762. 被引量:3
-
8英昌甜,于炯,卞琛,王维庆,鲁亮,钱育蓉.基于RDD关键度的Spark检查点管理策略[J].计算机研究与发展,2017,54(12):2849-2863. 被引量:5
-
9冯兴杰,王文超.Hadoop与Spark应用场景研究[J].计算机应用研究,2018,35(9):2561-2566. 被引量:33
-
10黄源.基于逻辑回归算法的信贷风险研究[J].科学咨询,2019(10):71-71. 被引量:3
二级引证文献5
-
1张婷.基于Apache Spark的移动APP用户访问路径分析[J].海南大学学报(自然科学版),2019,37(3):209-218. 被引量:1
-
2赵鑫,马再超,刘英博,丁雨亭,魏慕恒.基于Apache Storm的增量式FFT及其应用[J].计算机科学,2020,47(S02):504-507. 被引量:1
-
3唐婷,黎明.大数据环境下的逻辑回归算法分析与研究[J].电子技术与软件工程,2022(17):178-181. 被引量:3
-
4薛茹.大数据背景下经济分析系统的设计[J].无线互联科技,2022,19(20):68-70.
-
5唐婷,黎明,巫冬.基于逻辑回归算法的消费贷款信用评分模型开发及优化[J].产业与科技论坛,2023,22(13):54-56.