期刊文献+

主流大数据处理开源架构的分析及对比评测 被引量:4

Comparison of Open-Source Distributed Computing Framework for Big Data
下载PDF
导出
摘要 结合电信增值业务领域中对大数据处理的实际需求,对现有主流的分布式大数据处理架构(Hive、Impala、Spark)的核心进行分析与实测,比较它们在大数据处理过程中的优劣及适用的场景,从而为大数据分析所面临的架构适用性选型提供参考。 A comparison of three open source distributed computing frameworks for big data (Hive, Impala and Spark) was conducted. Tests were run to evaluate the performance aiming at real business demands. The cost of implementation to meet business requirements was also discussed.
出处 《电信科学》 北大核心 2015年第7期152-157,共6页 Telecommunications Science
关键词 大数据 Hive MAPREDUCE IMPALA SPARK big data, Hive, MapReduce, Impala, Spark
  • 相关文献

参考文献10

  • 1Hadoop, http://hadoop.apache.org/, 2014.
  • 2耿益锋,陈冠诚.Impala:新一代开源大数据分析引擎[J].程序员,2013(8):95-97. 被引量:4
  • 3Spark.ht tip://ww w.enbh.gs.t'om/j errylead/arehiw42013/04/27/Spark. html, 2013.
  • 4Hiw与hnpala比较. htlp://www.linuxeden.c.ml/html/news/ 20130714/141332.html, 2013.
  • 5Comparison between Impala and lliw., http://www.linuxeden. (:om/htmlhmws/20130714/141332.html, 2013.
  • 6Dremel. http://www.yankay.eom/google-dremel-rationale/, 2012.
  • 7Spark API. hltp://spark.apaehe.org/do(.s/latesl/api/python/index. hlml, 2014.
  • 8Resilient distributed datasets: a fauh-tolerant abstraction r in-memcry Gluster computing, httl)://www.(',s.t)erkeley.edu/-matei/ papers/2012/nsdi_spark 4)dr, 2012.
  • 9Pagellank. htti)://en.wikipedia.org/wiki/PageRank, 2014.
  • 10微博3.5亿用户关系数据(样例).http://www.(tatatang.corn/data/46248,2014.

共引文献3

同被引文献25

引证文献4

二级引证文献34

相关作者

内容加载中请稍等...

相关机构

内容加载中请稍等...

相关主题

内容加载中请稍等...

浏览历史

内容加载中请稍等...
;
使用帮助 返回顶部