期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息

大数据环境下Hadoop分布式系统的研究与设计 被引量：10

下载PDF
导出
摘要 随着互联网应用的飞速发展和信息的社会化数据呈爆发式的增长,传统的关系数据库在处理分析如此海量的数据时出现性能和可扩展性的瓶颈,通过介绍目前大数据时代面临的挑战,分析了大数据对IT系统的挑战以及针对大数据业务特点的应对策略。目前大数据技术目前还没形成统一标准,但业界已经广泛使用Hadoop分布式系统作为其大数据处理平台,对大数据环境下Hadoop分布式系统进行了详尽的研究与设计,包括分布式文件系统、并行计算模型、分布式数据库、分布式锁服务等各个功能模块,大数据环境下的Hadoop分布式系统将更有效支撑未来电信运营商业务的发展。
作者 廖锋 成静静
机构地区 中国移动通信集团广东有限公司 广东省电信规划设计院
出处 《广东通信技术》 2013年第10期22-27,共6页 Guangdong Communication Technology
关键词 大数据 高并发 高存储 高扩展性和可用性 MPP架构 NOSQL数据库 Hadoop分布式系统分布式文件系统(HDFS) 并行数据处理模型(MapReduce) 分布式数据库(HBase BigTable) 分布式锁服务(ZooKeeper Chubby)
分类号 TP311.13 [自动化与计算机技术—计算机软件与理论]
  • 相关文献

参考文献12

二级参考文献128

  • 1童晓渝,张云勇,房秉毅,李素粉.电信运营商实施云计算的策略建议[J].信息通信技术,2012,6(1):34-38. 被引量：11
  • 2Zhou MQ, Zhang R, Zeng DD, Qian WN, Zhou AY. Join optimization in the MapReduce environment for column-wise data store. In: Fang YF, Huang ZX, eds. Proc. of the SKG. Ningbo: IEEE Computer Society, 2010.97-104. [doi: 10.1109/SKG.2010.18].
  • 3Afrati FN, Ullman JD. Optimizing joins in a Map-Reduce environment. In: Manolescu I, Spaecapietra S, Teubner J, Kitsuregawa M, Leger A, Naumann F, Ailamaki A, Ozcan F, eds. Proc. of the EDBT. Lausanne: ACM Press, 2010. 99-110. [doi: 10.1145/ 1739041.1739056].
  • 4Sandholm T, Lai K. MapReduce optimization using regulated dynamic prioritization. In: Douceur JR, Greenberg AG, Bonald T, Nieh J, eds. Proc. of the SIGMETRICS. Seattle: ACM Press, 2009. 299-310. [doi: 10.1145/1555349.1555384].
  • 5Hoefler T, Lumsdaine A, Dongarra J. Towards; efficient MapReduce using MPI. In: Oster P, ed. Proc. of the EuroPVM/MPI. Berlin: Springer-Verlag, 2009. 240-249. [doi: 10.100'7/978-3-642-03770-2_30].
  • 6Nykiel T, Potamias M, Mishra C, Kollios G, Koudas N. MRShare: Sharing across multiple queries in MapReduce. PVLDB, 2010, 3(1-2):494-505.
  • 7Kambatla K, Rapolu N, Jagannathan S, Grama A. Asynchronous algorithms in MapReduce. In: Moreira JE, Matsuoka S, Pakin S, Cortes T, eds. Proc. of the CLUSTER. Crete: IEEE Press, 2010. 245-254. [doi: 10.1109/CLUSTER.2010.30].
  • 8Polo J, Carrera D, Becerra Y, Torres J, Ayguad6 E, Steinder M, Whalley I. Performance-Driven task co-scheduling for MapReduce environments. In: Tonouchi T, Kim MS, eds. Proc. of the 1EEE Network Operations and Management Symp. (NOMS). Osaka: IEEE Press, 2010. 373-380. [doi: 10.1109/NOMS.2010.5488494].
  • 9Zaharia M, Konwinski A, Joseph AD, Katz R, Stoica I. Improving MapReduce performance in heterogeneous environments. In: Draves R, van Renesse R, eds. Proc. of the ODSI. Berkeley: USENIX Association, 2008.29-42.
  • 10Xie J, Yin S, Ruan XJ, Ding ZY, Tian Y, Majors J, Manzanares A, Qin X. Improving MapReduce performance through data placement in heterogeneous Hadoop clusters. In: Taufer M, Rfinger G, Du ZH, eds. Proc. of the Workshop on Heterogeneity in Computing (IPDPS 2010). Atlanta: IEEE Press, 2010. 1-9. [doi: 10.1109/IPDPSW.2010.5470880].

共引文献899

同被引文献49

  • 1曾理,王以群.Hadoop集群和单机数据处理的耗时对比实验[J].硅谷,2009,2(19):55-56. 被引量：9
  • 2陈启斗,蔡鸿明,姜丽红.面向多租户的业务模型版本管理[J].华中科技大学学报（自然科学版）,2012,40(S1):128-131. 被引量：1
  • 3LI Yong,FENG Dan,SHI Zhan,et al.A probability based load balancing algorithm for parallel file systems[J].Journal of the Chinese Institute of Engineers,2015,38(6):811-820.
  • 4AHN T,SANDU A,WATSON L,et al.A framework to analyze the performance of load balancing schemes for Ensembles of stochastic simulations[J].International Journal of Parallel Programming,2015,43(4):597-630.
  • 5SKEIRIK S,BOBBA RB,MESEGUER J.Formal analysis of fault-tolerant group key management using zookeeper[C]//Proceedings of the 13th IEEE/ACM International Symposium on Cluster,Cloud and Grid Computing(CCGrid).Delft,Nederland:IEEE,2013:636-641.
  • 6CANINO W,POWELL D.Formal behavioral evaluation of enrichment programs on a zookeepers schedule:a case study with a polar bear(Ursus Maritimus)at the Bronx Zoo[J].Zoo Biology,2010,29(4):503-508.
  • 7何华.基于云计算平台的电信经营分析系统中元数据管理的研究与实现[J].北京邮电大学,2011.
  • 8姜锋.基于Hado叩平台的海量数据处理研究及应用[J].北京邮电大学,2013.
  • 9唐真.基于hado叩的推荐系统设计与实现[D].电子科技大学.(2013).
  • 10陈娜.基于Hadoop平台的海量数据处理应用[D].吉林大学.(2012).

引证文献10

二级引证文献36

广东通信技术
2013年 第10期

相关作者

内容加载中请稍等...

相关机构

内容加载中请稍等...

相关主题

内容加载中请稍等...

浏览历史

内容加载中请稍等...
;
使用帮助 返回顶部