期刊文献+

基于Hadoop/Hive的气象数据分布式处理研究 被引量:7

下载PDF
导出
摘要 分布全球的气象传感器每隔一段时间就会收集大量的气象数据,历史气象数据更为庞大,如何存储和处理这些数据已成为一个难题。Hadoop的出现给人们提供了存储和分析大数据的一个利器,它利用HDFS分布式文件系统进行大数据存储,用户通过编写MapReduce程序完成大数据的分析处理。然而,对于很多用户而言,熟练掌握Java语言并编写MapReduce程序并不容易。鉴于此,利用Hive来存储和处理气象数据集。Hive是构建在Hadoop上的数据仓库框架,它支持SQL接口,可以让精通SQL技能的分析师对存放在HDFS中的大规模数据集进行查询分析。
出处 《软件导刊》 2015年第8期11-13,共3页 Software Guide
  • 相关文献

参考文献3

二级参考文献11

  • 1Apache. Welcome to Apache Hadoop[EB/OL].2Oll.http:// hadoop, apache, org/.
  • 2金松昌,方滨兴,杨树强,贾焰.基于Hadoop的网络安全曰志分析系统的设计与实现[A].全国计算机安全学术交流会论文集[C].北京,2010:257-262.
  • 3HUSSAIN T, ASGHAR S, MASOOD N. Web Usage Mining:A Survey on Preprocessing of Web Log File[ C]//Information and Emerging Technologies, 2010 : 1-6.
  • 4ASHISH T, JOYDEEP S, NAMIT J, et al. Hive-A Petabyte Scale Data Warehouse Using Hadoop[ C ],//Data Engineering (ICDE), 2010 IEEE 26th International :996-1005.
  • 5Tom White.Hadoop权威指南[M].曾大聃,周傲英,译.北京:清华大学出版社,2010.
  • 6HE YONGQIANG, LEE RUBAO, HUAI YIN, et al. RCFile:A Fast and Space-efficient Data Placement Structure in MapReduce-bsed Warehouse Systems[ C ]//Data Engineering (ICDE), 2010 IEEE 26th International :996-1005.
  • 7孙牧.云端的小飞象—Hadoop[J].程序员,2008(10):100-102. 被引量:10
  • 8张建勋,古志民,郑超.云计算研究进展综述[J].计算机应用研究,2010,27(2):429-433. 被引量:589
  • 9谢桂兰,罗省贤.基于Hadoop MapReduce模型的应用研究[J].微型机与应用,2010,29(8):4-7. 被引量:69
  • 10许春玲,张广泉.分布式文件系统Hadoop HDFS与传统文件系统Linux FS的比较与分析[J].苏州大学学报(工科版),2010,30(4):5-9. 被引量:19

共引文献63

同被引文献82

引证文献7

二级引证文献39

相关作者

内容加载中请稍等...

相关机构

内容加载中请稍等...

相关主题

内容加载中请稍等...

浏览历史

内容加载中请稍等...
;
使用帮助 返回顶部