期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息

一种新型的Hadoop本地化测试模型

下载PDF
导出
摘要 MapReduce是Hadoop核心处理程序.但是目前软件界更多是对MapReduce程序的编写,而对其测试方法还是空白,依旧使用的是基于JUnit为基础的测试插件.而JUnit是为了软件进行单机测试而诞生的一种测试插件,其对分布式测试的支持性很差.同时由于其天生的狭隘性,对大规模数据进行测试根本是不可能进行.本文利用Hadoop自带的抽象类,通过欺骗注入,给Hadoop设计一种通过营造一个运行在单机上的伪集群环境模型,从而使得MapReduce在不借助外部其他插件支持的情况下可以独立完成全部运行并将结果输出在本地磁盘空间.
作者 王晓华
机构地区 蚌埠医学院科研处
出处 《赤峰学院学报（自然科学版）》 2013年第19期20-21,共2页 Journal of Chifeng University(Natural Science Edition)
基金 安徽省科技创新基金资助(20120752Z) 蚌埠医学院科研基金资助(BY1024)
关键词 分布式计算 HADOOP MAPREDUCE 软件测试
分类号 TP309 [自动化与计算机技术—计算机系统结构]
  • 相关文献

参考文献5

  • 1WhiteT.Hadoop:thedefinitiveguide[M].南京:东南大学出版社.2011.203-204.
  • 2Apache.Single node setup[EB/OL].(2012-02-14) [2012- 05 .lO].http//hadoop.apache.org/common/docs/rl.0.1/ single_node_setup.html.
  • 3Borthakur D.HDFS architecture guide [EB/OL]. (2011 - 04-12 [2012-05-10]http://hadoop.apache.org/hdfi/docs/ current/hdfs_design.Html.
  • 4BORTHAKUR D,GRAY J,SARMA J S,et al. A- pache hadoop goes realtime at facebook [C]/ /Proc of International Conference on Management of Data New York: ACM Press,2011: 1071-1080.
  • 5李建江,崔健,王聃,严林,黄义双.MapReduce并行编程模型研究综述[J].电子学报,2011,39(11):2635-2642. 被引量：187

二级参考文献45

  • 1宁焕生,张瑜,刘芳丽,刘文明,渠慎丰.中国物联网信息服务系统研究[J].电子学报,2006,34(B12):2514-2517. 被引量：151
  • 2J Dean,S Ghemawat.MapReduce:Simplified data processing on large clusters[J].Communications of the ACM,2008,51(1):107-113.
  • 3J L Wagener.High performance fortran[J].Computer Standards & Interfaces,Elsevier,1996,18(4):371-377.
  • 4W Gropp,E Lusk,et al.Using MPI:Portable Parallel Programming with the Message Passing Interface[M].Cambridge:MIT Press,1999.1-350.
  • 5A Geist,A Beguelin,et al.PVM:Parallel Virtual Machine:A Users' Guide and Tutorial for Networked Parallel Computing[M].Cambridge:MIT Press,1995.1-299.
  • 6A Verma,N Zea,et al.Breaking the mapreduce stage barrier .Proc of IEEE International Conference on Cluster Computing .Los Alamitos:IEEE Computer Society,2010.235-244.
  • 7H C Yang,A Dasdan,et al.Map-Reduce-Merge:Simplified relational data processing .Proc of ACM SIGMOD International Conference on Management of Data .New York:ACM,2007.1029-1040.
  • 8S V Valvag,D Johansen.Oivos:Simple and efficient distributed data processing .Proc of IEEE International Conference on High Performance Computing and Communications .Piscataway:IEEE,2008.113-122.
  • 9Z Vrba,P Halvorsen,et al.Kahn process networks are a flexible alternative to mapreduce .Proc of IEEE International Conference on High Performance Computing and Communications .Piscataway:IEEE,2009.154-162.
  • 10Apache hadoop .http://lucene.apache.org/hadoop/,2010-10-15/2010-12-28.

共引文献186

赤峰学院学报（自然科学版）
2013年 第19期

相关作者

内容加载中请稍等...

相关机构

内容加载中请稍等...

相关主题

内容加载中请稍等...

浏览历史

内容加载中请稍等...
;
使用帮助 返回顶部