Hadoop集群部署实验的设计与实现

阐述了Hadoop软件框架中的两大核心技术——HDFS分布式文件系统架构和MapReduce分布式处理机制,设计了Hadoop集群部署实验的具体方案,主要包括实验目的、实验区域的划分、节点的规划等,并且以一组实验设备为例,详细说明了配置方法,给出了实现过程。通过该实验能够让学生从理论和实践上掌握Hadoop有关的技术知识。

Hadoop HDFS和MapReduce架构浅析

在简述Hadoop namenode、datanode运行模式的基础上,重点介绍了Hadoop MapReduce的工作机制,并以作业提交、作业初始化、任务分配、任务执行和任务进度更新等流程介绍了Job Client、JobTracker、TaskTracker和HDFS在MapReduce过程中的分工与协作,最后,对云计算作出展望。

Hadoop在电信运营商经营分析系统中应用的研究

随着互联网发展带来的数据爆炸,很多企业都使用分布式文件系统来搭建高性能和高扩展性的应用,存储自身海量的数据并加以分析。Hadoop就是目前比较主流的开源分布式文件系统之一,它支持海量数据存储、可扩展性强、容错性强、可以运行在廉价的商用机器上,是大多数企业的首选。本文通过在电信运营商经营分析系统中引入Hadoop分布式技术,改变了经分系统中小型机加关系型数据库的传统架构,解决了经分系统中海量非结构化数据分析的问题,对电信运营商实现高效率地从海量日志里挖掘出有价值的信息具有重要的意义。

基于Ambari的Hadoop集群部署实验的设计与实现

首先阐述了Hadoop分布式系统架构的基本概念及核心技术—HDFS分布式文件系统和MapReduce分布式计算框架,以及Apache Ambari分布式集群部署管理工具。设计了使用Apache Ambari快速部署Hadoop集群实验的具体方案,主要包括实验对象,实验目的,实验设备及软件,节点划分等。以具体实验为例,详细说明实验的配置方法,列出实验中出现的问题及解决方法,并给出整个过程。通过该实验能够使学生掌握Hadoop基本知识和相关技术,为后续课程的学习奠定基础。