基于Dijkstra算法分布式JobTracker节点模型通信方式的优化

针对MapReduce框架下JobTracker单点失效而引发的系统运行崩溃问题,通过建立分布式JobTracker节点模型来改善JobTracker的可靠性,并基于Dijkstra算法的单源最短路径思想对新建立模型中主从节点间的通信方式进行优化与改进,使任务节点优先与其最近的不同机架和不同数据中心的3个控制节点进行通信.实验结果表明,分布式JobTracker节点模型能在一定程度上缓解由单JobTracker节点失效引起的作业失败问题,并且改进后的通信方式能够缓解单JobTracker节点存在的瓶颈,均衡JobTracker节点的负载.

Hadoop HDFS和MapReduce架构浅析

在简述Hadoop namenode、datanode运行模式的基础上,重点介绍了Hadoop MapReduce的工作机制,并以作业提交、作业初始化、任务分配、任务执行和任务进度更新等流程介绍了Job Client、JobTracker、TaskTracker和HDFS在MapReduce过程中的分工与协作,最后,对云计算作出展望。

Hadoop集群部署实验的设计与实现

阐述了Hadoop软件框架中的两大核心技术——HDFS分布式文件系统架构和MapReduce分布式处理机制,设计了Hadoop集群部署实验的具体方案,主要包括实验目的、实验区域的划分、节点的规划等,并且以一组实验设备为例,详细说明了配置方法,给出了实现过程。通过该实验能够让学生从理论和实践上掌握Hadoop有关的技术知识。