Hadoop集群部署实验的设计与实现

阐述了Hadoop软件框架中的两大核心技术——HDFS分布式文件系统架构和MapReduce分布式处理机制,设计了Hadoop集群部署实验的具体方案,主要包括实验目的、实验区域的划分、节点的规划等,并且以一组实验设备为例,详细说明了配置方法,给出了实现过程。通过该实验能够让学生从理论和实践上掌握Hadoop有关的技术知识。

Hadoop HDFS和MapReduce架构浅析

在简述Hadoop namenode、datanode运行模式的基础上,重点介绍了Hadoop MapReduce的工作机制,并以作业提交、作业初始化、任务分配、任务执行和任务进度更新等流程介绍了Job Client、JobTracker、TaskTracker和HDFS在MapReduce过程中的分工与协作,最后,对云计算作出展望。

基于Dijkstra算法分布式JobTracker节点模型通信方式的优化

针对MapReduce框架下JobTracker单点失效而引发的系统运行崩溃问题,通过建立分布式JobTracker节点模型来改善JobTracker的可靠性,并基于Dijkstra算法的单源最短路径思想对新建立模型中主从节点间的通信方式进行优化与改进,使任务节点优先与其最近的不同机架和不同数据中心的3个控制节点进行通信.实验结果表明,分布式JobTracker节点模型能在一定程度上缓解由单JobTracker节点失效引起的作业失败问题,并且改进后的通信方式能够缓解单JobTracker节点存在的瓶颈,均衡JobTracker节点的负载.

大数据环境下MapReduce准入控制的设计与实现

为了保证Hadoop平台的安全性,确保执行MapReduce作业的TaskTracker节点符合Hadoop平台的安全管理要求,杜绝非法用户对TaskTracker节点访问并对其分配任务,提出了一种对JobTracker节点进行身份认证的方法,设计实现了对JobTracker节点进行身份认证的认证体系;该认证体系主要是基于802.1x进行准入控制,重点分析了MapReduce分布式计算的流程,提出了总体设计方案,完成了相关模块的配置实现,最终结果显示只有通过认证的JobTracker才能通过交换机的可控端口给相应的TaskTracker节点分配任务,有效地避免了非法用户的访问,增强了Hadoop平台的安全性、可靠性,为建设安全的大数据环境提供了很好的技术支持。

基于负载均衡的MapReduce后备任务上限自适应算法

已有算法采用固定后备任务上限,不能动态适应负载水平变化。针对该问题,提出了基于负载均衡的MapReduce后备任务上限自适应算法。通过计算空闲节点强度和网络带宽分析系统负载水平,不断调整后备任务上限,精确控制后备任务数量,避免因过多空闲节点空载导致资源浪费或过度执行后备任务导致网络拥塞。实验表明,该算法能有效感知系统负载水平,对后备任务数量作出合理调整,并且比原算法在负载均衡和作业响应时间上有明显的提升。