浅析Hadoop 1.0与2.0设计原理

简要介绍了Hadoop发展历史及其版本演进进程;详细阐述了Hadoop 1.0中的HDFS设计理念、架构、读取/写入数据流程和MapReduce架构、任务执行流程,以及Hadoop 1.0功能不足问题;详细阐述了针对Hadoop 1.0功能不足问题,Hadoop 2.0所做的增强功能应对方案,包括NameNode HA方案、HDFS Federation方案和YARN设计原理等。

电信运营商DW/BI系统发展探讨

随着大数据时代的来临,越来越多的企业认识到数据作为其核心资产所蕴含的价值。数据仓库/商业智能(DW/BI)系统作为数据服务平台,在发挥数据价值上起到了至关重要的作用。国内三大运营商已经开始或者即将开始建设企业级集中化DW/BI系统。据此从数据仓库技术选型、数据标准化实施策略以及提升自主分析能力3个方面对DW/BI系统的发展提出了建议。

基于开源技术的网络数据采集系统设计

通过分析网络数据采集的特点,提出了网络数据采集系统的设计目标,即支持关键网络指标实时计算和查询、支持多数据源和多消费者、支持实时采集和批量采集且具备线性扩展能力。采用Flume、Kafka、Storm、Hadoop等开源技术完成了系统架构设计。对架构实施可能面临的挑战提出了应对策略。