基于大数据技术的日志统计与分析系统研究

随着大数据时代的来临,网络数据呈现爆炸式增长,IDC数据表明,全球企业数据正以62%的速度逐年增长,大量数据当中隐藏着巨大的商业价值,引起了企业的广泛关注。然而,大数据给数据的同步、存储、和数据统计分析带来了一定的问题和困难。本文旨在实现基于大数据技术的日志统计分析系统,解决了现有的工具逐渐无法有效的处理大量数据的问题。本文在对此系统进行需求分析的基础上,设计了以多个分布式集群为基础,数据源层、存储层、计算层相互融合的体系结构,设计并实现了日志数据转码、日志传输、自动识别新文件的产生、日志存储、数据查询的功能。日志数据转码对于GBK格式编码的日志进行格式转换;日志传输提供数据从不同终端到储存系统的数据收集、聚合和移动,以便模拟生产环境中数据实时产生的过程;自动识别新文件的产生,不同模块之间完成通信加载数据功能。本文综合使用了大数据生态圈的各种开源技术,包括Hadoop、Flume NG、Kfaka、Sqoop、Hive、My SQL。从日志数据的收集同步,到日志的存储和计算分析,到最终分析结果的查询,涵盖了使用大数据技术进行日志统计分析的典型流程。本文使用开发语言Java和shell脚本语言,开发工具为Intelli J IDEA,VIM。在多台Cent OS6.5机器之上搭建集群,进行分布式存储和计算。用户通过统计分析系统进行日志同步、传输、任务提交和调度、结果查询等操作。