-
题名Web服务器日志统计分析完全解决方案
被引量:1
- 1
-
-
作者
李翔
王莉
-
出处
《开放系统世界》
2003年第2期45-50,共6页
-
-
关键词
WEB服务器
日志统计分析
INTERNET
WWW
网站
计算机网络
-
分类号
TP393.4
[自动化与计算机技术—计算机应用技术]
-
-
题名基于大数据技术的日志统计与分析系统研究
被引量:5
- 2
-
-
作者
马延超
王超
李尚同
-
机构
北京信息科技大学计算机学院
江苏省徐州市公安局科技处
-
出处
《电脑知识与技术》
2016年第12期9-11,共3页
-
基金
由北京信息科技大学2016年人才培养质量提高经费(5111610800)支持
-
文摘
随着大数据时代的来临,网络数据呈现爆炸式增长,IDC数据表明,全球企业数据正以62%的速度逐年增长,大量数据当中隐藏着巨大的商业价值,引起了企业的广泛关注。然而,大数据给数据的同步、存储、和数据统计分析带来了一定的问题和困难。本文旨在实现基于大数据技术的日志统计分析系统,解决了现有的工具逐渐无法有效的处理大量数据的问题。本文在对此系统进行需求分析的基础上,设计了以多个分布式集群为基础,数据源层、存储层、计算层相互融合的体系结构,设计并实现了日志数据转码、日志传输、自动识别新文件的产生、日志存储、数据查询的功能。日志数据转码对于GBK格式编码的日志进行格式转换;日志传输提供数据从不同终端到储存系统的数据收集、聚合和移动,以便模拟生产环境中数据实时产生的过程;自动识别新文件的产生,不同模块之间完成通信加载数据功能。本文综合使用了大数据生态圈的各种开源技术,包括Hadoop、Flume NG、Kfaka、Sqoop、Hive、My SQL。从日志数据的收集同步,到日志的存储和计算分析,到最终分析结果的查询,涵盖了使用大数据技术进行日志统计分析的典型流程。本文使用开发语言Java和shell脚本语言,开发工具为Intelli J IDEA,VIM。在多台Cent OS6.5机器之上搭建集群,进行分布式存储和计算。用户通过统计分析系统进行日志同步、传输、任务提交和调度、结果查询等操作。
-
关键词
大数据
网络数据
日志统计分析
流程自动化
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-