一种基于Storm及Hadoop的海量日志安全分析系统

针对海量日志流安全分析的问题,设计一种海量日志安全分析系统。该系统将开源框架Storm与Hadoop进行整合,通过正则表达联动检测机制和基于FP-Growth算法的离线关联分析来探测日志流中的网络安全事件,实现识别安全事件无需人工干预。实验结果表明,该系统对各类网络安全事件具有较好的识别效果。

网络访问日志实时分析系统在Storm平台上的实现

针对挖掘用户上网日志热词的需求,本文设计并实现了一个基于Storm的网络日志实时分析系统。经测试,该系统在处理流式日志数据时性能较好,可在少于10s时间内计算300个左右热词,无需人工批处理操作,在性能上和便利性上明显优于离线Hadoop计算。