基于实时大数据分析的流量异常检测研究

本文针对传统流量异常检测方法在大规模数据流下检测力不足的问题,在深入研究相关具有代表性的时间序列机器学习分类算法后,结合先进的流式计算引擎,设计基于实时大数据分析的流量异常检测系统。系统改进了CICFlowMeter流量探针,增加Kafka支持,降低了系统的耦合度。在流式数据预处理阶段,采用Spark Streaming对统计特征数据进行降维和编码。在模型训练阶段,采用CSE-CIC-IDS2018作为模型训练集。系统通过运用多种机器学习算法进行在线检测,实现大规模数据流实时检测和流量异常预警,有助于提升信息系统的安全防护能力。