基于Spark的网络流量异常检测

网络流量异常检测是网络及安全管理领域的重要研究内容,近几年,随着网络攻击种类和数量的增加,传统方法已经很难满足网络异常检测的需求。本文提出了基于Spark的网络流量异常检测方法,通过构建3个节点的IBM Big Insights大数据处理平台,利用Spark提供的K-means聚类算法,实现了对网络流量异常的检测。通过对KDD Cup 1999数据集的测试,本文提出的方法能够识别出异常的网络流量,相比于传统方法,通过大数据平台进行网络流量异常检测的效率及准确性更高,并且为大规模的网络数据检测提供了参考依据。