大规模网络异常流量实时云监测平台研究

网络安全问题呈现出隐蔽性越发增强、攻击更加持久、杀伤力波及更广等特征。单一或少数的数据源很难发现更加隐蔽的异常事件,同时一些针对入侵检测的数据挖掘、神经网络、关联规则、决策分类的算法由于算法本身的原因,对于大规模的数据存在计算能力上的瓶颈。文章提出了一种基于大数据平台的大规模网络异常流量实时监测系统架构,并讨论了关键技术和方法。该平台将离线的批处理计算和实时的流式处理计算相结合,通过对流量、日志等网络安全大数据的分析,实现对于DDoS、蠕虫、扫描、密码探测等异常流量的实时监测。

基于IPFIX的大规模网络异常流量检测机制研究

对于大规模网络异常流量检测,由于数据包数量和规模过于庞大,利用传统的深度包检测技术难以在线实时发现网络中存在的攻击,尤其是网络中存在的新型的未知异常流量.本文利用分析IPFIX流量日志,对IPFIX流量进行属性提取,提出了一种改进K-means的算法,用于分析大规模高速网络中未知的异常流量,对于产生的聚类结果加以分析,得出网络中存在的新型的异常流量,并根据类内聚合程度,对类内发现的异常IP进行排查,从而判断攻击源.