高速网络超连接主机检测中的流抽样算法研究

检测超连接主机是网络安全中的重要问题.而流抽样是高速网络环境下解决该问题的基础.现有解决方案使用基于哈希流抽样算法,其基本假设是存在均匀随机哈希函数.但是已有研究并没有评价此假设的合理性.该文通过技术分析和实验测试得出结论:在2.5Gbps以上高速网络中,以上假设在线性流ID序列情况下并不合理.随后,该文基于Bloom filter数据结构提出一种新的流抽样算法.算法分析表明:新算法具有10Gbps线速处理能力和较小的空间复杂度.最后,该文基于实际互联网数据进行实验评价,结果显示:新算法能够实现独立于流ID的等概率随机抽样.

一种面向流量异常检测的概率流抽样方法

针对基于概率抽样的网络流量异常检测数据集构造过程中无法同时兼顾大、小流抽样需求及未区分flash crowd与流量攻击等问题,该文提出一种面向流量异常检测的概率流抽样方法。在对数据流按目的、源IP地址进行分类的基础上,将每类数据流抽样率定义为其目的、源IP地址抽样率的最大值,并在抽样过程中对数据流抽样数目向上取整,保证每类数据流至少被抽样一次,使抽样得到的数据集可有效反映原始流量在大、小流和源、目的IP地址方面的分布性。采用源IP地址熵刻画异常流源IP地址分散度,并基于源IP地址熵阈值设计攻击流抽样算法,降低由flash crowd引起的非攻击异常流抽样概率。仿真结果表明,该方法能同时满足大、小流抽样需求,具有较强的异常流抽样能力,可抽样到所有与异常流相关的可疑源、目的IP地址,并能在抽样过程中过滤非攻击异常流。

基于DCF的资源可控流抽样

Cisco的NetFlow是流测量中广泛应用的方案,但因其采用静态抽样率,当网络流量突然上升时,消耗过多的路由器资源,甚至影响路由器的正常转发功能。提出了基于DCF的资源可控流抽样,对测量间隔内到达的报文采取固定数量的抽样,并采用DCF哈希算法维护流记录,有效控制了资源的消耗。理论和实验分析结果表明,该方法具有抽样率自适应性、简单性、资源可控性,同时不失准确性。

基于Counting Bloom Filter的流抽样算法研究

为适应高速网络环境并实现对网络流量的准确测量,提出一种将计数型布隆过滤器结构与基于报文的流抽样技术相结合的网络流等概率抽样算法。利用4 bit的Counter向量识别是否有新流出现,通过实时调整抽样频率弥补新流判定中的错误率,从而对网络流进行等概率抽样并获取较真实的网络流分布情况。实验结果表明,该算法的测量结果与网络流真实值较接近,且具有可扩展性,可以满足当前复杂多变的高速网络环境下的流量测量需求。

基于Bloom Filters的流抽样算法研究

本文提出了基于Bloom Filters的流抽样算法,对测量间隔内到达的报文进行抽样,并采用Bloom Filters哈希结构映射到流信息表来创建和维护流信息。该方法具有灵活性、简单性,在误差允许的情况下,有效地减少了流测量所需的存储空间。

基于DCBF的流抽样测量算法

为了提高系统的处理效率,减少系统的测量误差,提出了一种基于动态计数型布鲁姆过滤器(Dynamic Counting Bloom Filter,DCBF)的流抽样测量算法。该算法使用基于报文级别的抽样,并通过DCBF进行流查找和统计,且在CBF计数器溢出时动态增加新的CBF。经理论分析和实验表明,该算法不仅提高了系统的运行效率,减少了存储空间的消耗,同时具有准确性和可扩展性,能很好地适用于高速链路的流量测量中。

基于两层自适应超时策略的资源可控流抽样

NetFlow是流量测量中广泛使用的技术,但其采用固定的抽样率,在流量较大时消耗过多的系统资源,而在流量较小时造成资源利用不足,且在实际应用中缺乏一定的资源保护机制。为解决其缺陷,提出一种基于两层自适应超时策略的资源可控流抽样测量方法。该方法首先根据时间进行分层,对定长单位时间内的报文进行固定数量的随机抽样,并对其进行流统计,最后用两层自适应超时策略控制流的输出。理论分析和实验表明,该抽样方法不仅具有准确性、简单性和资源可控性,而且从很大程度上提高了"流cache"的利用率。

基于CBF流抽样的网络安全

现有网络中常存在DDOS、恶意端口及IP扫描、蠕虫等异常产生大量的只包含1个数据包的流量.针对高速网络流量特点及网络异常导致的流量突然上升,提出了一种改进的基于CBF的流抽样算法.该算法对定长时间内到达的数据包进行固定数量的抽样,使抽样率能适应于流量变化,并可控制资源的消耗,尤其当泛洪攻击、DDOS攻击等导致大规模异常网络流量出现时,能有效保护路由器的处理器和内存资源以及传输流记录所需的带宽资源,同时又不失简单性和准确性.

软件定义网络面向异常流提取的自适应流抽样算法

针对现有传统网络流量抽样技术难以应对动态多变的高维度流量数据,造成大量网络资源开销且无法保证小流的抽样精度,对异常流感知能力较弱的问题,提出一种基于软件定义网络面向异常流提取的自适应流抽样算法。经仿真实验佐证,该算法能在确保抽样精度的同时减轻网络负载与通信开销,对异常流提取能力显著提升。

一种面向不均衡网络流的综合抽样方法

针对互联网流量中短流数量多但承载信息少、长流数量少但承载报文数多的特点,提出了一种面向不均衡网络流的综合抽样IS(Integrated Sampling)方法。IS方法首先采用容量固定的高速缓存实现有限时间窗口内报文的实时归并,在此基础上,IS方法采用可部分重构的哈希函数实现单报文流聚类,采用流长和时间组合赋权的权值更新模块和频繁项模块共同实现频繁项流的抽取,对于网络中的其他流量,IS方法通过多个蓄水池模块实现蓄水池分段抽样。实验证明,相对于单一的抽样方法,IS方法在相同缓存下能够抽取出更为丰富地网络流信息,算法能够实时应用于高速网络中。

基于抽样和数据流算法的超点检测(英文)

为了提高超点检测的精度并控制测量资源的使用,提出了一种基于抽样和数据流算法的超点检测方法.该方法通过抽样从概率上保证发送或接收大量流的节点能被检测,同时采用数据流技术建立了IPtable和流BF(BF)两个数据结构.其中IPtable结构用于判断IP是否已经被创建,如果已经被创建,则将属于该IP的所有后续的流记录在流BF结构中;如果IPtable结构中不存在该IP记录,则对属于该IP的流进行抽样.对提出方法的精度和内存需求从理论上进行了分析,并采用CERNET数据进行验证.理论分析和实验测试表明,提出的超点检测算法的测量误差基本控制在5%以内,而其他算法的误差在10%左右.另外,由于使用BF数据结构,提出的算法在使用空间上也优于其他算法.

基于抽样流记录的RTT估计

往返时延(RTT)是网络测量中的一个重要测度,是刻画网络性能的重要指标.传统的RTT测量都是基于报文的,需要专门的主动或被动测量平台的支持.提出一种新的RTT估计方法,仅使用现有路由器设备提供的流记录,不需要额外的网络测量设施.通过对TCP块状流传输特性的分析,分别建立了当套接字缓冲区长度与带宽延迟积BDP相对较小、较大和相近这3种情况下的RTT估计模型.实验结果表明,这些模型都能很好地完成RTT估计.同时,由于在估计当中只使用了流持续时间和总报文两个变量,因此,该方法同样适用于以抽样流记录为输入的环境,能够有效地应用于现有的大规模主干网环境的网络检测与管理.

基于抽样流长与完全抽样阈值的异常流自适应抽样算法

高速IP网络的流量测量与异常检测是网络测量领域研究的热点。针对目前网络流量测量算法对小流估计精度偏低,对异常流量筛选能力较差的缺陷,该文提出一种基于业务流已抽样长度与完全抽样阈值S的自适应流抽样算法(AFPT)。AFPT算法根据完全抽样阈值S筛选对异常流量敏感相关的小流,同时根据业务流已抽样长度自适应调整抽样概率。仿真和实验结果表明,AFPT算法的估计误差与理论上界相符,具有较强的异常流量筛选能力,能够有效提高异常检测算法的准确率。

高速网络流量测量方法

高速网络流量测量是目前实施实时准确地监测、管理和控制网络的基础.基于网络流量测量的应用,将网络流量测量分为抽样方法和数据流方法.从不同的层次,将抽样方法分为分组抽样和流抽样,分别介绍了两类抽样方法;从测度角度介绍了数据流方法.详细介绍了高速网络流量测量的常用数据结构,以及抽样、数据流方法在高速网络流量测量中的应用,比较了各种方法的优劣.概述了高速网络流量测量技术的研究进展.最后,就现有的网络流量测量方法的不足,对网络流量测量的发展趋势和进一步的研究方向进行了讨论.

网络自适应公平分组抽样算法研究

针对SGS(sketch guided sampling)的缺陷,提出了一种网络自适应公平抽样算法。根据抽样分组估计出值流量大小,并依据该值调整抽样比,使之适应于流量变化,从而达到对各种流的公平抽样的效果。对算法的相关性质进行了证明与分析,基于实际互联网数据进行了实验比较,实验结果表明,该算法具有准确性、自适应性、易于工程实现等优点。

基于自适应抽样的超点检测算法

超点是在一个测量时间区间内链接了大量源IP(宿IP)的宿IP(源IP),实时超点检测对网络安全和管理具有重要意义.现有的算法不能控制内存空间的使用和超点的测量精度,论文提出了一个具有自适应抽样功能的超点实时检测算法.该算法采用流抽样保留技术以减少非超点的测量并提高超点的测量精度;设计一个数据流结构维护流记录,并统计补偿Hash映射中产生的冲突;提出一个基于不等概率的自适应策略以维护内存空间.采用实际网络数据将论文的算法和其他算法进行分析比较,实验和数学分析表明论文算法在资源可控性、测量精度等方面优于现有的其他算法.

基于自相似的异常流量检测模型

现行网络中存在诸多影响网络安全和服务性能的异常流量,异常流量的存在不仅影响用户的正常使用,而且会造成网络拥塞和网络瘫痪,甚至会篡改和破坏用户及服务器的数据,造成不可估量的损失。为及时发现这些流量,设计了一个基于自相似特性的异常流量检测模型。根据现行网络流量大速度快等特点,该模型设计分为简单流分类模块、自适应抽样模块、实时估计Hurst参数模块以及异常流量判断模块四部分。设计的此检测模型能够在很大程度上保证网络流量检测的准确性和高效性。