基于泊松分布的报文抽样性能衡量

提出了事件触发的泊松抽样测量过程.从平均报文长度、报文长度分布及总通过量等方面对时间触发和事件触发的2种泊松抽样技术进行了性能衡量,分析结果表明,基于事件触发的泊松抽样性能优于基于时间触发的泊松抽样性能,且事件触发抽样平均测量误差是时间触发测量误差的1/2～1/3,而抽样算法复杂度仅为O(n),因而更适合于将来的高速网络精确测量环境.

利用报文抽样和可逆的Bloom Filter实现长流识别

针对高速网络的发展和利用哈希技术在识别长流时难以还原主机信息的问题,提出了利用报文抽样和可逆的Bloom Filter识别长流的算法。采用带有部分主机信息的哈希函数,利用哈希串的重叠和数量上的一致性,能够很方便的还原出主机的信息。给每个哈希函数独立的存储空间,在很大程度上减少了哈希过程所带来的内部冲突。实验结果表明,这种算法可以精确地获得长流的标识与长度信息。

报文抽样测量技术及应用

报文抽样技术是高速网络流量测量和网络QoS管理中使用的一项关键技术。本文从报文抽样的数学理论出发,对数学推导的重要结论进行了讨论和分析;然后在研究了当前各种报文抽样策略、机制及简单性能衡量之后,分析了当前的报文抽样技术发展现状;随后对报文抽样的新进展进行了讨论;最后阐述了报文抽样技术的发展趋势及其在现代网络测量、管理中的应用情况。

利用报文抽样和二次哈希方法实现长流识别

识别长流对于网络操作和网络管理有着重要的意义。本文给出了利用报文抽样和二次哈希方法识别长流的算法。使用二次哈希的方法,极大的减少了哈希过程中的冲突。实验结果表明,该算法可以精确地获得长流的标识,并通过估计的方法得出的长度信息接近其真实值。

基于近似方法的抽样报文流数估计算法

维护每个报文的流记录需要占用大量测量资源.目前已有多种抽样技术估计网络流统计信息,然而精确地估计出流数统计信息是目前的研究难点.提出了Integral和Iteration两种基于报文抽样样本估计网络流数的算法.Integral算法只需使用抽样流长为1的流数信息就可以近似推导出未抽样的流数.Iteration算法通过建立迭代函数估计未抽样流数,然后根据未抽样流数和已抽样的流数推断出原始流量的流数.采用CERNET(China education andresearch network)骨干网络链路数据将这两种算法与EM(expectation maximization)算法进行对比,表明Iteration算法具有较好的精度和性能.

改进型分层抽样技术及性能研究

报文抽样技术是高速网络流量测量和管理中使用的一项关键技术。通过引进分层特征、层数L、分层边界、各层样本量分配、层内抽样策略5个分层抽样参数,并对其进行重新配置和简单理论探讨,实现对分层抽样技术的改进。同时使用简单线性估计推断原始流数据,并借助于Φ偏差检验方法,对改进的分层抽样技术和其它抽样技术在测量网络报文长度分布方面进行准确性性能比较。结果表明,改进的分层抽样技术在测量报文长度分布方面的准确性性能远高于其它抽样方式,提高了测量的精度。

基于分层抽样的高速网络吞吐率测量

在测量精度要求较高时,随机抽样流量测量的样本容量仍然很大,仍会造成一定程度的资源负担和测量开销上的问题。针对前面这种简单抽样策略的局限性,提出了一种基于报文分层抽样的高速网络吞吐率测量技术,并对分层抽样参数的选取及其理论进行了探讨;从网络吞吐率测量的角度对分层抽样与简单随机抽样的测量性能进行比较。结果表明,在相同样本容量的情况下,分层抽样测量精度几乎平均是简单随机抽样精度的9倍,且算法复杂度仅为O(n),有效解决了高速网络测量环境中测量效益不高的问题。这种基于分层抽样的测量技术还可以用于其他网络流量参数的测量。

改进型链路负载自适应抽样测量算法

为了提高网络负载测量的效益和灵活性,在对自适应控制理论及实际流量特征进行研究后,提出了一种改进型的网络负载自适应抽样测量算法,并对该算法的优越性及改进前后算法的性能对比进行了仿真研究.结果表明,改进型算法不仅降低了测量开销,而且还可将测量精度提高40%以上.另外,该算法可提供不同可视化粒度输出,使网络负载测量具有更大的灵活性和可操作性,更适宜于高速、高突发程度的网络测量环境.

采用流抽样方法的网络性能测试模型

随着计算机网络技术和网络应用的发展,网络设备的性能测试已成为研究的热点课题.长时间性能测试中的结果提取和存储,是网络性能测试的关键点和难点.分析了网络性能测试的方法和高速性能测试中的关键问题,提出了网络性能测试模型.通过基于“流”的报文抽样方法,有效解决了长时间性能测试中的结果提取与存储问题.最后,该文通过具体实验分析了模型架构的可行性及抽样技术的有效性.

基于抽样和哈希技术的长流测量安全算法研究

在互联网中理解网络行为最高效的途径即是对网络数据流量进行安全检测与分析,它是对已有互联网的组建、规范化和改造的依据,同时也是对Internet进行安全检测的重要环节。为了解决网络中的资源和高速IP流量之间的冲突问题,需要对网络流进行多种方式的安全处理与算法研究。论文首先提出了改进的数据抽样技术并综合论述了现阶段基于抽样技术的数据测量算法的研究,同时通过对重要数据参数的重新设置和分析,并结合使用多种数据取样的方法,探讨改进的数据空间映射技术,与现阶段的各种取样方式,在测量网络长流算法中的综合应用^([1])。

基于抽样和哈希技术的长流测量算法研究

在互联网中理解网络行为最高效的途径即是对网络数据流量进行检测与分析,它是对已有互联网的组建、规范化和改造的依据,同时也是对Internet进行检测的重要环节。为了解决网络中的资源和高速IP流量之间的冲突问题,需要对网络流进行多种方式的处理与算法研究。本文首先提出了改进的数据抽样技术并综合论述了现阶段基于抽样技术的数据测量算法的研究。同时通过对重要数据参数的重新设置和分析,并结合使用多种数据取样的方法,探讨改进的数据空间映射技术与现阶段的各种取样方式在测量网络长流算法中的综合应用。

流测量算法综述

理解网络行为对于网络管理、规刬和发展都有重要意义,而流测量是了解网络行为的基础。由于网络的高速与流数量的巨大,使得实时在线的流测量变得很困难。因此各种流测量技术、流测量算法成为研究热点。文章综述了目前利用抽样和哈希技术在流识别和流分布方面取得的成果,并分析了各种算法的优缺点。最后分析了抽样与哈希技术的长处与不足,提出了多种技术相结合的研究方向。

基于卡方统计的应用协议流量行为特征分析方法

引入统计理论中的卡方统计检验,提出一种通用的应用协议流量行为特征分析方法——ABSA(application behavior significance assessment).该方法不针对特定的应用协议,旨在提出描述各应用协议间行为测度分布差异情况的统一量化标准,使其可进行比较,从而判断各协议的流量行为特征,并评估相应的显著程度.理论分析及实验结果表明,ABSA方法不仅可以为协议识别提供更丰富、更准确的特征信息,优化协议识别的结果,而且保证特征显著程度的评估与协议样本在总样本中所占的比例无关,并可用于NetFlow等路由器所用的报文抽样环境下,保持以任意比例抽样后的特征相对显著程度顺序评估结果不变,简化了抽样比变化时的特征重选择过程.

基于贝叶斯更新机制的流量分类算法

准确的网络流量分类是一系列网络管理活动的重要基础。近年来,利用机器学习的原理处理流量分类问题成为网络测量领域的研究热点,其中朴素贝叶斯方法因分类速度快,实现简单等优点而被广泛应用,但随着网络流量的变化和网络类别的增加,该方法的分类准确性和鲁棒性随着时间增长而逐渐降低,引入了一种新的流量分类模型更新方法,通过对模型的更新训练提升其分类性能,并保证模型应用的稳定性。理论分析和实验结果都表明:该方法能够使流量分类模型随着时间的增长而保持良好的总体性能,且不易受报文抽样的影响,能为其他诸多网络活动提供相应的支持。

基于TCBF算法的TCP流长度分布统计

为提高流测量系统的运行效率,减少其所需资源的消耗,在分析了TCP连接的释放以发送FIN报文或RST报文作为结束标志的基础上,提出一种新的报文过滤算法TCBF(time-outcounting bloom filter),用于统计TCP流长度分布.通过对有结束标志的流、没有结束标志的中长流和没有结束标志的中短流分别采用不同的统计处理方式,增加了网络测量性能,提高了测量系统的资源利用率.该算法不需要收集所有报文,而是只需要抽样少量报文即可对流长度做出统计.理论分析和仿真结果表明,TCBF算法在使用较少的存储空间的条件下,可以及时准确地对TCP流长度分布做出统计,满足实际测量需要.

基于最小二乘法的流长度分布估计方法

为了得到未抽样流的分布特征,提出一种新的由抽样报文流数据来估计原始未抽样流长度分布的方法.首先分析了产生一个定长抽样流的原始流的概率分布模型,并根据这个概率分布特征给出了长流一个非常简单的估计.然后构造了关于短流的方程组,利用流的重尾分布特性和最小二乘法对该方程组进行求解,得到了短流的估计.理论分析表明该估计方法有效地控制了时间复杂程度,实验测试结果也表明该算法对于分布的估计是精确的,估计精度与EM算法相当.

一种新的估计流长度分布的方法

为提高流测量系统的运行效率,减小其所消耗资源,提出了一种新的用于测量流长度分布的估计方法。对到达的报文进行抽样后,用两个哈希函数来确定更新相应计数单元的值,定期收集计数空间中的数据进行离线处理。利用EM算法和最小二乘法,得到了流长度分布。通过应用于来自不同网络的数据进行实验测试,实验结果表明该模型对于流分布的估计是精确的。

基于迭代方法的流数估计算法

流数估计是网络管控的重要参考尺度,对网络流量全局特征信息的深入挖掘具有重要意义。针对目前已有的多种估计算法以过度消耗测量设备存储资源和计算资源提高估计精度的缺陷,采用报文抽样技术,提出一种新的迭代收敛型估计算法。实验测试表明,该算法在估计精度和内存消耗上优于EM算法,在迭代更新上优于Iteration算法。

一种测量流长度分布的近似方法

为提高测量精度并减少所需资源,提出一种近似的测量流长度分布的方法.通过分析产生一个定长原始流的概率分布,并考虑流的重尾特性对其产生的影响,给出了近似测量流长度分布的测量模型.理论分析和实验结果均表明,该方法在使用抽样技术条件下,可以准确对流长度分布作出统计,满足实际测量需要.