基于Libpcap的局域网流量测量系统设计与实现

介绍了基于Libpcap和BPF包过滤器进行软件抓包的原理;针对局域网环境,在不使用专门的硬件设备前提下,设计并实现了基于Libpcap进行数据采集的流量测量系统。系统中区分了国际国内的流量,方便网络管理员进行流量控制和计费。最后,考虑了不同局域网环境下的部署问题。

分布式网络中连续时间周期的全局top-K频繁流测量

在分布式网络中,测量top-K频繁流对资源分配、安全监控等应用至关重要。现有的top-K频繁流测量工作存在不适用于测量分布式网络流量或只考虑单时间周期等局限。为此,提出了分布式网络中连续时间周期的全局top-K频繁流测量方案,在分布节点中布置了紧凑的概率数据结构来记录网络流信息,每个时间周期结束后分布节点向中心节点发送必要信息,中心节点汇聚得到从测量开始至当前时间周期的全局top-K频繁流。考虑到每条流可能出现在一个或多个测量节点,使用了不同的方法来减少传输开销。对于每条流只会出现在单一节点的情况,采用传输分段最小值的方法来获得阈值,实验结果表明这种方法减少了全量传输超过50%的传输开销。对于每条流会出现在多个节点的情况,提出了多阶段无误差处理方法和单阶段快速处理方法,分别应对不能容忍误差的场景和实际高速网络流量,相比每个时间周期都使用已有单周期方法,传输开销的实验表现降低了两个数量级。最后还提出了一种利用历史平均增值信息降低通信延迟的方法,实验结果表明该方法有效降低了限制信息的平均相对误差。

基于多采集器网络流量测量系统的设计与实现

网络流量1测量系统提供了一种测量和理解网络流量特性的工具。该文首先介绍了网络流量测量系统框架和当前流行的抓包构件BPF的原理,深入分析了造成基于BPF构件的被动网络测量系统可能的丢包因素,并给出了相应的解决办法;设计和实现了一种基于多采集器的网络流量测量系统;测试表明,与基于单采集器的被动网络流量测量系统相比,该系统明显减少了采集器端的丢包率,提高了系统测量的准确性。

基于支持向量机的Internet流量分类研究

准确的网络流量分类是众多网络研究工作的基础,也一直是网络测量领域的研究热点.近年来,利用机器学习方法处理流量分类问题成为了该领域一个新兴的研究方向.在目前研究中应用较多的是朴素贝叶斯(nave Bayes,NB)及其改进算法.这些方法具有实现简单、分类高效的特点.但该方法过分依赖于样本空间的分布,具有内在的不稳定性.因此,提出一种基于支持向量机(support vector machine,SVM)的流量分类方法.该方法利用非线性变换和结构风险最小化(structural risk minimization,SRM)原则将流量分类问题转化为二次寻优问题,具有良好的分类准确率和稳定性.在理论分析的基础上,通过在实际网络流集合上与朴素贝叶斯算法的对比实验,可以看出使用支持向量机方法处理流量分类问题,具有以下3个优势:1)网络流属性不必满足条件独立假设,无须进行属性过滤;2)能够在先验知识相对不足的情况下,仍保持较高的分类准确率;3)不依赖于样本空间的分布,具有较好的分类稳定性.

流测量中基于测量缓冲区的时间分层分组抽样

NetFlow是流测量中广泛应用的解决方案,但NetFlow的抽样方法存在一定的缺陷:泛洪攻击时消耗路由器过多的资源;用户很难选择适合所有流量组成情况的静态抽样率,以平衡资源消耗量和准确率.提出了一种易于实现的分组抽样方法.该方法利用测量缓冲区对定长时间内到达的分组进行固定数量的抽样,既可以使抽样率自适应于流量变化,又可以控制资源的消耗.证明了抽样估计的无偏性,并推导出估计值相对标准差的理论上界.实验结果表明,与已有方法相比,该方法在具有简单性、自适应性及资源可控性的同时不会失去准确性.

基于机器学习的IP流量分类研究

IP流量分类是Internet研究和流量工程的重要基础,近年来网络应用类别和Internet流数量在快速增长。流量分类技术不断面临新的挑战。对基于机器学习的IP流量分类方法进行了系统性研究。给出了这类流量分类方法的数学描述;通过深入研究有监督和无监督机器学习方法在流量分类中的应用,从数据预处理、模型构建和模型评估3个方面评述这类技术的研究现状,并指出存在的问题;总结得出现阶段基于机器学习的IP流量分类技术存在数据偏斜、标识瓶颈、属性变化和实时分类等4个方面的共性问题;最后展望了流量分类技术的未来发展方向并介绍了作者正在进行的工作。

高速主干网测量系统的设计与实现

网络测量是监控管理网络的基础。高速网流量采集和数据归并是它的难点问题之一。文章以CERNET网络管理与流量计费为背景，实现了一种高性能可扩展的网络被动测量系统Linuxflow。

高速网络流量测量方法

高速网络流量测量是目前实施实时准确地监测、管理和控制网络的基础.基于网络流量测量的应用,将网络流量测量分为抽样方法和数据流方法.从不同的层次,将抽样方法分为分组抽样和流抽样,分别介绍了两类抽样方法;从测度角度介绍了数据流方法.详细介绍了高速网络流量测量的常用数据结构,以及抽样、数据流方法在高速网络流量测量中的应用,比较了各种方法的优劣.概述了高速网络流量测量技术的研究进展.最后,就现有的网络流量测量方法的不足,对网络流量测量的发展趋势和进一步的研究方向进行了讨论.

基于C4.5决策树的流量分类方法

近年来,利用机器学习方法处理流量分类问题成为网络测量领域一个新兴的研究方向.在现有研究中,朴素贝叶斯方法及其改进算法以其实现简单、分类高效的特点而被广泛应用.但此类方法过分依赖于样本在样本空间的分布,具有潜在的不稳定性.为此,引入C4.5决策树方法来处理流量分类问题.该方法利用训练数据集中的信息熵来构建分类模型,并通过对分类模型的简单查找来完成未知网络流样本的分类.理论分析和实验结果都表明,利用C4.5决策树来处理流量分类问题在分类稳定性上均具有明显的优势.

基于决策树的流量分类方法

近年来,利用机器学习方法处理流量分类问题已成为网络测量领域一个新兴的研究方向。在目前研究中应用较多的是朴素贝叶斯方法及其改进算法,但这些基于贝叶斯定理的分类方法过于依赖样本空间的分布,具有潜在的不稳定性。为此,引入C4.5决策树方法来处理流量分类问题。C4.5决策树方法利用信息熵来构建分类模型,无须假设先验概率的稳定。实验结果表明C4.5决策树方法可以有效避免网络流分布变化所带来的影响。

基于交通网络的湖南旅游流空间集聚与扩散测度研究

测度旅游流空间集聚与扩散的常规方法需要旅游流流向数据,这类数据获取困难且可信度难以保证,空间数据分析是缓解该难题的可选方法。1999—2011年湖南地级旅游流空间集聚的探索性分析表明,旅游流在近10年来显著地向长株潭地区集聚并以其为中心向周边地区扩散,但湘西地区接受扩散效应的能力还比较弱;高速公路、高速铁路和空中交通网络对旅游流集聚与扩散的贡献度非常大。因此,湖南需要从3个方面着力优化大湘西快速交通网络,充分利用旅游流的空间扩散效应,在旅游资源富集的大湘西地区形成旅游产业集群。

一种基于两级存储结构的网络流量测量算法

为了准确而完备地测量高速骨干网中各条流的流量,需要容量大且速度快的存储器来保存所有流的状态信息,因而代价极高。该文提出了一种基于两级存储结构的网络流量测量算法。两级存储结构由容量小但速度快的一级存储器和容量大但速度慢的二级存储器构成。考虑到网络流量分布的Quasi-Zipf法则,测量算法尽量将大流量流的状态信息保存在一级存储器中,将小流量流的状态信息保存在二级存储器中,较好地解决了存储器容量和速度之间的矛盾。仿真结果表明,与抽样测量相比,该算法具有较小、较平均的测量误差。

基于MGCBF算法的长流信息统计

为提高流测量系统的运行效率,减小其所需存储资源,在分析网络中流长分布特性的基础上,提出一种新的用于测量长流数量并维护其流信息的算法———多粒度计数bloom filter(MGCBF).利用较少的固定存储空间,MGCBF可以在保持较小误差比例的情况下,对所有到达的流基于报文计数.在MGCBF算法的基础上以指定报文数为阈值建立了一个长流信息统计模型,并对该模型所需的存储空间、计算复杂度和计算误差进行了分析和讨论.通过将其分别应用于来自不同网络的TRACE:CERNET和CESCAI,验证了该算法在保证测量精度的同时可以大幅度减小维护流信息所需的系统资源.

网络数据流流量测量新方法

针对现有的数据流流量测量概率多重计数方法空间复杂度高和空间利用率低的问题,提出了一种基于两层位域的数据流流量测量方法.该方法分为两个步骤:数据捕获阶段.将到达数据包采用两个独立的哈希函数分别映射至两层位域;数据恢复阶段.对位域恢复得到的两个虚拟矩阵按位取交集,消除哈希碰撞引起的误差.实验结果表明,和概率多重计数方法相比,两层位域方法在存储空间降低75%的前提下,仍具有高的数据流估算精度.

NESP中测量工具的研究与实现

测量工具是进行网络测量研究的前提和基石。提出了NESP中测量工具的分层结构,给出了基于CoralReef的流测量工具的实现,简单介绍了CoralReef软件包并描述了相关的性能优化技术。为NESP中测量工具的设计和实现提供了总体的框架和方法,对NESP扩充和集成测量工具具有参考价值和指导作用。

网络流量测量的研究与实现

网络流量测量是研究网络行为和网络流量特性的有效方法。文章探讨了网络流量测量的关键技术,提出了网络流量测量基于FPGA的硬件实现方法,给出了网络流量测试仪的结构和设计,及其测量中误差的处理方法。

NAT环境中业务流测量的实现

网络地址翻译（NAT）技术是Internet上最常见的网络技术之一。论文就如何在NAT环境下实现网络测量进行了深入的研究，探索了穿透NAT以实现网络业务流测量的方法及技术难点，并给出了具体的实现。

面向骨干网流量分析与管理的计数器结构

针对高速骨干网流量分析与流量管理对大规模高速统计计数器的需求,提出了一种简单、高效的主动式计数器结构——DALCA,其新颖之处在于对计数器向量进行分层,除第1层外,其他各层子计数器向量采用多级哈希表的形式进行组织,获得了良好的空间效率和时间效率.与现有的主动式计数器结构BRICK相比,DALCA的空间效率与其接近,但是时间效率明显优于BRICK.采用真实的骨干网流量数据,通过仿真实验对DALCA的性能进行了评估,结果表明:执行查询操作时,DALCA的访存带宽需求约为BRICK的1/10;执行更新操作时,DALCA的访存带宽需求约为BRICK的1/6.

基于流的校园局域网流量统计方案设计

文中系统介绍了流的概念,研究了Linux系统下基于Libpcap的流量采集原理。对校园局域网流量统计方法进行了分析,并提出了基于流的校园局域网流量统计方案,最后给出了方案的总体设计和算法实现。

基于邻接矩阵的网络流量检测点选取算法研究

为对网络流量进行有效检测,考虑网络节点的流守恒,把网络流量检测点选取问题抽象为无向图的弱顶点覆盖问题.基于图论中邻接矩阵的概念,在满足对任意顶点度数大于2的假设条件下,提出一个求解弱顶点覆盖问题的近似算法.通过将求解弱顶点覆盖集中点与边的关系转化为点与点的关系,降低了矩阵计算复杂度.仿真实验表明,与现有算法相比,新算法能够选取出更小的弱顶点覆盖集,部署更少的网络流量检测点,减轻了由网络流量数据收集造成的额外负担.