开集环境中基于增量学习的网络流量分类研究

面对网络流量新类别不断涌现的挑战,以及随之而来的开集识别和模型更新需求,文章提出了一种基于增量学习的开集网络流量分类方法。对于开集识别,支持向量机和K均值聚类算法的级联结构可以持续识别新类和已知类;对于模型更新,基于候选支持向量筛选的“样本回放”和新旧模型加权融合的“参数回放”方法,能有效解决“有类增量的灾难性遗忘”问题。与ISK和DACS方法相比,该方法应用在开集流量识别和分类任务中表现出显著优势,F1分数能提高1百分点至8百分点,分类速度也优于现有方法。

基于特征选择与改进的Tri-training的半监督网络流量分类

网络流量分类对网络管理意义重大,目前基于机器学习的流量分类方法存在标注瓶颈、样本不平衡的问题。针对这两个问题,提出一种基于特征选择与改进的Tri-training算法结合的半监督网络流量分类模型。根据最大信息系数、皮尔逊系数选择出与类高度相关但彼此不相关的特征,利用改进的Relief F选择出有利于少数类分类的特征,并将选择出的特征组合成最优特征子集缓解不平衡数据对分类的影响。结合集成思想,优化迭代和加权决策改进传统Tri-training算法,利用改进的Tri-training算法解决标注瓶颈问题。在Moore数据集上进行了实验,实验结果表明提出的方法在利用不平衡的少量有标记的数据下在F-measure上达到了95.26%,与先进的机器学习算法和原始Tri-training方法及其一些改进算法相比具有更好的分类性能。

基于卷积神经网络的加密网络流量分类

传统的基于端口和深度包检测系统的方法无法对加密流量进行分类,基于浅层机器学习的方法又存在需要使用人工规则构造特征集、分类性能直接受到特征集质量的影响等问题。这会消耗大量的人力资源,并使流量分类的准确性难以达到预期。近年来,研究人员逐渐将目光转移到深度学习方面。深度学习不需要查看端口和解析流量,也不需要耗费人力提取特征集,是解决流量分类的有效途径。研究基于现实网络信息安全的需求,利用深度学习的方法搭建了一种基于深度学习的加密网络流量分类模型,实现了对加密流量的分类,在准确率、训练时间等方面均取得较为良好的结果。

基于全局自适应跨步全卷积神经网络的网络流量分类方法

目前,深度学习算法尤其是卷积神经网络,在网络流量分类问题中取得了不错的效果,但是该方法在进行流量分类时普遍存在耗时的问题。针对该问题,设计一种全局自适应的卷积神经网络结构(Global Adaptive stride Convolutional Neural Network,GACNN),采用跨步卷积层替换卷积层和池化层,并分别使用自适应的全局最大池化层和自适应的跨步卷积层代替经典卷积神经网络中的全连接层,以减少卷积神经网络的权重和连接数从而提高分类效率。实验结果表明,文章所设计的神经网络结构在提升分类精度的同时提升了数倍的测试速度。与此同时,设计的结构具有动态自适应功能,能够应对混合维度数据的输入。

基于机器学习的网络流量分类研究

随着互联网的高速发展,网络流量在数量上和复杂程度上都在迅速增长。如何能快速准确地识别出网络流量类型,已经成为计算机网络领域研究的热点。流量分类是网络流量管理的基础,其目的是识别和分类不同类型的流量。目前,基于机器学习进行流量分类是一种非常有前途的技术。机器学习算法可以从大量数据中学习特征,将其应用于网络流量,可以提高分类的准确性,可帮助网络管理人员为人们提供更好的上网体验。本文首先介绍了网络流量分类的基本概念和传统的网络流量分类方法,然后介绍了两种基于机器学习的网络流量算法。

基于流统计特性的网络流量分类算法

针对传统基于单个流统计特性的网络流量分类算法识别率低、分类算法复杂的问题,在分析各类应用协议的基础上,发现了一组易于获取、可有效区分不同业务的网络流量特征.将这一组特征应用于网络流量分类,可以有效解决以往对等网络(P2P)业务识别率低下的问题;同时利用该组特征仅需采用多项逻辑斯谛回归算法即可实现网络流量的分类,较传统流量分类算法有较低的复杂度.实验结果表明,该组特征用于分类还具有较好的泛化特性,只需较少量训练样本即可在较长时间内保持较高的识别率.

基于改进的C4.5算法的网络流量分类方法

在基于C4.5算法的网络流量分类方法中,网络流量数据量的海量性及其特征的多样性使得决策树的构建速度、分类速度成为评价网络流量分类器的重要标准。在原C4.5算法的基础上提出一种改进的信息熵的计算方法,通过减少计算函数的复杂度,提高决策树的构建速度。实验表明,基于改进后算法的分类器在达到原有分类准确率的同时,极大地缩短了决策树的构成时间。

一种基于SVM的P2P网络流量分类方法

提出一种基于SVM的P2P网络流量分类的方法。这种方法利用网络流量的统计特征和基于统计理论的SVM方法,对不同应用类型的P2P网络流量进行分类研究。主要对文件共享中的BitTorrent,流媒体中的PPLive,网络电话中的Skype,即时通讯中的MSN4种P2P网络流量进行分类研究。介绍了基于SVM的P2P流量分类的整体框架,描述了流量样本的获取及处理方法,并对分类器的构建及实验结果进行了介绍。实验结果验证了提出方法的有效性,平均分类精确率为92.38%。

基于SVM的并行网络流量分类方法

针对SVM(support vector machine)算法应用到大规模网络流量分类中存在计算复杂度高、训练速度慢等问题,提出一种基于云计算平台进行并行网络流量分类的SVM方法,以提高对大数据集的分类训练速度。该方法是一种采用云计算平台构建多级SVM和映射规约(MapReduce)模型的方法。它将训练数据集划分为多个子训练数据集,通过对所有子训练数据集进行并行训练,得到支持向量集,进而训练出流量分类模型。实验结果表明,与传统的SVM方法相比,并行SVM网络流量分类方法在保持较高分类精度的前提下,有效地减少了训练时间,提高了大规模网络流量分类的速度。

RocketTC:一个基于FPGA的高性能网络流量分类架构

基于深包检测技术的流量分类方法可以达到95%以上的识别率和准确率.然而,由于计算复杂性高、存储消耗大等原因,主流软件方法只能提供百兆(线速率)处理能力,而且不能处理大量流并发的情况.文中提出一个基于深包检测技术的芯片级流量分类架构RocketTC,通过对应用层协议特征、匹配引擎和流管理策略进行优化,使其支持万兆级数据吞吐率.RocketTC具有两个核心模块:基于FPGA的流管理器和动态可重构的分类引擎阵列,前者实现万兆吞吐率下的流表管理,后者快速检测流量特征并支持动态协议特征更新特性.文中提出的分类方法使用轻量级DPI方法,通过缩小检测范围和特征长度进一步减少计算复杂度和存储消耗.我们使用Xilinx Virtex-5FPGA对上述设计进行实现与在线流量测试,结果表明RocketTC可以对92种网络协议进行识别,准确率达到97%,而且稳定提供20Gbps线速处理能力.

基于机器学习的网络流量分类研究进展

机器学习方法不依赖匹配协议端口或解析协议内容,而是利用网络流的各种统计特征识别网络应用,近年来得到了广泛关注和快速发展.本文总结了基于机器学习的网络流量分类方法自2004年来的研究进展,并且按有监督、无监督与半监督的区别进行分类、分析与比较.重点讨论了基于机器学习的网络流量分类研究的挑战与方向,即解决样本标注瓶颈、样本分布不平衡与动态变化、实时与连续分类以及分类算法可扩展性等核心问题.

一种基于本体的并行网络流量分类方法

海量网络流量数据的处理与单一节点的计算能力瓶颈这一矛盾导致数据分类效率低,无法满足现实需求。为解决这一问题,结合本体与MapReduce技术各自在海量异构数据描述与处理方面的优势,提出一种基于本体的并行网络流量分类方法。该方法基于MapReduce并行计算架构,根据网络流量本体结构,对网络流量本体并行化构建;通过并行知识推理完成基于流量统计特征的网络流量分类。实验结果表明,集群环境下基于MapReduce的网络流量本体构建效率明显高于单机环境,而且适当增加计算节点使得加速比线性提升;并行知识推理的分类方法能够有效地提高大规模网络流量的分类效率。

基于本体的网络流量分类方法

为解决大规模复杂网络环境下网络流量数据多源、异构,流量信息资源缺乏一致性描述影响分类性能的问题,提出一种基于本体的网络流量分类方法。采用本体语义化描述网络流量信息资源,分层化构建网络流量本体,借助决策树算法建立分类模型,生成推理规则集,通过知识推理实现网络流量分类。实验结果表明,该方法有效可行,与SVM、BayesNet、BP神经网络分类方法相比,采用C4.5方法建立分类模型所需的训练时间明显低于其它方法,在识别准确率、泛化能力及稳定性方面表现最优。

支持向量机的半监督网络流量分类方法

针对传统网络流量分类方法准确率低、开销大、应用范围受限等问题,提出一种支持向量机(SVM)的半监督网络流量分类方法。该方法在SVM训练中,使用增量学习技术在初始和新增样本集中动态地确定支持向量,避免不必要的重复训练,改善因出现新样本而造成原分类器分类精度降低、分类时间长的情况;改进半监督Tri-training方法对分类器进行协同训练,同时使用大量未标记和少量已标记样本对分类器进行反复修正,减少辅助分类器的噪声数据,克服传统协同验证对分类算法及样本类型要求苛刻的不足。实验结果表明,该方法可明显提高网络流量分类的准确率和效率。

一种使用DBSCAN聚类的网络流量分类方法

提出了基于DBSCAN算法的网络流量分类方法,对流的定义、特征产生、特征选择以及分类规则和分类性能的评测等内容进行了介绍。提出了基于PCA的网络流量最优特征子集的选择方法。实验结果表明,提出的分类方法能够达到较高的总精确度和查准率,能够有效地使用于网络流量分类中。

AR-HELM算法在网络流量分类中的应用研究

针对传统分类算法建模速度慢、精确度低、分类效率不理想等问题,一种基于粗糙集属性约简的极限学习机网络流量分类方法成为利用机器学习研究网络流量分类的热门方法。由于结构限制,一些特殊的自然信号数据使用极限学习机进行特征学习一定程度上并不是很有效。因此,文章提出一种基于改进的粗糙集属性约简的多层极限学习机算法作为分类算法进行建模。实验结果显示,相较传统的神经网络和机器学习算法,文章算法可以很好地应用于网络流量分类且改善了极限学习机的学习表现。改进后的算法模型获得了更快、更优质的聚合结果。

一种多分类器选择性集成的网络流量分类方法

针对多分类器集成方法产生的流量分类器在泛化能力方面的局限性,提出一种选择性集成网络流量分类框架,以满足流量分类对分类器高效的需求。基于此框架,提出一种多分类器选择性集成的网络流量分类方法 MCSE(Multiple Classifiers Selective Ensemble network traffic classification method),解决多分类器的选取问题。该方法首先利用半监督学习技术提升基分类器的精度,然后改进不一致性度量方法对分类器差异性的度量策略,降低多分类器集成方法实现网络流量分类的复杂性,有效减少选择最优分类器的计算开销。实验表明,与Bagging算法和GASEN算法相比,MCSE方法能更充分利用基分类器间的互补性,具有更高效的流量分类性能。

SDN中基于机器学习的网络流量分类方法研究

由于缺乏网络流量类别信息,目前软件定义网络SDN控制层难以有针对性地对在线视频流量和下载流量进行速率管控。当带宽有限时这会严重影响用户同时观看在线视频和进行下载时的体验。针对此问题,提出一种在SDN中基于机器学习的在线视频流量和下载流量分类方案。该方案选取新的、可以有效区分在线视频流量和下载流量的特征集合。通过测试对比多种机器学习模型的分类效果,在SDN中设计实现了基于随机森林(RandomForest)模型的实时流量分类应用,为在SDN中实现细粒度的网络流量管控、优化QoS等功能奠定了基础。测试结果表明,该方案对SDN中在线视频流量和下载流量的实时分类效果较理想,实时分类平均准确率较高。

基于半监督学习的网络流量分类

利用攻击在网络通信中独特的流特征,给出一个可以适应已知和未知攻击的半监督分类方法。在训练分类器中,提出使用加权采样技术得到训练流,同时采用顺序前向选择算法得到最佳的特征子集。使用KDDCUP1999性能评估数据,可以得到较高的流和字节分类准确度。

基于改进双线性卷积神经网络的恶意网络流量分类算法

文章提出一种改进的双线性卷积神经网络,用于恶意网络流量分类。该网络采用跨层多特征融合的设计思想,首先使用两个基于VGG-Net(网络A、网络B)的神经网络进行特征提取,连接跨层多特征融合模块进行特征融合,提高特征表达能力;然后通过多次迭代优化训练网络模型至拟合状态;最后利用训练至拟合的网络模型对测试集进行分类检测,得出分类结果。实验表明,该算法在恶意网络流量分类中具有较高的准确率、精确率和F值。