NetFlow流量数据的压缩存储与多维度聚合

基于NetFlow技术,实现网络流量数据的采集整理、压缩存储和多维聚合。数据采集采用全时段抽样采集,保证数据的准确和高效。针对数据的海量特点,提出了固定阈值和可变阈值两种数据压缩方法,大大降低了数据存储量。此外,针对不同的统计分析需求,提出了数据多维度聚合结构,涵盖了数据流中时间、协议、IP地址、端口等信息。最后应用于真实的流量数据进行统计分析,取得良好效果。

非结构化高维大数据异常流量时间点挖掘算法

非结构化数据的维度较高,每个样本数据包含的特征非常多,导致了维度灾难问题,使得降低维度并保持有效特征提取难度较大,影响大数据流量异常时间点挖掘的精度。为此,提出新的基于空间映射的非结构化高维大数据流量异常时间点挖掘方法。通过近似解集的几何特征建立稀疏回归模型,求解高维目标空间映射到低维目标子空间的稀疏投影矩阵。根据密度分布选择出一个高密度集合作为聚类中心的候选集,确定聚类的初始聚类中心。同时对聚类形成的各个簇采用剪枝算法,选择时间点候选集,对候选集展开二次判断,挖掘高维大数据流量异常时间点。实验结果表明,数据的降维能有效提高流量异常挖掘精度。相比之下,所提方法的高维大数据流量异常时间点挖掘更加精准,耗时更短。

流量调度技术在数据中心的应用

随着数字化转型的加速,数据中心已成为支撑校园网业务发展的关键基础设施。数据中心的出口作为连接外部网络和内部业务的关键节点,其流量特征和服务质量对整个数据中心的运营具有重要影响。为了应对这一挑战,流量编排服务链作为一种新型的网络管理技术,逐渐受到业界的关注和应用。

基于并行双通道时空网络的流量数据修复技术

流量数据丢失是网络系统中常见的问题,通常由传感器故障、传输错误和存储丢失引起.现有的数据修复方法无法学习流量数据的多维特征,因此本文提出了一种结合双向长短期记忆网络与多尺度卷积网络的双通道并行架构(ST-MFCN)用于填补流量数据的缺失值,同时设计了一种新的对抗性损失函数进一步提高预测精度,该模型有效地学习流量数据的时间特征和动态空间特征.本文在Web traffic time series数据集上对模型进行测试,并与现有的修复方法进行对比,实验结果表明,ST-MFCN能够减少数据恢复的误差,提升了数据修复的精确度,为网络系统中的流量数据修复提供了一种稳健高效的解决方案.

基于SDN的数据中心网络流量调度机制的设计

为实现数据中心网络流量的实时有效调度,保证网络服务质量,本文针对传统静态流量调度方法存在的问题,提出面向服务质量保障的动态流量调度策略(dynamic scheduling flows,DSFlows),该策略可结合控制器所接收到的网络状态,在综合考虑流量生成、对比算法、评估指标等因素的基础上,制定相应的网络流量制定策略。仿真结果表明:当网络负载上升至09时,与负载均衡算法(equal-cost multi-path,ECMP)相比,DSFlows网络吞吐量提升了1608%;平均时延降低了4976%;丢包率降低了565%。因此,DSFlows方案具有较高的可靠性和可行性,符合数据中心网络流量科学化调度需求。

基于分簇聚类的光网络流量大数据跨源调度方法

光网络凭借其容量大、传输速率高、业务透明、损耗低等优势得到了广泛的应用,并且随着用户规模与用户传输需求的增加,导致光网络流量不足现象发生的频率增加,制约了光网络的发展。因此,提出基于分簇聚类的光网络流量大数据跨源调度方法研究。首先,采用分簇聚类算法处理光网络流量大数据。其次,通过XGBoost模型预测下一时刻的光网络流量。以成本最小化为目标,构建流量跨源调度数学模型,并确定所构建模型的约束条件。最后,以遗传算法为工具,获取流量跨源调度最佳方案,执行最佳方案即可实现光网络流量大数据的跨源调度。实验结果显示:应用提出方法获得的光网络流量大数据聚类结果与期望光网络流量大数据聚类结果一致,流量跨源调度成本最小值为16万元,表明提出方法具备更好的流量跨源调度性能。

广义神经网络在数据流量预测中的应用仿真

在超大数据量的流量预测中,数据易出现缺陷、错误或不完整问题。广义神经网络因其对数据处理具有较强的鲁棒性和容错能力,因此研究广义神经网络在数据流量预测中的应用,并对应用效果完成验证。将数据流量预测作为研究目标,分析数据流量特征,获取数据流量时空特征和空间维度两者对应的空间相关性特征。选择和被测网络相关性最大的数据流量作为广义神经网络的输入,构建基于广义神经网络的数据流量预测模型。为验证广义神经网络的应用效果,设计对比测试实验。结果表明,广义神经网络在数据流量预测中具有可行性,且算法应用下数据流量预测误差更小。

基于数据包头序列的物联网恶意流量检测

现有的基于机器学习(ML)的恶意流量检测方法,通常以高维的流量特征作为输入,并采用复杂模型,在实践中产生高误报率且资源占用较高。更重要的是,加密协议的广泛使用,使得数据包有效载荷特征很难被访问。幸运的是,物联网(IoT)设备的网络行为通常是有规律和周期性的,该特征反映在通信数据包序列上,每个数据包一定程度上描述了一次网络事件。基于此,本文提出了基于数据包头序列的恶意流量检测方法。它将流量序列转换为网络事件序列,并计算一组特征(即序列性、频率性、周期性和爆发性)来描述网络行为。实验环境包含一组真实的物联网设备,并将提出的方法部署在树莓派模拟的网关上。实验结果表明,与最新的检测方法相比,本文提出的方法能够在复杂网络环境下保持高准确性和低误报率,并提升了处理速率。

基于改进迁移学习的光通信网络流量数据连续插值研究

光通信网络流量数据具有大规模和高维度的特点,而数据量纲不一致,数据之间的差异会被放大,使得插值效果不理想,所以提出基于改进迁移学习的光通信网络流量数据连续插值方法。通过Box-Cox变换法对流量数据展开标准化处理,统一数据量级与量纲。通过深度学习理论与VNet技术改进卷积神经网络,通过更新网络参数使连续插值结果与理想数据进行匹配,得到流量数据连续插值结果。实验表明,所提方法的信噪比始终高于27.83 dB,频率-波形分布图与理想数据的频率-波形分布图相似度最高,决定系数在0.8以上,能够获得高质量插值结果。

无线网络突发流量数据分区调度方法

针对无线网络中突发流量数据导致网络存在传输时延和拥塞问题,提出基于多核神经网络的无线网络突发流量数据分区调度方法。首先,利用空闲时槽侦听的无线网络分区方法,通过计算节点分布密度和节点流量容量,判断无线网络中节点处于稀疏区域还是密集区域。其次,利用多核极限学习机,对无线网络稀疏和密集两个区域的突发流量数据进行预测。对于稀疏区域的突发流量数据,直接通过CSMA/CA协议进行调度;对于密集区域的突发流量数据,通过统计方法计算出突发流量数据利用率以及可利用率,再对各信道数据进行归一化处理,获取突发流量数据的转发概率。再次,依据突发流量数据的转发概率进行节点发送,并通过设置信道的队列长度阈值来发送或丢弃突发流量数据,实现无线网络突发流量数据分区调度。实验结果表明,该方法能够灵活地调度无线网络突发流量数据,提升其吞吐量,使数据丢弃率始终低于0.03%、平均传输时延始终低于0.1 s,可准确预测无线网络突发流量。

基于NetFlow和SNMP的铁路数据通信网资源管理系统研究

为提高铁路数据通信网资源管理和运维效率,对数据通信网资源管理机制进行研究,采用以NetFlow、SNMP协议自动采集铁路数据通信网设备资源、IP资源运用情况、业务在线状态及其业务行为特征数据。通过测试环境设计、资源管理系统研发、部署及现场测试,验证基于NetFlow和SNMP协议的铁路数据通信网资源管理机制的可行性。资源管理系统可对业务流进行画像,描绘出业务的源、目的端口、协议、流量大小、业务种类、归属位置等属性,可实现对IP地址资源的动态监测,简化IP地址统计、分析和分配,提高IP资源的使用效率。

基于流量延时调度的无线传感网数据传输拥塞控制方法

无线传感网络在数据传输时出现流量控制困难和节点拥塞的情况,为此提出一种新的基于流量延时调度的传输拥塞控制方法。引入流量延时调度,确定数据流量,滤波处理数据流量,设置延时阈值,通过流量与延时阈值的对比,判断是否需要重新传输数据,完成数据传输控制机制设计。利用数据生成树获取网络有效数据包,以此计算信道可以传输数据包的概率临界值,构建数据传输拥堵控制模型,实现无线传感网数据传输拥塞控制。通过仿真分析得知,所提方法拥堵控制的能量消耗仅为149 J,数据传输速率提升到80 Mbit/s以上,数据完整度在99.0%以上,所提方法有效提高了数据传输速率和完整度,降低了能耗消耗,可以有效控制数据传输拥塞,具备了可行性。

国际游客流量统计:方法归纳及数据查询

目前,我国官方公布的入境旅游数据为主要客源国家的年度数据,许多国家的数据序列存在缺失值;而我国对于居民出境旅游行为的统计难以准确获得,以往从签证、口岸等获取的出境游客数据很难涵盖通过转机去往落地签、免签等国家的游客。

基于带宽匹配的软件定义数据中心网络流量节能调度方案

针对数据中心网络的流调度优化问题,选用经典的Fat-Tree拓扑结构,利用软件定义网络集中控制的优势,提出一种基于带宽匹配的节能路由算法(energy efficient routing algorithm,EERA)。EERA首先对需要传输的数据流按照其截止时间进行排序,然后对拓扑中的链路权值按照每个排序后的数据流需要传输的数据量进行更新,删除可用带宽不满足传输数据量的链路,得到新的拓扑图。在重新定义的拓扑图中,EERA计算源节点和目标节点之间所有可用链路,从这些可用链路中选取与流传输数据量所需带宽最匹配的链路进行路由。仿真实验表明,在不增加额外存储开销的前提下,EERA为即将到来的数据流预留了足够的带宽,减少了网络链路拥塞,在节省网络能耗的同时实现了网络负载均衡。

基于流量大数据采集分析的互联网流量疏导策略研究与实践

随着我国数字经济的发展,互联网流量呈现稳步增长态势。针对互联网流量分布不均,将影响网络长期稳定发展的问题,论述了互联网流量获取、识别的方法,构建了实现流量采集的网络架构,以及完成流量分析的软件架构,提出了调节疏导互联网流量的可行性市场化策略。该策略经过运营商的实践,已经取得了初步效果,为引导互联网流量合理分布提供了解决思路和参考依据。

面向网络流量数据增强的生成对抗网络改进研究

网络流量数据的高维复杂特性,使得生成对抗网络生成的网络流量数据质量较差。为了解决该问题,提出一种基于双生成器的条件映射生成对抗网络(a cGAN with projection discriminator based on double generators,PD-DcGAN)并将其应用于少数类流量增强。提出基于Gumbel-sigmoid分布的离散生成器,获得近似于离散数据的光滑可导分布生成离散特征,并将其与连续数据生成器并联运行,二者结果串联组合,获得数据整体分布情况;以内积形式融合条件信息和特征信息,克服传统方法出现假设空间增大的问题,缓解模型训练过程中的不稳定现象;在损失函数中引入梯度惩罚因子,将判别器梯度限定在一定范围内,有效缓解梯度爆炸。利用UNSW-NB15数据集,从生成样本质量和模型有效性两个角度检验模型性能。实验结果证明,与其他数据增强方法相比,PD-DcGAN在准确率、精确率、召回率和F1得分上分别平均提高2.72%、1.72%、1.87%和1.16%;与原始数据集相比,对难以检测的Analysis、Backdoors、Exploits、Shellcode和Worms等少数类流量检测性能提升明显,分别从不足1%分别提升至7.93%、6.53%、15.72%、14.02%和10.91%。

基于大数据分析的灌区配水渠道流量预测分析研究

为提升灌区配水渠道流量预测效果,有效指导灌区水资源管理,研究基于大数据分析的灌区配水渠道流量预测分析方法。以玛河灌区的玛纳斯县灌区为研究工程,在灌区配水渠道上下游分别安装水位计采集配水渠道水位信息,通过RTU终端汇总水位信息后,通过GPRS无线通信传输至上位机流量预测终端,流量预测终端利用大数据分析技术构建基于粒子群优化支持向量机(PSO-SVM)的流量预测模型,以水位信息为模型输入,输出灌区配水渠道流量预测结果。分析研究结果显示:该方法可有效预测灌区配水渠道流量,且流量预测结果与实际流量之间的相对误差较小。该方法具备灌区配水渠道流量预测实际应用性,可为灌区水资源规划提供数据基础。

移动蜂窝网络多出口流量数据精准清洗方法

为了提升移动网络多出口流量数据的清洗精度,降低冗余数据占比,提出移动蜂窝网络多出口流量数据高效清洗方法。依据移动蜂窝网络结构特点以及流量特征,预处理移动蜂窝网络多出口流量数据;利用差分自回归移动平均模型,构建移动蜂窝网络多出口流量数据高效清洗模型;将多出口流量数据四元组作为模型输入,运用优化粗糙集理论的数据约简算法,达到精准清洗移动蜂窝网络多出口流量数据的目的。实验证明该方法可通过流量数据预处理降低冗余数据占比,可降低流量数据输出出错率,提高了移动网络多出口流量数据的清洗精度。

基于VAR-LRTC-TNN的交通流量数据补全框架模型

从各类传感系统收集到的交通流数据往往会因探测器或通信故障等缘故出现数据连续性的缺失,故准确补全缺失的交通流数据对制定合理的交通管理策略至关重要。鉴于交通流数据具有低秩的特性,通过低秩张量补全模型可较好地刻画出交通流数据的全局一致性,但却无法很好地捕捉数据的局部变化趋势,一定程度上影响了效果。基于此,提出了将VAR模型和基于残差序列的LRTC-TNN模型相结合的交通流补全框架模型;采用VAR模型对缺失数据进行粗略估计,移除平均趋势,利用LRTC-TNN模型对残差时间序列进行补全,再将平均趋势还原,从而完成对交通流量数据的高精度补全;该方法不仅保留了交通流数据的全局结构,还考虑了数据局部变化的特征。研究结果表明:与基于原始交通流量数据的填充方法相比,该模型框架对单传感器和多传感器数据的连续性缺失均具有更高的补全精度。

加密流量数据集类别不平衡的研究

近年来,随着深度学习技术的迅猛发展,网络安全领域的研究人员开始探索利用深度学习解决加密流量分类问题。然而,目前公开的加密流量数据集存在严重的类别不平衡问题,这对于深度学习分类方法的性能造成了一定的影响。从头构建一个完整的加密流量数据集是耗时且昂贵的。为了克服这个问题,本文提出了一种基于改进的生成对抗网络(GAN)的加密流量生成模型。该模型通过在GAN模型中添加数据包的统计特征和网络流的类别标签作为条件约束,从而生成逼真的流量数据,进而扩充数据集。实验证明,在使用经过本文方法增强的数据集时,基于深度学习的加密流量分类器展现出比使用随机过采样(ROS)、合成少数类过采样技术(SMOTE)和传统的对抗生成网络(GAN)技术更出色的性能。