高速网络中利用双向计数器的流频数测量算法

对网络流的频数进行测量能够为现代高速网络管理提供极为重要的决策依据.现有的测量模型往往为每个计数器分配较大的长度,从而避免大流的计数值溢出计数范围.但是真实网络流存在偏斜分布的特性,绝大部分网络流都是小流,仅有少部分流是大流.由于占用了大量存储资源的计数器在大部分情况下只存储了小流,导致现有策略存在内存浪费、不适应分布不均匀的真实数据的弊端.为此本文提出了一种基于“双向计数器”的网络流频数测量模型AS(Arena Sketch). AS将内存空间划分为块,并引入“竞争机制”为网络流自适应地分配内存块.具体而言,双向计数器由两个指纹域和一个计数域构成,大流能够在指纹域保留自己的流标签信息,而越大的流能够竞争到越多的内存块用于记录其频数.一旦在指纹域保留签失败,就将所有内存块视作独立的计数器,重新构建二维计数器数组,组成经典紧凑数据摘要Count-Min Sketch,该流则被作为小流在CountMin Sketch近似记录.AS既消除了大流的溢出风险,也尽可能多地记录了小流,仿真实验表明,该测量模型在逐流频数测量任务和过阈值流频数测量任务中均达到了比先前工作更高的精度和更低的存储消耗.

高速交通流视角下城市群网络重要节点分析

当城市群中某些节点运输能力下降时,其相较于其他节点会对整体网络产生更大的影响,则认为该类节点为重要节点,通过对城市群中重要节点进行识别,加强重要城市保护,对于保证城市群正常运作,维持城市群内部正常流动,促进城市群高质量发展有着重要意义。笔者基于高速铁路流与高速公路流双视角构建城市群网络模型,通过借鉴引力模型,从城市关联性、聚类性、中介性构建城市群网络重要节点评价模型,并以成渝地区双城经济圈为例进行实证分析。研究结果表明:在高速铁路网络模型中,各个节点城市整体重要性结果呈非线性下降;在高速公路网络模型中,整体重要性结果呈线性下降,下降较为均匀。

面向网络仿真的分布式流量回放系统

流量回放可有效提升网络仿真的逼真度并支持新兴网络与安全技术的评测。面向大规模、高并发、高速率网络流量仿真的需求,设计并实现了一种基于云平台的分布式流量回放系统DTRS(distributed traffic replay system based on cloud platform)。基于该系统,针对网络流量多样化的特点,提出了可扩展的多流回放方法,以实现多种协议流量按需组合、灵活复现;针对数据包流转的高开销问题,提出了基于DPDK(data plane development kit)的流量回放策略,以实现流量回放过程的精确控制,提升回放的时序逼真性;针对流量回放速率不足的问题,提出了基于VPP(vector packet processing)的矢量包处理策略,提升了回放的吞吐量。实验结果表明,DTRS能实现互联网流量的多样化、可扩展加载,支持灵活、逼真、可控地复现海量异构网络场景;在高速率的流量仿真中,DTRS能保证时序逼真性;相较于传统方法,DTRS的流量回放吞吐量提升了3.71倍。

中日高速铁路主要运营指标对比分析及启示

日本新干线运营超过半个世纪,发展已经较为成熟,积累了丰富的运营管理经验。从运输资源、运输规模、运输效率效益、运输质量4个维度对中国和日本高速铁路的主要运营指标进行对比分析,明确我国高速铁路的运营水平及下一步发展方向。结果表明,我国高速铁路运营里程、动车组保有量、运输量、市场份额、日均开行列车数量、客座利用率等指标优于日本新干线,但路网密度、每公里动车组保有量、运输密度、每百公里日均开行列车数量等平均性指标还有一定的提升空间,未来应充分发挥高铁成网运营优势,在路网建设中兼顾规模、密度和布局覆盖,以市场需求为导向优化运输供给,并加强全方位安全保障能力,以提高高铁基础设施规模质量和运输供给水平。

利用深度学习的高速网络流基数估计算法

实时准确地测量高速网络中每条流的基数,对流量工程、异常检测及网络安全等领域来说至关重要.但网络处理器芯片中能够匹配流速处理需求的高速存储资源极度有限,无法满足流信息直接存储的需求,需要不同流共享同一段存储空间,利用紧凑数据摘要(Sketch)实时处理和存储流的基数信息.这种存储共享的方式使得不同流的信息混杂在一起,并在流基数估计的过程中引入了难以过滤的噪声.针对上述现有研究中普遍存在的问题,提出了一种基于深度学习的高速网络流基数估计算法.所设计的算法改进了已有研究的实时数据包处理和存储更新规则,设计了一种更为高效的编码方法在存储共享的基础上尽可能地减少噪声,并利用深度学习模型来学习每条流编码数据中的潜在模式以提高基数估计的性能.实验结果表明,所提出的方法相较于已有最新研究成果具有更高的精度和更低的存储开销.

高速网络流量采集关键问题及系统的完善

随着互联网技术的不断发展,高速网络流量采集也成为至关重要的技术之一。现有的测试方法无法满足不断升级的网络技术,因此新形势下高速网络流量采集也面临着诸多关键问题。基于此,文章分析高速网络流量采集的关键问题,提出相应的系统完善策略,为高速网络流量的采集及相关工作提供一定的参考。

成渝中线高速铁路功能定位及运输需求研究

成渝中线高速铁路是成渝地区双城经济区标志性项目,与成渝高速铁路、成遂渝铁路等共同构成成渝间多通道、多径路的区域复杂路网。本文采用定性和定量相结合的研究手段,综合技术标准、运输能力、路网衔接关系等因素,剖析成渝中线高速铁路在区域路网中的功能定位,通过对标世界级城市群,研判成渝双城经济圈经济发展潜力,把握区域出行需求强度;以“四阶段法”为理论基础,运用线性回归、时间序列、弹性系数、logit模型等多种数理方法合理预测项目运量水平,为项目的快速推进提供科学依据。

基于滑动时间窗口模型的流基数估计算法

基于滑动时间窗口模型的流基数估计是指在某一时刻对过去一个时间窗口内每条流的基数进行估计。相较于传统的离散时间窗口模型,基于滑动时间窗口模型的流基数估计具有实时性更高、片上存储空间开销更小的优势。现有研究需要为每条流分配独立的存储空间,这在紧缺的片上高速存储资源条件下是无法实现的。针对上述问题,文章提出了一种新的基于滑动时间窗口模型的流基数估计(Sliding virtual Hyperloglog,SvHLL)算法,在片上引入虚拟寄存器技术保存多条流的流信息。该算法采用对一条流的两部分虚拟寄存器分别进行基数估计并相减的方式去除噪声,不再需要扫描整个物理寄存器组,提高了基数估计的效率。仿真实验结果表明,SvHLL算法在2MB和4MB的片上存储空间下以及在10s,20s和60s的滑动时间窗口下的平均相对误差与平均绝对误差均在11以下,基数估计性能较好。

高速主干网测量系统的设计与实现

网络测量是监控管理网络的基础。高速网流量采集和数据归并是它的难点问题之一。文章以CERNET网络管理与流量计费为背景，实现了一种高性能可扩展的网络被动测量系统Linuxflow。

高速网络流采集系统的设计与实现

针对基于软件的网络流采集系统不能高效处理高速网络流量,以及为了提高采集效率需要同时对多种网络流进行采集的问题,提出一种基于软硬件结合的高速网络流采集框架,探讨在NetFPGA-10G平台实现高速网络流采集系统,称之为HSNTCS。该系统在硬件上通过精确串匹配引擎或正则表达式匹配引擎过滤、分类出所需的多种网络流后,将其传至内核驱动层对应的数据缓冲区,然后直接拷贝至用户空间并存储至对应的数据库。经实验测试,在精确串匹配情况下,用硬件方式实现的高速网络流采集系统的用户数据报协议(UDP)、传输控制协议(TCP)吞吐率都达到1.2Gb/s,约是用软件方式实现的3倍;在正则表达式匹配情况下,用硬件方式实现的高速网络流采集系统的UDP、TCP吞吐率都达到640 Mb/s,约是用软件方式实现的3倍。结果表明,相对于软件实现方式,硬件实现具有更高的采集性能。

高速网络流量特性与流数据库设计

长期的流量测量数据非常珍贵,因为通过对这些长期的流量数据进行分析,不但能发现Internet和运行于其上的各种网络应用如何在演变,更重要的是还可发现其中不变的规律。提出了网络监测平台的流量数据多级存储系统设计,并根据高速网络流量的重尾分布特性,采用合理的流数据存储策略,可大幅度减少要存储的数据量,同时又保留了必要的网络信息,适应于不同精度的测量需求并兼顾了成本、性能和效率。

基于仿真的宽带网络流量特征分析

网络的流量特征对于建网及网络性能分析至关重要。本文基于自相似理论基础,运用计算机仿真技术,对在不同负载情况下,宽带网络流量特征的变化过程进行了研究。实验数据表明,自相似业务流通过汇聚节点进入核心链路之后,其自相似特性仍然保持,但是自相似的程度有所下降,特别是在网络吞吐量较大的情况下,自相似程度明显低于任何一个支路。TCP协议发送窗口的大小变化会引起网络流量自相似程度的变化。

网络流量分类研究进展与展望

近年来,随着互联网的迅猛发展,越来越多的新型网络应用逐渐兴起,网络规模不断扩大,网络组成也越来越复杂。网络流量分类技术作为增强网络可控性的基础技术之一,不仅可以帮助网络运营商提供更好的服务质量,而且能够对网络进行有效的监督管理,确保网络安全。本文综述了网络流量分类领域的研究方法及研究成果,对这些传统方法进行比较,分别指出它们的优势和不足。并针对高速网络环境下的实时分类、加密流分类、精细化分类、协议动态变化时的分类等现实挑战,对相关研究进展进行阐述和分析。最后对未来的研究方向进行展望。

应用于高速网络的基于报文采样和应用签名的BitTorrent流量识别算法

在高速网络上进行P2P流量识别具有极大的困难,因为基于端口号的方法已经不再准确,而基于应用签名的方法没有足够高的处理效率.提出了应用于高速网络的基于报文采样和应用签名的Bit-Torrent流量识别算法.建立了误检率和漏检率模型来分析报文采样率和签名率对识别准确度的作用,并指导应用签名和采样率的选择.通过开发流状态判别预处理器,在Snort平台上实现了该流量识别算法.实验结果表明该流量识别算法处理效率和准确度都是令人满意的,能应用于高速网络环境.在普通个人计算机上,对采样报文的处理效率在800Mbps以上.将该方法应用于报文处理,当采样率为0.5时漏检率为0.6%,当采样率为0.1时漏检率为5.9%,当采样率为0.05时漏检率为10.5%.将该方法应用于流数据分析,当采样率为0.5时漏检率为0.06%,当采样率为0.1时漏检率为0.33%,当采样率为0.05时漏检率为1.1%.该方法展现了优秀的误检性能,没有任何报文被误检.实验结果也表明误检率和漏检率模型是非常准确的.

高铁网络下的中国十大城市群旅游交通格局及其经济联系的比较研究

旅游交通是旅游经济发展中重要的内容之一,通过对中国十大城市群城市旅游交通可达性、铁路交通流分布情况与旅游经济联系、总量和隶属度进行计算,借助Arcgis10.2对中国十大城市群交通空间流分布情况和旅游经济联系进行空间可视化处理,并对计算结果进行综合比较分析。研究发现:高铁使得中国十大城市群城市旅游交通可达性水平得到大幅提升,且交通流分布均衡。中国十大城市群城市可达性的提升给城市旅游经济带来了一定的积极影响。高铁网络下中国十大城市群旅游经济联系分布不均衡。

高铁时代长三角城市群交通网络空间结构分形特征研究

宁沪杭高铁的开通缩短了长三角城市之间的交通时间。通过缩减交通时间拉近城市间空间距离,高速铁路的贯通对长三角城市群交通网络空间结构产生深远影响。城市间联系会因交通时间缩短而增强,以交通距离代替空间距离来研究城市群之间分形特征更具有科学性。从城市间高速时间距离和高铁时间距离对比角度,计算高铁开通前后长三角城市群交通空间聚集维数和空间关联维数,分析长三角城市群交通网络空间结构分形特征变化。结果表明:高铁下的长三角城市群交通网络空间向心性集聚分布更显著,空间关联性更强。不同级别交通网络相互叠加改变城市群交通网络分形特征。高铁开通优化了长三角城市群城市交通网络空间结构。

流级别的高速网络流量动态划分算法

针对高速网络流量并行处理的需求,提出一种流级别的高效动态流量划分算法DTP-PM.讨论了DTP-PM算法设计的基本思想,并分析了其中的关键问题—会话表设计.为提升算法性能,通过定义会话标识符设计了会话表的哈希函数PRH,同时应用MTF启发法改进会话表的哈希冲突解决方法.在引入负载度量化网络流量分析负载轻重程度的基础上,给出流量划分算法DTP-PM的实现流程.借助高速网络流量样本对该算法性能进行了实验评估.实验结果表明,DTP-PM算法在均衡性和高效性方面明显优于经典的流量划分算法.

高铁时代我国三大都市圈发展路径探索

区域地理学第一定律是地理空间在地球表层的具体表现,也是研究生产力高度发展重要核心区人口与经济集聚城镇的现象。在高铁时代,城镇扩展构成的大都市圈集聚、集约与消费的物质越来越集中,其大都市圈的资本、人流、技术与文化"外溢"与"回流"不断信息化、网络化、空间集中化的城市化过程;反过来也促使加快了交通网络化、同城化、快速化的发展,特别是在我国三大都市圈城市群区,尤其突显。本文从我国刚刚进入高铁时代,大都市圈的相对地域空间内工业化、城市化的基本完成出发,探索我国三大都市圈(长三角、京津唐、珠三角)区域经济发展特点、城市化过程、发展模式及其发展路径,并为我国三大都市圈发展战略及其相关对策提出积极的建议,期望引起学者的深入研究与争论,促进我国城市化道路健康稳定地发展。

高速铁路网络系统中心性的车站综合分级方法

应用系统中心性理论,综合考虑高速铁路的基础设施网络、车流网络及客流分布特征,构建了高速铁路车站系统中心性综合分级方法.在充分考虑高速铁路运输网络特征的基础上,对既有系统理论中的中心性指标进行改进,并利用实际的铁路客流数据确定合理的系统中心性计算方法.利用综合评价分级方法对我国高速铁路路网的525个车站分级评价,明确每个等级车站的数值分级依据,结合路网发展特征阐述每个等级车站的路网演化意义与运输定位.分级结果对于我国高速铁路服务网络明确车站分工、提高路网运输效率有指导意义.

都市区背景下的区域综合交通发展策略

在我国都市区加速发展的大背景下,大城市综合交通呈现交通网络高速化、交通枢纽国际化及交通运输与城市融合的发展诉求。以大西安都市区为例,结合我国都市区交通发展所面临的区域交通一体化进程缓慢、道路交通拥堵、潮汐交通明显等突出问题,提出建设通达国际的内陆门户枢纽、建设高速交通运输网络、以“一张路网”理念整合大西安都市区道路网络等综合交通发展策略。