数据流突发检测研究与进展

数据流是不断变化且难以预测的。因此,在数据流中进行突发检测,是数据流内在的,固有的问题之一。所谓突发,指的是特定时间段内的数据量显著异常于其它时间段。如何实时地相对精确地检测出数据流中的突发并良好地呈现给用户,国内外已展开相关研究,并成为数据流挖掘领域的热点问题之一。论文综述国内外数据流突发检测的研究现状,归纳与分析现有研究工作的适用场景,并给出研究的焦点及热点,最后展望了该领域的前景。

数据流学习驱动的突发事件风险信息预警体系研究

[目的/意义]大数据环境下的突发事件风险信息预警备受关注,当信息因不确定性因素发生动态变化时,实时有效地预测预警风险信息变化支持决策至关重要。[方法/过程]从数据科学和信息不确定性视角,构建一个基于数据流学习的突发事件风险信息预警框架,即构建基于滑动窗口和残差拟合的混合自适应在线学习过程对风险信息进行动态预测,并嵌入实时特征选择过程提升结果稳定性,再根据预测结果标记预警信号来支持响应决策,最后结合实际提出预警体系。[结果/结论]对多场景的数据流进行测试验证,表明该框架能实时、有效地对事件风险信息进行预测预警,缩短应急响应时间。[局限]还需更多具有复杂性和多变性的应用场景进行方法优化。

一种流量无关的数据流突发检测算法

针对数据流整体数据量波动剧烈的情况下准确突发检测问题,改进了经典的聚合塔数据结构,提出了一种流量无关的数据流突发检测方法FFBD(flow free burst detection)。该方法使用单个元素数量与总体元素数量的比值作为单个元素滑动窗口内的聚合函数值,并使用前后2个滑动窗口内的聚合函数的比值来判断突发,该数据结构能够高效支持弹性窗口时间跨度不大的应用场景。实验结果证明,与典型的聚合塔突发检测方法相比,FFBD方法虽然多使用了2%的存储空间、提高了5%的计算复杂度,但能有效地规避整体数据流的显著变化对单个元素突发检测带来的影响,有着更好的检测效果。

基于突发数据流的丢包智能区分仿真

针对2种不同TCP算法控制下的数据流,后进入的流量容易引起丢包率增加的问题,提出将网络模型中传输层和网络层的拥塞控制算法相结合,对突发数据流引起的丢包率起到一个缓解作用。在该网络环境下,对随机早期检测算法作了改进,通过仿真,新算法在一定程度上能够区分突发流量,从而降低丢包率,为高可靠性网络的发展提供参考。

数据流突发检测研究现状

随着Internet及信息处理技术的发展,数据流突发检测在网络管理、金融领域及天文学等方面的应用越来越广泛,并成为了许多国内外学者的研究热点。本文综述了数据流突发检测技术的研究现状,总结提出了两大类突发检测算法,并给出研究的重点,最后展望了该研究领域的前景。

基于数据流方法的大规模网络异常发现

随着网络规模和速度的增加,大规模网络异常发现要求检测算法能够在无保留状态或者少保留状态下对G比特级的海量网络业务量数据进行实时在线分析。针对在高速骨干网上进行大规模网络异常发现的特点和要求,提出了一种基于数据流的大规模网络异常发现的方法,第一次将数据流模型用于大规模网络的异常发现。主要包括以下创新点:设计了一种面向异常发现的网络流量概要数据结构和突发高频事件检测算法;提出了一种基于安全监测策略定制的预查询方法来进行多数据流的关联监测并且对数据流查询进行了优化;在真实数据分析的基础上,对网络业务量进行了数据约减,使得监测部分特殊类型的数据流能最大程度地获得整体网络业务量的变化特征以提高异常发现的效率。通过真实网络环境下的实验和性能评价验证了数据流方法的有效性。

基于数据流的网页内容分析技术研究

提出针对网络数据流中活跃信息进行话题相关数据采集与分析方法.首先给出面向论坛话题的定义;然后对网络数据流进行分析、对用户访问行为进行分类;并给出基于数据流的用户行为识别方法及话题相关数据抽取、存储算法;最后给出实验分析,结果表明,所提出的基于数据流的论坛话题数据采集方法能够很好地反映用户行为,并对基于数据流的网络舆情热点话题发现、突发事件检测与实时跟踪等应用提供有利的数据资源.

突发数据传输模式下片上网络的QoS保证

针对在突发数据(Bursty)传输模式下,片上网络如何提高其传输服务质量(QoS)的问题,提出在虚拟通道(Virtual Chan-nel,VC)中划出专门的空间用来传输突发数据流.在对网络拓扑结构中的平均延时,理想平均吞吐量和能量消耗进行了理论评估的基础上,运用NIRGAM软件仿真平台,在对虚拟通道(Virtual Channel,VC)中的75%或50%用来传输突发数据流(Bursty)的两种不同的情况下,对其各项参数进行仿真和比较.实验结果显示,此方法可有效的提高片上网络的传输服务质量(QoS).

真双口RAM环形缓存的滑窗式数据处理系统

提出一种用真双口RAM操作地址首末相连实现环形缓存,用滑动窗口对输入环形缓存的时序数据进行分段的数据处理系统。通过采用突发模式将实时数据写入环形缓存中,减少环形缓存写入时重复输入RAM操作地址产生的时序消耗,相比单字节模式速率提高49.9%。通过在环形缓存上预留1 MB缓存区域,使系统在写入环形缓存数据速率在12~20 Mb/s范围内不恒定情况下仍能正常工作,提高系统适用性。将其部署在FPGA上,验证结果表明,系统能够满足电子系统实时数据分段计算要求。

基于IPv4的综合业务网QoS研究

承载着多种数据流的综合业务网,是当今网络的发展方向.其QoS保证是用户和ISP的共同需求.首先,从网络的角度分析了QoS的应用需求,讨论了各关联方协作的必要性和QoS的基本模型,描述了网络负载和QoS的逻辑关系.然后从结点的角度讨论了保证数据流QoS的方法.最后是本文的工作总结和展望.