基于Hadoop的海量数据TCP报文重组技术

当前基于单机系统的传输控制协议(TCP)报文重组工具随着数据量的增大,运行效率越来越低,难以满足大数据时代的需求。为此,提出一种基于Hadoop的海量数据TCP报文重组系统。利用Hadoop分布式文件系统(HDFS)以及MapReduce并行处理框架,对TCP报文重组中的数据读取和结果输出步骤进行并行化处理。采用M apReduce辅助排序技术实现海量TCP数据流的分类。测试结果表明,与基于单机系统的报文重组工具相比,基于Hadoop的报文重组系统工作效率更高,并且当数据量达到100 GB时,运行效率可提升近84%。

一种高效的TCP会话数据流重组算法及应用

在网络行为管理系统中,当数据包以TCP流方式在网络上传输时,传统的基于数据包的模式匹配算法已无法满足需要.对此提出了一种高效的TCP会话数据流重组算法,详细论述了多连接管理、重复报文处理以及无序报文处理等重组过程中出现问题的解决方法,并利用此算法实现了FTP协议数据包的截获与分析.通过与Libnids库相比较,试验结果表明,该算法更具效率和稳定性.

入侵检测系统中应用层协议的并行重组

针对传统入侵检测系统的不足之处,将并行算法引入到应用层报文重组过程,提出了应用层协议自适应并行重组的设计思想。提出了报文并行重组的算法思想、体系结构和实现环境。系统由探测器、任务分配器、重组结点和控制台组成。并行重组过程主要包括Master和Slave两部分,Master程序运行在任务分配器上,负责任务的分配和调度,Slave程序运行在各个重组结点上,完成对链表中报文的重组。试验结果证明了该重组并行方法具有较高的效率和较低的丢包率。

IP报文分片技术及其在故障分析中的应用

TCP/IP协议采用分片机制来解决传输层报文与MTU的适配问题及适应传输链路上MTU的变化,但传输层大包产生的连续分片会引起与分片相关的新问题,在网络建设和运行中这类问题往往被忽视。结合某专有网络实际应用中的典型分片相关故障,在对IP报文分片的机理和不同网络设备的分片处理机制差异性简单介绍的基础上,重点分析了故障机理并给出了相应处理措施。测试结果表明:这些措施可有效解决和预防与分片有关的故障,提高了网络的可用性。

网络TCP数据流重组技术研究

在网络安全研究领域,数据流重组是一项关键技术,它广泛应用于入侵检测、网络测量、防火墙设计、网络监控管理系统等方面。TCP协议是建立高可靠性数据传输的基础,TCP会话重组也是数据流重组研究的重点。为适应当前高速大流量网络的安全需求,必须利用更加高效的TCP会话数据流重组技术来克服传统基于数据包模式匹配技术的缺陷。

网络应用软件监控系统监控信息传输的设计与实现

对简单网络管理协议中管理信息和协议数据单元进行扩充,设计并实现面向应用软件的网络监控系统。该系统提供对应用程序类中成员变量和成员函数的监控功能。研究管理站点、管理代理、监控模块间监控信息的交换和传输方式,包括网络应用软件监控系统协议栈的定义、通讯协议的设计等。阐述监控信息传输时报文分组和重组的必要性,并设计相应的算法;提出一种效率较高的可逆转换规则,与传统的可逆转换规则进行了对比。研究结果表明:该网络监控系统可用于实现监控模块、管理代理、管理站点间监控信息实时、准确的交换与传输。

基于多模匹配改进算法实现特征签名的动态协议探测技术

基于应用层协议的入侵检测依赖于特定的协议分析器从流中获取高层次的上下文,为了选择正确的分析器,传统的系统依赖于一些众所周知的端口号。正是因为这样的原理,很多非法的连接不使用标准端口或者采用隧道技术躲避入侵检测系统的检测。在本文中,我们希望实现一个利用包重组获得完整的数据流的上下文实现动态应用协议分析,以成功地检测到采用非常规手段的入侵。

高速网络环境下协议还原技术研究

针对传统网络协议还原技术在高速网络环境下的性能问题,设计了一种高性能协议还原技术.利用零拷贝技术采集网络数据包,动态反馈的一致性哈希算法均衡协议还原中心负载,协议还原中心采用三维立体空间的重组算法和多级双循环无锁缓冲队列技术保证系统的高效并发处理,应用层协议还原模块以插件形式注入系统,确保平台的扩展性、移植性,自适应动态哈希内存池为系统提供了高效的数据缓存支持.实验表明,该技术在数据采集能力、协议还原吞吐量以及性能方面相比Libpcap和Libnids均得到了很大提高.

ASNMS系统管理站点和管理代理通信设计

针对网络应用软件监控系统中管理站点与管理代理间的通信方式进行了探讨,包括ASNMS协议栈定义、通讯协议设计、报文传输的顺序性和完整性、报文分组和重组算法设计及差错控制等。设计了一种高效通信机制,实现了管理站点与管理代理间监控信息实时、准确的交换,达到了管理站点对受控站点上运行的应用程序类中成员变量和成员函数实时监控的目的。

防火墙流过滤技术的分析与研究

流过滤技术是对包过滤、状态检测及应用代理的一种"融合",实现了高性能、可扩展、透明的对应用层协议的保护。分析了流过滤技术的基本原理以及实现原理,并对流过滤技术和其他防火墙技术进行了比较;详细研究了流过滤的实现过程,针对流过滤技术实现过程中的大量TCP报文重组问题,提出了一种解决方案;最后指出流过滤防火墙并不是完全透明的以及进一步研究的方向。

基于TCP连接的网络通信数据还原技术

本文详细介绍了对网络上通过TCP协议传输的数据的还原技术，分析了宽带网络嗅探技术和TCP报文重组技术，涉及了程序结构及处理流程，并着重分析了针对还原实时性的措施。

网络数据流还原重组技术研究

在网络非终端部分对数据流的处理在传统上就面对很多问题,例如数据回环、差错包、IP分片等。而现代网络随硬件水平的提高,数据量大幅度增加亦为网络流数据处理带来的巨大的难度。除此之外数据处理还要受到了内存、CPU、I/O速度的严重限制。为了通过软件实现有效的网络数据流重组,重点研究快速正确地对IP报文分析重组。研究集中在减少内存占用,提高处理速度,减少错误率,消灭错误包带来的不稳定性。

IP报文分片在网络传输过程中的研究与应用

为了提高UDP报文在靶场试验IP网络中传输的可用性，对IP报文分片原理详细阐述。从UDP报文分片、UDP校验、链路（最大传输单元）3个方面对分片报文处理机制进行分析，在靶场试验IP网络中选择相关的处理机制和合适的报文长度，给出了合理的建议。