基于Hadoop的海量数据TCP报文重组技术

当前基于单机系统的传输控制协议(TCP)报文重组工具随着数据量的增大,运行效率越来越低,难以满足大数据时代的需求。为此,提出一种基于Hadoop的海量数据TCP报文重组系统。利用Hadoop分布式文件系统(HDFS)以及MapReduce并行处理框架,对TCP报文重组中的数据读取和结果输出步骤进行并行化处理。采用M apReduce辅助排序技术实现海量TCP数据流的分类。测试结果表明,与基于单机系统的报文重组工具相比,基于Hadoop的报文重组系统工作效率更高,并且当数据量达到100 GB时,运行效率可提升近84%。