网络安全设备联动系统中小文件存储优化方法研究

网络系统在运行过程中会产生大量日志,采用Java编程技术将各安全设备日志转换为XML文件。在对日志文件存储过程中,现有的存储系统硬件成本高,扩展能力差,数据并行访问效率低,难以满足网络安全设备联动系统的需求。因此,该文采用基于HDFS的云存储系统对日志文件进行存储。为了提高基于HDFS的云存储系统中小文件存储效率,该文设计了云存储系统中小文件存储的优化方案,主要在小文件合并和小文件检索方面做了优化。该方案结合网络安全设备联动系统中日志文件的特点,首先是根据不同设备的文件进行分类,然后根据小文件在合并后的大文件中的偏移量进行检索。最后采用3组文件集合对优化方案进行了测试,实验结果表明,在不影响存储系统运行状况的基础上,该方案提高了小文件的存储效率和读取效率。