基于HDFS的小文件存储技术研究

大数据平台中的HDFS(Hadoop Distributed File System,Hadoop分布式文件系统)文件系统通用性强、稳定性好,生态圈成熟。通过对HDFS文件系统的研究,在分析了海量数据文件的大小、分布、应用等特点的基础上,针对大容量的信息处理,形成了基于HDFS文件系统合并存储管理小文件的模型。在系统已经使用了HDFS的基础上,为保证技术成熟度、节约成本,在HDFS管理大文件的同时,通过合理设计文件存储大小、优化小文件信息管理等方式,在6节点的HDFS文件系统上实现了小文件写速率峰值2GB/S,读写混合时毫秒级读取文件的能力。实现了基于HDFS的海量大文件、小文件的分类存储。