基于集中式管理的缓存优化方案

针对分布式文件系统HDFS以流式的方式访问大文件时效率很高,但是为解决海量小文件的操作特别是频繁访问重复的小文件时效率比较低的问题,提出了一种基于集中式管理的缓存优化方案。该方案通过对缓存的小文件进行集中式管理,采用一种新的数据一致性管理机制,提高海量小文件的读取性能。实验结果表明,该方案有效地提高了小文件的读取效率,减少了小文件的访问时延。

大数据平台下基于类型的小文件合并方法

Hadoop存储海量小文件将导致存储和计算性能显著下降。本文通过分析HDFS架构提出了一种基于文件类型的小文件合并方法,即根据文件类型将相同类型的小文件合并为大文件,并建立小文件到合并文件的索引关系,索引关系存储于HashMap中。为了进一步提高文件读取速度,建立了基于HashMap的缓存机制。实验表明该方法能显著提高HDFS在存储和读取海量小文件时的整体性能。