基于分布式索引和目录聚合的海量小文件存储研究

针对海量小文件访问问题的挑战，提出了用基于分布式索引和目录聚合的分布式文件系统——超虚拟文件系统（HVFS）来管理数十亿个小文件的方法，以支持高并发、高吞吐、低延迟的访问。重点讨论了目录索引、目录存储问题，提出了利用可扩展哈希索引来降低延迟、提高扩展性，利用日志结构和列存储的目录聚合来提高吞吐率的方法。测试结果表明，HVFS的存储性能能够线性扩展，82节点上峰值创建速度接近百万每秒，与GIGA＋相比有200％以上的提升，小文件I／O性能与OrangeFS相比有60倍以上的提升，充分验证了分布式索引和目录聚合方法的有效性。