一种海量小文件对象存储优化方案

在海量小文件存储场景下,传统分布式文件系统存在元数据服务器性能瓶颈、存储空间浪费严重、磁盘I/O效率低等问题。业界主要采用小文件聚合的方法解决这个问题,但现有研究依赖于从聚合结构到小文件的二次映射和查表检索等传统方法。文中提出一种基于对象文件系统的海量小文件优化方案,根据局部性特征将小文件聚合为文件组,使用算法直接进行对象数据存储位置的分布与定位,将低效的查表检索方式改变为高效快捷的“计算检索”方式,这更加适合大规模分布式系统的设计;在客户端采用小文件数据大粒度预读技术,聚合小粒度I/O为大粒度I/O,提升了磁盘访问效率,使用页面热缓存和温缓存两级队列管理及识别热数据,并利用文件的局部性特征提升缓存命中率。实验结果表明,在海量小文件随机读写场景下性能提升50%左右。