基于小文件的内存云存储优化策略

由于内存云RAMCloud采用日志段的方式存储数据,因此当大量小文件存储于RAMCloud集群时,每个小文件独占整个段,会产生较多的段内碎片,从而导致内存的有效利用率较低以及大量的内存空间浪费。为了解决这个问题,提出基于文件分类的RAMCloud小文件存储优化策略。该策略首先根据文件的相关特性将小文件分为结构相关文件、逻辑相关文件以及相互独立文件三类;然后在存储时对结构相关的文件使用文件合并算法,逻辑相关和相互独立的小文件则使用分组算法。实验结果表明:同未进行优化的RAMCloud存储策略相比,该策略能有效提高集群内存利用率。

基于Hadoop的小文件量化方法研究

针对目前Hadoop平台不能高效处理海量小文件而出现的小文件问题,提出一种基于曲线拟合最小二乘法的确定Hadoop平台下何为小文件的方法。该方法首先确定小文件访问时间的量化方法,然后采用访问时间作为确立何为小文件的影响因子,通过对不同数据集大小的不同访问时间的实验,最终结合线性拟合的相关知识找到了小文件大小的量化方法。

基于Hadoop的海量气象雷达小文件存储研究

针对气象雷达观测产生的文件多、数据量大、计算复杂等特点,通过研究分布式存储计算平台Hadoop,提出将雷达观测中实时生成的一次产品文件直接存储在HBase中;而对立体扫描文件和计算生成的二次产品文件,采用Sequence File技术合并处理后存储在Hadoop分布式文件系统中。根据雷达文件的标识特点,将HBase的行主键设计成时间+产品参数,利用随机散列与预分区保证HBase中regionserver的负载均衡;通过与直接存储在Hadoop分布式文件系统的方案进行比较,从Name Node的内存占用和文件读取时间两个方面进行测试和方案评估。实验证明该方案节省约60%的Name Node的内存空间,同时提高近18%的文件读取速率。