一种面向Hadoop中间数据存储的混合存储系统

针对Hadoop的Reduce阶段的I/O性能瓶颈,设计了针对Hadoop中间数据存储的设备同层混合存储系统。该系统包含数据映射和数据迁移两大模块,其中数据映射模块主要负责I/O请求重定向及维护元数据,数据迁移模块利用闲时进行数据迁移,提高SSD的利用率。实验结果表明,该混合存储系统能够缓解Hadoop的Reduce阶段的I/O瓶颈并提升该阶段的整体性能。