A reliable power management scheme for consistent hashing based distributed key value storage systems

分布式键值存储作为最常用的分布式存储系统之一,目前广泛部署在大规模数据中心中。然而,大规模数据中心的高能耗是一个亟待解决的问题。为达到较好节能效果,同时满足数据可用性要求,本文提出一个针对基于一致性哈希的分布式键值存储系统的低能耗副本布局策略——Green CHT,它包括一个分层副本布局方案、一个可靠的分布式日志和一个预测能耗模式调节器。Green CHT将副本分布在互不重叠的多个节点层,而非随机放置于哈希环的部分节点。在分层副本布局中,部分节点层可以维持活动状态,其他节点可以被关闭而不影响数据可用性,以达到节能目的。能耗模式调节器(power mode scheduler,PMS)能够预测I/O负载,并根据负载高低波动变化,相应关闭或开启某些节点层。为保证节能状态下的系统可靠性,对于待机副本的写请求,被重新映射到活动的服务器,以保证系统的容错性。通过修改Sheepdog原有的数据分布算法和副本布局策略,Green CHT被配置在Sheepdog存储集群中。实验中,Green CHT能够节省35%–61%能耗,同时维持较好性能和可靠性。

A reliable and energy-efficient storage system with erasure coding cache

在现代的多副本节能存储系统中,主副本的磁盘总是保持着开启以对外提供服务,而其他副本的磁盘则可以在负载低时保持关闭状态以节能。然而,因为新的写请求不能够被立即同步到所有的磁盘上,所以系统的可靠性被降低了。本文中,我们设计了一个基于RAID10的具有高可靠性和高能效的副本存储系统——RERAID。RERAID使用主副本磁盘上的一部分空闲空间结合纠删码构造了一个编码缓存来接收新的写请求。因为通过使用纠删码,编码缓存能够支持2个甚至更多磁盘的故障恢复,所以RERAID能够保证与RAID10存储系统想当的可靠性。另外,我们还设计了一个纠删码写(erasure coding write,ECW)算法来缓存那些小的随机写,并把它们合并成大的写数据块,然后并行写入编码缓存中以提高写性能。实验结果显示RERAID相比现有的方案能够提高写性能并且节省更多的能源。