基于文件路径的重复数据删除集群的数据路由策略

重复数据删除集群是解决不断增长的海量数据备份需求的一种有效方法。它的关键问题是数据路由策略,即如何把数据合理分配到集群内的各个节点。目前的数据路由策略利用文件或者数据段的最小数据块签名计算路由目标节点,称作MCS(minimum chunk signature)数据路由策略。当重复数据删除集群规模较小时,这种方法的存储使用量接近单节点重复数据删除。但是,当集群规模较大时,它的存储使用量远远劣于单节点重复数据删除。为了降低重复数据删除集群的存储使用量,提出一种基于路径的重复数据删除集群的数据路由策略,称作DRSD(data routing strategy based on directories)。实验结果表明,对于各种不同的节点数量,DRSD的重复数据删除率都明显高于MCS,并且接近单节点重复数据删除。当节点数量是64时,DRSD的重复数据删除率比MCS高35%。

一种基于历史信息的一致性Hash集群重复数据删除路由策略

随着全球数据量爆炸式增长,单节点重复数据删除系统已不能满足系统在吞吐量等方面的性能需求,因此集群重复数据删除系统应运而生.如何提高数据传输效率、节约网络带宽和增强系统的可扩展性,成为当前面临的严峻挑战.提出一种基于历史数据信息的一致性Hash路由策略,通过在本地缓存热点数据块指纹,数据路由前先在本地索引,可以大大减少索引消息请求数量,并且采用一致性Hash的路由策略,有效地缓解集群系统中动态扩展存储节点导致的全局数据重删率急剧恶化与负载不均.在3类真实的数据集上进行试验,能减少20%~80%的指纹消息请求,动态扩展存储节点导致数据缩减率降低保持在33%以下,并且能够很好地保持系统节点间负载均衡.