基于纠删码的HDFS存储方案

HDFS文件系统通过多副本备份的方式解决数据损坏或丢失的问题,但是随着存储系统内容增多,在数据量级很大的时候,这种容灾方案消耗的额外存储空间是实际存储内容的数倍,不利于系统资源长期积累.文章提出使用纠删码编/解码文件代替HDFS的副本备份容灾策略,在保证数据安全性的前提下大大提高了存储空间利用率,降低存储额外消耗.

HDFS平台下基于纠删码的一种数据放置策略

数据的可靠性一直是云计算领域中的热点问题,副本备份机制作为保证数据可靠性的重要手段应用比较广泛.但随着副本个数的增加,该机制浪费存储空间这一缺陷暴露无遗.为节省存储空间,采用纠删码技术保证数据的可靠性,提出了在HDFS平台下基于纠删码的一种数据放置策略.该策略以HDFS为平台,结合HDFS的副本备份策略和纠删码技术,通过改进HDFS平台下原本的数据放置策略,使改进后的数据放置策略能够适用于基于纠删码和HDFS的云文件系统.