摘要
针对数据失效、丢失等存储问题,提出了基于STAR码对HDFS中的丢失数据进行恢复,在文件读取过程中,通过对读取失败的数据块所在组的其他可用数据块采用分片、解码和聚合操作,对本组读取失败的数据块进行恢复.给出了基于STAR码与分片聚合编码的数据存储方案,采用了分片聚合解码的数据恢复策略对数据进行恢复,实现了分片聚合解码的数据块动态恢复和数据块持久性恢复.
According to a series of storage problem, such as data failure, data lost, the HDFS lost data recovery has been put forward based on the STAR code strategy. The failure data block can be recovered dynamically by subdivision, decoding and polymerization operation of the other available data block in the group in the process of reading file. The dynamic and persistent recovery of data block have been realized through dividing polymerization decoding data recovery strategy.
出处
《南开大学学报(自然科学版)》
CAS
CSCD
北大核心
2014年第1期47-54,共8页
Acta Scientiarum Naturalium Universitatis Nankaiensis
基金
国家科技支撑计划(2012BAF12B00)
天津市科技支撑计划(13ZCDZDGX02500)
天津市科技支撑计划(12ZCDZGX446700)