基于局部重构码的RS编码算法研究

为提高纠删码错误重构时的计算效率,在RS纠删码的编码中需采用局部重构码。本文通过说明原始RS码的编码理论,局部重构码的理论基础,磁盘故障的分布情况,并分析其计算效率和容错率,最后通过在仿真环境中进行实验。实验结果表明,该算法可以有效降低故障发生时的重构时间,大大提高了重构过程中的磁盘IO的读取效率,这种采用局部重构的编解码方式能够较好地提高原始数据的重建效率。

LRCRaft:支持节点数据快速恢复的共识协议

在支持纠删码的分布式存储系统中,最常用的编码是RS(Reed-Solomon)码.对于一个RS(k,m)编码条带,常见的配置是一个节点仅存储条带中的一个分片,这导致在节点出现故障的情况下,对其存储分片的恢复需要跨多个节点读取分片并重新编码生成恢复分片,容易造成系统网络拥塞.在需要恢复大量数据的场合,系统在恢复期间会处于较长时间的脆弱期,容错能力和吞吐量下降、读写时延升高时有发生.LRCRaft是一个基于LRC(local reconstruction code)的改进Raft共识协议,通过在Raft中引入LRC码、动态日志增补、状态机删减和分片版本一致性等机制,降低了Raft的读写时延,缩短了节点故障恢复时间.实验结果表明,相较于Raft,LRCRaft在不同恢复模式中恢复一个单节点故障数据时,恢复用时有着49.25%–74.97%的减少.

基于分组码的跳跃纠删码

针对纠删码中分组码多组之间关联性差导致的容错率低等问题,本文基于分组码的思想提出一种跳跃纠删码—跳跃局部重构码。通过将初始数据分组并且在每组选取单块数据跳跃再生成校验块来加强组间联系,以提升容错率、容错能力以及降低重构开销等不同性能,并且可以权衡存储开销与其他性能以满足分布式系统的不同需求。此外,本文通过改变跳跃局部重构码自身参数来对比性能变化,并且与其他常用类型纠删码进行对比实验。结果表明:跳跃局部重构码能够在较小的存储开销下,达到较高的容错能力和较低的重构开销的效果,可跳跃生成校验块并且相对性能较优。