LRCRaft:支持节点数据快速恢复的共识协议

在支持纠删码的分布式存储系统中,最常用的编码是RS(Reed-Solomon)码.对于一个RS(k,m)编码条带,常见的配置是一个节点仅存储条带中的一个分片,这导致在节点出现故障的情况下,对其存储分片的恢复需要跨多个节点读取分片并重新编码生成恢复分片,容易造成系统网络拥塞.在需要恢复大量数据的场合,系统在恢复期间会处于较长时间的脆弱期,容错能力和吞吐量下降、读写时延升高时有发生.LRCRaft是一个基于LRC(local reconstruction code)的改进Raft共识协议,通过在Raft中引入LRC码、动态日志增补、状态机删减和分片版本一致性等机制,降低了Raft的读写时延,缩短了节点故障恢复时间.实验结果表明,相较于Raft,LRCRaft在不同恢复模式中恢复一个单节点故障数据时,恢复用时有着49.25%–74.97%的减少.

基于概率模型的Raft协议形式化验证

共识协议作为分布式系统的关键要素和核心组件,用于解决分布式场景下可能出现故障的节点间保证同一数据一致的问题,其准确性和高效性直接决定了系统的性能。Raft共识协议是目前分布式系统中常见且有效的算法。本文首先使用概率模型检测方法对Raft共识协议进行形式化建模,然后利用概率模型检测的属性规约技术对它的相关属性进行描述,最后通过模型检测工具验证并分析Raft共识协议的一致性和高效性。实验结果表明,Raft共识协议满足一致性,但是在领导者选举阶段,当跟随者维护的最新日志序号的差值范围增加时,选举回合数也会增多,使得整个服务周期选举时间增加,从而影响协议的执行效率。

基于Raft一致性协议的高可用性实现

随着互联网的快速发展和大数据时代的来临,传统数据库的局限性开始逐渐显现,而支持海量数据存储和高并发访问的分布式数据库系统越来越流行.在此背景下阿里巴巴集团研发了一款适用于海量数据存储的分布式数据库系统(OceanBase),并提供单集群和多集群两种部署模式.但多集群部署模式下的可用性较低,无法满足关键性应用的需求,包括:发生故障时不支持主备集群的自动切换;主备集群之间无法保证日志的强同步.针对上述问题,本文分析了传统数据库的高可用方案,针对OceanBase架构的特点,结合了Raft算法的思想,设计并实现了基于时间戳的分布式选举模块、自动化的集群切换模块和基于QUORUM策略的日志强同步模块.经实验验证,以上模块的实现能够提高系统整体的可用性.

支持乱序执行的Raft协议

PolarFS是阿里巴巴开发的分布式文件系统,它实现了分布式共识协议Raft的一种变体,称为ParallelRaft.ParallelRaft突破了Raft中顺序提交、顺序执行的限制,允许状态机乱序执行用户命令.然而文献表明:ParallelRaft并未开源,仅有简短的文字描述,更缺乏严格的形式化规约.更进一步,它的正确性也尚未经过必要的数学论证或形式化检验.旨在为ParallelRaft提供严格的形式化规约并证明其正确性,主要贡献包括:首先,为了理清ParallelRaft与Raft之间的关系,提出了允许乱序提交、顺序执行的ParallelRaft-SE(sequential execution)协议,并建立了从ParallelRaft-SE到Multi-Paxos的精化关系;其次,现有的ParallelRaft描述忽略了可能会违反状态一致性的"幽灵日志"问题,因此在ParallelRaft-SE的基础上提出了ParallelRaft-CE(concurrent execution)协议.ParallelRaft-CE限制了ParallelRaft-SE在乱序提交阶段的并行度,避免了"幽灵日志"问题,支持乱序执行,并保证乱序执行下的状态机一致性.证明了ParallelRaft-CE的正确性.最后,使用TLA+给出了ParallelRaft-SE和ParallelRaft-CE的形式化规约,并对协议参与者数量较小的情形,使用TLC模型检验与模拟测试工具验证了从ParallelRaft-SE到Multi-Paxos的精化关系以及ParallelRaft-CE的正确性.

支持日志乱序提交的分布式一致性协议

为了解决Raft算法中日志提交的严格串行化设计,提出一种Raft协议变体:并行提交Raft (PC-Raft). PCRaft在日志提交阶段运用流水线,重新设计日志缓冲区,实现日志的乱序提交.传输方式使用RDMA网络,在提高日志传输的并发性的同时加快传输速度.在日志执行阶段,采用批处理,将多条指令打包发送给状态机逐条执行.针对日志并行提交情况下会出现的幽灵复现问题,采用LSN与任期号结合的方式保证日志的安全性.针对日志乱序提交会出现的日志空洞问题,重新设计领导者选举算法,在选举中加入临时领导者,保证选举出的领导者能最快恢复日志.测试结果证明PC-Raft对比Raft在吞吐量方面有着明显的性能提升,同时延迟更低,并且在日志指令依赖频繁的情况下,吞吐量比现有基于Raft的变体更高,延迟也更低.

基于平衡区组的数据编码分布式一致性算法设计

为降低分布式环境下的存储和网络开销问题,采用纠删码比采用副本策略更高效,CRaft虽然将纠删码与Raft相结合,但面临多节点故障时性能突降的问题。提出一种将纠删码结合平衡区组的分布式一致性算法,当系统检测到1个故障节点时,领导者分发数据包会增加1个编码包。测试时,在Raft基础上实现了CRaft和分布式一致性算法,通过逐渐增加系统中的故障节点,验证了该方法的有效性。在出现故障时,该算法相比CRaft的延迟和吞吐量效率更优。

用于联盟链的非拜占庭容错共识算法

随着区块链技术的发展,区块链出现了多种分类,兼顾公有链多中心特点和私有链高性能优势的联盟链成为了我国区块链的发展重心。结合联盟链中存在节点信任的特性,非拜占庭容错共识算法能为联盟链提供更好的性能支持。文中选取Raft共识算法作为研究对象,针对Raft共识算法中Leader节点选举和日志复制过程中的诸多问题,提出了一种可应用于联盟链的非拜占庭容错共识算法——KRaft(Kademlia-Raft)共识算法,该共识算法结合区块链网络层的双层Kademlia路由协议改进了Raft共识算法中的Leader节点选举和日志复制过程。首先,针对Raft共识算法Leader节点选举中存在的多Candidate节点分票和Follower节点增多引发的投票效率问题,KRaft共识算法利用双层Kademlia协议建立的K桶实现了Candidate节点集合内的稳定选举;其次,针对Raft共识算法日志复制过程中Leader节点单节点日志复制过程效率低和节点负载不均的问题,提出了均衡Leader节点负载的多Candidate节点并行日志复制方案,在提升数据吞吐量的同时提升了算法的可拓展性。本地多节点仿真实验的结果表明,KRaft共识算法相较于Raft共识算法,数据吞吐量提升了34.5%,Leader节点选举速度提升了55.6%。

Apache IoTDB的分布式框架设计

Apache IoTDB是一个新型的开源时序数据库管理系统.分布式数据管理系统不仅需要解决数据分区与多副本带来的节点间元数据同步问题,还要支持高效查询请求处理.本文针对节点间元数据同步问题提出了双层粒度元数据管理策略,在此基础上基于一致性哈希分区方法和Raft协议设计了同时支持强一致性查询和最终一致性查询的分布式框架.基于单机版Apache IoTDB进行了系统实现与实验测试,测试结果表明:双层粒度元数据管理策略与单层粒度管理策略相比,其元数据内存资源占用更少且写入性能提升5%~10%,并且分布式Apache IoTDB的读写性能随着集群规模的扩大而线性增长.