基于Raft共识协议的分布式键值对存储系统研究与实现

针对工业物联网、大数据等领域对分布式数据存储基础设施提出的高性能、高可用性和高可靠性需求,简要回顾和分析了分布式共识协议的相关理论与关键技术,研究了具有高性能、高可用性和高可靠性的分布式键值对存储系统,并设计开发了基于Raft共识协议和LevelDB的分布式键值对存储系统。最后,测试了该系统的功能和性能指标。实验结果表明,该系统具有高稳定性、高可用性和良好的性能。

一套提高区块链数据访问速度的策略

随着比特币、以太坊等应用的推广,区块链技术也进入了人们的视野,成为现在最热门的技术之一。其实区块链并不是技术的完全创新,只是现有技术的联合创新,它的本质是以LevelDB为基础的分布式数据库技术,这种技术在写操作上有很大优势,但它的读操作任务多、结构复杂、速度慢。通过一种内置索引的方法在写操作时防止了重复的key,从而提高了读操作的速度和效率。

用于联盟链的布隆过滤器优化

布隆过滤器常用于联盟链Hyperledger Fabric状态数据库LevelDB的读性能优化,但布隆过滤器本身存在误报现象,且LevelDB只能对布隆过滤器进行统一配置而无法自适应调整。为此,提出一种单元化的部分计数式布隆过滤器(partial counting Bloom filter,PCBF)构造方案,设计可并行计算的元素插入与查询机制并结合双重哈希及非加密哈希来实现快速插入与查询;基于开启过滤器单元与访问次数构建排序字符串表优先级,使用时间片轮询算法对过滤器单元进行自适应调整,实现了资源的合理分配。实验结果表明:PCBF具有较高的插入效率,并能减少20%左右的误报数量,适用于联盟链的高并发场景。

基于Google S2的大数据时空索引及区域查询算法

随着时代的发展,轨迹数据的数据量越来越大。提出使用LevelDB作为存储轨迹数据的数据库,解决了数据快速入库、短时间捞出大量数据的问题;同时使用Google S2作为轨迹数据的时空索引,并提出了一种区域查询算法。经实验证明,使用该索引进行区域查询,无论是在查询数据的精准度上,还是查询时间上,均优于基于GeoHash作为轨迹数据时空索引。

SSDKV:一种SSD友好的键值对存储系统

当前大量键值对(Key-Value)存储系统使用固态硬盘(SSD)改善系统的I/O响应速度。但是现有的键值对存储系统应用程序使用标准文件系统处理数据在固态硬盘上的存储,这对应用程序而言底层固态盘的物理特性被屏蔽,同时固态盘也无法针对应用程序的特定I/O模式进行优化,使得基于固态盘的键值对系统性能没有得到充分发挥。针对此问题,设计了同时考虑键值对应用程序存取行为和SSD存储器访问特性的存储管理模块,并与LevelDB结合实现了一种轻量级的、将上层应用与底层存储集成一体的键值对系统—SSDKV。它提供键值对接口给外部程序,结合键值对数据的特点构造适应SSD的数据布局。SSDKV简化了传统文件系统对键值对数据的额外处理,并根据键值对数据的类型及其存取模式对SSD存储空间进行有效管理,使得基于SSD设备的键值对系统性能进一步提高。通过基准程序测试,与运行于传统文件系统上的LevelDB相比,SSDKV使得写性能提高达4倍,读性能提高达1.5倍。