一种多核友好的持久性内存键值系统

相比于传统内存,持久性内存具有容量大和非易失的特点,这为构建大规模键值存储系统提供了新的机遇.然而,在多核服务器架构下设计持久性内存键值系统面临着诸多挑战,包括并发控制带来的CPU缓存抖动、对持久性内存有限写带宽的消耗和竞争以及持久性内存高延迟带来的线程冲突加剧.提出一种多核友好的持久性内存键值系统(multicore-friendly persistent memory key-value store,MPKV),通过设计高效并发控制方法和减少对持久性内存的写操作,充分提高多核并发性能.为避免锁资源带来的额外持久性内存写带宽消耗,MPKV引入了易失性锁管理机制,将写锁资源从索引中分离,在DRAM(dynamic RAM)中单独维护它们.为保证崩溃一致性和提高并发查询性能,MPKV引入了2阶段原子写机制,利用CPU提供的原子写操作指令将系统从一个一致性状态原子地切换到另一个一致性状态,并支持了无锁查询.基于易失性锁管理机制,MPKV还提出一种并发写消除机制,以提高更新操作之间的并发效率.当出现2个冲突的更新操作时,并发写消除机制让其中一个操作直接返回,不做任何持久性内存的分配与写操作.实验显示,MPKV相比于pmemkv具有更良好的性能以及多核扩展性.其中,在18线程环境下,MPKV的吞吐达到pmemkv的1.7~6.2倍.

基于LSM树的键值存储系统技术研究综述

键值存储是数据库最简单的组织形式。在数据密集型的应用场景中,键值存储系统发挥着关键的作用。随着对及时数据分析需求的增加,良好的系统性能变得越来越重要。目前大多数键值存储系统的存储引擎都是日志结构合并树(Log-Structured Merge Tree, LSM树)。因具有卓越的写性能,LSM树被广泛应用于写密集型的场景和现代NoSQL系统的存储层。与传统的B树相比,LSM树采用顺序写入的访问模式,并使用内存缓冲区来批处理新的写入线程,因此LSM树具有更大的写优势。然而,数据的重复读写和不必要的压缩操作导致了LSM树的读写放大问题,从而严重影响了系统的性能,尤其在数据密集型的应用场景。如今,研究人员做了大量工作来缓解这些问题,文中研究了影响LSM树性能的各个因素,搜集了大量提升基于LSM树的键值系统性能的文献,并对其加以整理和分类,讨论它们的优势和权衡,使读者可以了解基于LSM树的存储技术及其优化策略,最后调查了几个具有代表性的基于LSM树的键值存储技术并讨论了潜在的未来研究方向。

基于RDMA的分布式键值存储系统性能优化

如今分布式键值存储系统在工业界得到了广泛的应用,如何提升其性能成为分布式系统和并行计算领域的研究热点。远程直接数据存取是高性能计算中常用的通信技术,利用其低延迟高带宽的特性,可以有效提升分布式键值存储系统的性能表现。MPI单边通信是一种支持RDMA的通信方法,本文使用MPI单边通信实现分布式键值操作,并根据其特点重新设计通信模型。为了解决RMA带来的数据一致性问题,本文改变键值对的存储结构并制定存取操作的通信策略。通过将单边通信与TCP/IP进行对比,对不同长度的数据测试通信延迟,验证了RDMA给系统带来的性能提升。

Elsa:一种面向跨区域架构的无协调分布式键值存储系统

作为具备高性能和高可伸缩性的分布式存储解决方案,键值存储系统近年来被广泛采用,例如Redis、MongoDB、Cassandra等.分布式存储系统中广泛使用的多副本机制一方面提高了系统吞吐量和可靠性,但同时也增加了系统协调和副本一致性的额外开销.对于跨域分布式系统来说,远距离的副本协调开销甚至可能成为系统的性能瓶颈,降低系统的可用性和吞吐量.提出分布式键值存储系统Elsa,这是一种面向跨区域架构的无协调键值存储系统.Elsa在保证高性能和高可拓展性的基础上,采用无冲突备份数据结构(CRDT)技术来无协调的保证副本间的强最终一致性,降低了系统节点间的协调开销.在阿里云上构建了跨4数据中心8节点的跨区域分布式环境,进行了大规模分布式性能对比实验,实验结果表明:在跨域的分布式环境下,对于高并发争用的负载,Elsa系统的性能具备明显的优势,最高达到MongoDB集群的7.37倍,Cassandra集群的1.62倍.

基于非易失存储器件的内存键值存储系统的性能研究

分析了互联网应用为满足后端存储系统高性能要求而引用的内存键值存储系统的应用特点,指出:为了永久保存数据,这些系统还需要在后端将数据从易失性的内存拷贝到慢速的非易失存储设备中;将新型的非易失存储器件(NVM)引入内存键值存储系统可减少其性能开销;根据NVM的特征,内存键值系统可采用两种架构:将NVM替代磁盘作为二级存储设备和将NVM替代DRAM直接作为主存储设备。基于上述分析,实现了两种NVM架构的内存键值存储系统,并通过实验分析,总结出了内存键值存储系统选择NVM架构的原则,这些原则可有效指导内存键值存储系统在采用当前以及未来NVM器件时,对架构的选择。其次,还通过理论和实验分析,得出了不同架构下的内存键值系统在软件层的主要开销,指出了未来针对这些系统的软件设计的优化方向。

基于用户级融合I/O的Key-Value存储系统优化技术研究

传统分布式键值存储系统大都基于操作系统提供的套接字与可移植操作系统接口构建,受限于接口语义及内核开销,难以发挥底层新型网络和存储硬件高吞吐与低延迟的性能优势.聚焦键值存储系统的数据通路,面向高速以太网与NVMe(non-volatile memory express)固态存储,于用户态整合网络栈与I O栈,协同设计以优化吞吐性能与延迟稳定性.用户级融合I O栈的控制平面由同一处理器核心于同一上下文中统一管理网卡与固态存储设备的硬件队列,消除了传统分离式设计所导致的多次进出内核态、多次上下文切换以及潜在的核间通信与数据迁移等的弊端,最大限度降低系统软件层面的管控开销.数据平面采用统一的内存池,借助用户级设备驱动,数据于上层键值系统与底层设备之间直接通过DMA传输,没有额外数据拷贝与操作系统干涉.针对大消息访问请求,通过将数据分片并交叠执行网络与存储DMA操作,进一步掩藏了访问延迟.实现了全用户态键值存储系统UKV,支持内存外存2层存储以及广泛应用的Memcache接口.将UKV与由Twitter开源的Fatcache系统进行了测试对比.实验结果表明,涉及外存的SET请求的每秒查询吞吐量提高了14.97%~97.78%,GET操作的每秒查询吞吐量提高了14.60%~51.81%;涉及外存的SET操作的p95延迟降低了26.12%~40.90%,GET操作的p95延迟降低了15.10%~24.36%.

基于RDMA高速网络的高性能分布式系统

高速的RDMA网络设备已经被广泛部署在现代数据中心。RDMA可以从两方面加速分布式系统:首先可以提供一种快速的消息处理机制,其次RDMA提供了新的硬件原语。这极大地提升了处理器的利用率以及对RDMA的使用率,但是需要重新设计系统。介绍了RDMA的研究进展,概述了近年来利用RDMA加速分布式系统的工作,包括基于RDMA重新设计的系统以及如何更好地利用RDMA的设计,并给出了未来的研究方向。

大规模高校纠删码键值存储读写负载均衡研究

纠删码广泛部署于分布式键值存储系统来保证数据可靠性.通过将用户数据编码并存储到多个存储节点,纠删码存储系统可以在部分节点失效的情况下恢复原始数据.随着存储节点数量的增加,存储节点往往会出现负载不均衡的情况,限制其在高校云计算和信息化领域的应用场景.为解决上述问题,提出大规模纠删码键值存储系统负载均衡方案.通过将逻辑控制和存储功能分离,纠删码存储系统可以高效地确定存储节点的负载状态.为充分利用节点之间网络带宽资源,提出多切片数据编码传输方案.根据用户写入数据量,设计混合数据写入机制来提升数据写入操作的性能.在此基础上,设计了原型纠删码键值存储系统,实际原型系统测试验证了本研究中负载均衡算法的有效性.

云制造环境下并行频繁模式增长算法优化

针对云制造环境下的海量数据挖掘,分析了现有并行频繁模式增长算法的实现和不足。研究了利用键值存储系统对其中的计数和分组部分进行优化。利用键值型数据库存储简单、自动增长且有序的方式,将计数和分组的信息存储在了键值型数据库上。通过减少对分布式文件系统的读写,并将计数过程和排序过程并行化执行,优化后的算法减小了存储节点的网络及内存开销。在真实数据集上,通过实验对比了优化前后算法的性能以及对于文件系统I/O的开销。

基于特征的业务流程数据可扩展管理机制

为解决在请求密集的关键性业务应用中,业务流程管理系统的可扩展性受到传统的流程数据管理方法制约的问题,提出一种基于特征的业务流程数据可扩展管理机制。该机制充分考虑了业务流程管理系统中各种流程数据的特征,综合利用关系型数据库和分布式键值存储系统的优势管理相应的流程数据,提升了系统的整体性能和可扩展性,并通过抽象的流程数据访问层对流程引擎屏蔽了底层数据模型的差异。通过实验验证了所提机制的有效性。

基于持久化内存的索引设计重新思考与优化

非易失性内存(non-volatile memory,NVM)是近几年来出现的一种新型存储介质.一方面,同传统的易失性内存一样,它有着低访问延迟、可字节寻址的特性;另一方面,与易失性内存不同的是,掉电后它存储的数据不会丢失,此外它还有着更高的密度以及更低的能耗开销.这些特性使得非易失性内存有望被大规模应用在未来的计算机系统中.非易失性内存的出现为构建高效的持久化索引提供了新的思路.由于非易失性硬件还处于研究阶段,因此大多数面向非易失性内存的索引研究工作基于模拟环境开展.在2019年4月英特尔发布了基于3D-XPoint技术的非易失性内存硬件apache pass(AEP),这使得研究人员可以基于真实的硬件环境去进行相关研究工作.首先评测了真实的非易失性内存器件,结果显示AEP的写延迟接近DRAM,而读延迟是DRAM的3~4倍.基于对硬件的实际评测结果,研究发现过去很多工作对非易失性内存的性能假设存在偏差,这使得过去的一些工作大多只针对写性能进行优化,并没有针对读性能进行优化.因此,重新审视了之前研究工作,针对过去的混合索引工作进行了读优化.此外,还提出了一种基于混合内存的异步缓存方法.实验结果表明,经过异步缓存方法优化后的混合索引读性能是优化前的1.8倍,此外,经过异步缓存优化后的持久化索引最多可以降低50%的读延迟.

基于APU的内存键值缓存系统

内存键值缓存系统广泛应用于当今的互联网服务系统中,通过保存最有可能被访问的键值对象来加速查询。目前的内存键值缓存系统均使用独立的GPU来提高系统性能,然而CPU和GPU之间的PCIe传输开销阻碍了CPU与GPU进行细粒度协作的可能,导致系统计算资源得不到充分利用。本文利用耦合CPU-GPU架构的新型处理器APU中CPU和GPU共享系统内存的特性,提出在CPU和GPU之间进行细粒度的任务划分来充分发挥各自的计算优势,并首次在这种架构的处理器上实现了一个内存键值缓存系统。该系统针对内存键值缓存系统的任务特点对CPU和GPU的细粒度协作进行了探索,并解决了共享内存模型下CPU与GPU的数据访问冲突。实验表明,在以读请求为主的工作负载下该系统的性能均优于已有的内存键值系统。

A reliable power management scheme for consistent hashing based distributed key value storage systems

分布式键值存储作为最常用的分布式存储系统之一,目前广泛部署在大规模数据中心中。然而,大规模数据中心的高能耗是一个亟待解决的问题。为达到较好节能效果,同时满足数据可用性要求,本文提出一个针对基于一致性哈希的分布式键值存储系统的低能耗副本布局策略——Green CHT,它包括一个分层副本布局方案、一个可靠的分布式日志和一个预测能耗模式调节器。Green CHT将副本分布在互不重叠的多个节点层,而非随机放置于哈希环的部分节点。在分层副本布局中,部分节点层可以维持活动状态,其他节点可以被关闭而不影响数据可用性,以达到节能目的。能耗模式调节器(power mode scheduler,PMS)能够预测I/O负载,并根据负载高低波动变化,相应关闭或开启某些节点层。为保证节能状态下的系统可靠性,对于待机副本的写请求,被重新映射到活动的服务器,以保证系统的容错性。通过修改Sheepdog原有的数据分布算法和副本布局策略,Green CHT被配置在Sheepdog存储集群中。实验中,Green CHT能够节省35%–61%能耗,同时维持较好性能和可靠性。