面向非易失内存的结构和系统级设计与优化综述

当今各类计算机应用都进入一个飞速发展的阶段,无论是"计算密集型"还是"存储密集型"应用都对存储系统的容量、性能以及功耗不断提出更高的要求.然而,由于传统内存工艺(DRAM)的发展落后于计算逻辑工艺(CMOS),基于DRAM的内存设计逐渐无法满足这些设计需求.同时,基于HDD的外存性能与DRAM主存间的差距也逐渐增加.而各种非易失存储工艺取得长足的进步,为解决这一问题提供了新的机遇.本文就近年来针对非易失内存的结构和系统级设计与优化的研究工作进行综述,揭示非易失内存对存储系统的性能、功耗等都有明显的改善.

基于非易失存储器件的内存键值存储系统的性能研究

分析了互联网应用为满足后端存储系统高性能要求而引用的内存键值存储系统的应用特点,指出:为了永久保存数据,这些系统还需要在后端将数据从易失性的内存拷贝到慢速的非易失存储设备中;将新型的非易失存储器件(NVM)引入内存键值存储系统可减少其性能开销;根据NVM的特征,内存键值系统可采用两种架构:将NVM替代磁盘作为二级存储设备和将NVM替代DRAM直接作为主存储设备。基于上述分析,实现了两种NVM架构的内存键值存储系统,并通过实验分析,总结出了内存键值存储系统选择NVM架构的原则,这些原则可有效指导内存键值存储系统在采用当前以及未来NVM器件时,对架构的选择。其次,还通过理论和实验分析,得出了不同架构下的内存键值系统在软件层的主要开销,指出了未来针对这些系统的软件设计的优化方向。

基于非易失混合内存的高速气象数据管理系统设计

气象数据是典型的大数据,具有规模大、增速快和类型复杂等特点,而且气象模式数据由高性能计算机不断计算产生,同时也面临天气预报等气象业务的多种复杂查询,因此气象模式数据管理面临严峻的空间和性能挑战。非易失内存(NVM)是近年来应用的新型存储介质,具有性能高、存储密度高和非易失等优势,但同时也具有很多特殊的硬件特性,需要进行软件协同设计才能充分发挥其性能优势。因此,以非易失内存的硬件特征为出发点,设计了一种高速气象数据管理系统,相对于目前的内存数据管理系统,性能增幅为114.2%,且同时具有更大的存储容量和更低的单位容量成本。

面向非易失内存的数据一致性研究综述

随着DRAM技术面临密度扩展瓶颈以及高泄漏功耗问题,新型非易失内存(non-volatile memory,NVM)因其非易失、高密度、字节寻址和低静态功耗等特性,已经得到学术界和工业界的广泛关注.新型非易失内存如相变内存(phase change memory,PCM)很可能替代DRAM或与DRAM混合作为系统主内存.然而,由于NVM的非易失特性,存储在NVM的数据在面临系统故障时可能由于部分更新或内存控制器写重排序而产生不一致性的问题.为了保证NVM中数据的一致性,确保对NVM写操作的顺序化和持久化是基本要求.NVM有着内在缺陷如有限的写耐久性以及较高的写延迟,在保证NVM数据一致性的前提下,减少NVM写次数有助于延长NVM的寿命并提高NVM系统的性能.重点讨论了基于NVM构建的持久索引、文件系统以及持久性事务等数据一致性研究,以便为实现低开销的数据一致性提供更好的解决方案或思路.最后给出了基于NVM的数据一致性研究展望.

基于新型非易失存储器的混合内存架构的内存管理机制

随着互联网和云计算技术的迅猛发展,现有动态随机存储器(Dynamic Random Access Memory,DRAM)已无法满足一些实时系统对性能、能耗的需求.新型非易失存储器(Non-Volatile Memory,NVM)的出现为计算机存储体系的发展带来了新的契机.本文针对NVM和DRAM混合内存系统架构,提出一种高效的混合内存页面管理机制.该机制针对内存介质写特性的不同,将具有不同访问特征的数据页保存在合适的内存空间中,以减少系统的迁移操作次数,从而提升系统性能.同时该机制使用一种两路链表使得NVM介质的写操作分布更加均匀,以提升使用寿命.最后,本文在Linux内核中对所提机制进行仿真实验.并与现有内存管理机制进行对比,实验结果证明了所提方法的有效性.

外部高速缓存与非易失内存结合的混合内存体系结构特性评测

以非易失性存储器(NVM)作为主存且以动态随机存取存储器(DRAM)作为片外高速缓存(EC),是一种可以满足大数据应用内存容量需求的新型混合内存结构(ECNVM)。该结构同时具有NVM的大存储容量和DRAM的低存取延迟的优点。传统的结构是以片内SRAM作为片内高速缓存(IC)且以DRAM作为主存(IC-DRAM)。与ICDRAM相比,EC-NVM在容量比、延迟比方面均有显著不同,导致在IC-DRAM场景下的设计方法和优化策略直接迁移到EC-NVM上未必有良好的效果。本文评测了 EC-NVM的体系结构特性(包括高速缓存粒度、关联度、替换算法、预取算法等),获得了指导ECNVM结构的设计和优化的一系列发现。

基于新型非易失内存的远程零拷贝文件系统

为提升物联网与边缘计算应用中前端节点间的数据访问效率,提出了一种新型远程零拷贝文件系统。该文件系统无须借助特殊硬件,可直接基于通用网卡设备实现零拷贝的数据传输框架;充分利用新型非易失内存的随机访问特性,尽可能减少数据缓存和拷贝,提高数据访问的吞吐量。建立缓冲区池,精简并融合传统网络栈和存储栈,从而缩短文件访问路径,减少软件冗余,降低数据访问延迟。最终提供高带宽、低延迟的远程数据访问性能。测试结果表明,远程零拷贝文件系统比传统网络文件系统减少了42.26%~99.19%的读写延迟,细粒度访问下的吞吐量最高可提升1297倍,显著降低了处理器开销和缓存失效次数。

NV-Shuffle:基于非易失内存的Shuffle机制

Shuffle是大数据处理过程中一个极为重要的阶段.不同类型的Task(或者Stage)之间通过Shuffle进行数据交换.在Shuffle过程中数据需要进行持久化,以达到避免重计算和容错的目的.因此Shuffle的性能是决定大数据处理性能的关键因素之一.由于传统Shuffle阶段的数据通过磁盘文件系统进行持久化,所以影响Shuffle性能的一个重要因素是I/O开销,尤其是对基于内存计算的大数据处理平台,例如Spark,Shuffle阶段的磁盘I/O可能拖延数据处理的时间.而非易失内存(NVM)具有读写速度快、非易失性以及高密度性等诸多优点,它们为改变大数据处理过程中对磁盘I/O的依赖、克服目前基于内存计算的大数据处理中的I/O性能瓶颈提供了新机会.提出一种基于NVM的Shuffle优化策略——NV-Shuffle.NV-Shuffle摒弃了传统Shuffle阶段采用文件系统的存储方式,而使用类似于Memory访问的方式进行Shuffle数据的存储与管理,避免了文件系统的开销,并充分发挥NVM的优势,从而减少Shuffle阶段的耗时.在Spark平台上实现了NV-Shuffle,实验结果显示,对于Shuffleheavy类型的负载,NV-Shuffle可节省大约10%~40%的执行时间.

面向异构非易失内存场景的分配策略

傲腾非易失内存模组产品的出现提示应重新审视早期基于模拟非易失内存(NVM)的分配研究。随着操作系统对NVM接入规范的支持,如何合理分配异构NVM场景中的内存是一个重要问题。因此,提出一种异构NVM场景下的经济成本优先分配策略(CPMA),该策略通过一个元数据组件记录系统内不同NVM硬件的性能,在接收到分配请求时,根据请求的读写类型、需求空间大小和元数据组件的参数,估算出在每块NVM上分配所需的时间成本和磨损成本,并将其转化为统一的“经济成本”后灵活做出分配。实验仿真表明,CPMA能在保持时间成本不增加的情况下降低“经济成本”;对比通用内存分配器ptmalloc和tcmalloc,CPMA的测算出的经济成本分别为它们的55%和59%;和同样面向NVM设计的分配器NVMalloc、Ralloc以及PMDK套件中的libpmemobj对比,CPMA的经济成本分别为它们的81%、64%和72%。

LI-Tree:一个基于非易失性内存和轻量级B+树的学习索引

大数据背景下剧增的数据给经典的内存索引技术带来了巨大挑战,为了实现对海量数据的高性能索引,工业界和学术界分别从设备和结构角度推出了高性能大容量的非易失型内存(Non-Volatile Memory,NVM)和受机器学习启发的学习索引(Learned Index,LI).然而目前基于NVM的学习索引结构的相关研究非常稀少,在如何结合NVM和LI来高效地索引海量数据方面还有许多问题需要解决.本文提出了一种基于NVM的新型智能索引结构LI-Tree,充分发挥了两者的优势.具体的,LI-Tree可分为三层:由机器学习模型组成的能够提高LI-Tree单点性能的模型层、由静态数组构成的减少NVM写的数据索引层和由一系列轻量级B+树组成以避免模型层插入时频繁重训练的数据层.在真实设备上评估表明,LI-Tree相比传统B+树,插入、查询和删除性能分别提高了70%、30%和130%.另外,LI-Tree与学习索引结构ALEX,PGM-Index和XIndex对比,插入性能分别提升了80%,130%和150%.

面向非易失内存的MPI-IO接口优化

在高性能计算环境中,MPI应用多个计算节点同时访问底层存储系统文件时,其I/O开销受到访问模式和外存设备性能的影响。针对MPI应用访问文件的特征,利用非易失内存高带宽、低时延、可字节寻址、数据可持久化等优势,提出面向非易失内存的MPI-IO接口优化方案;对文件数据建立分布式的缓存并维护持久性的元数据、对进程间数据传输策略进行优化,使应用可以有效管理、利用非易失内存设备,保持缓存数据一致有效。实验结果证明,所提系统为应用带来数十倍的读写性能提升。未来将进一步优化本方案的并行性。

新型非易失存储环境下事务型数据管理技术研究

为适应底层存储架构的变化,上层数据库系统已经经历了多轮的演化与变革.在大数据环境下,以非易失、大容量、低延迟、按字节寻址等为特征的新型非易失存储器件(NVM)的出现,势必对数据库系统带来重大影响,相关的存储与事务处理技术是其中值得关注的重要环节.首先,概述了事务型数据库系统随存储环境发展的历史与趋势;然后,对影响上层数据管理系统设计的非易失性存储技术以及面向大数据应用领域与硬件环境优化的事务技术进行综述与分析;最后,对非易失存储环境下事务型数据库面临的挑战与研究趋势进行了展望.

面向新型非易失存储的文件系统研究综述

新型非易失存储(NVM)可字节寻址,具有近似内存的低延迟特性以及外存的非易失性,受限于软硬件技术成熟度,目前首先被用于外存。讨论了NVM用于持久性外存所面临的一系列问题,以及管理上的一些挑战;对现有的典型NVM文件系统及其主要特性进行了梳理。归纳起来,这些特性主要围绕降低一致性开销、降低软件栈开销、内存与外存的融合、分布式文件系统、NVM文件系统安全、容错、空间管理几个方面展开。最后,展望了NVM文件系统仍然有待探讨的几个研究方向,包括扩展性问题、虚拟内存与文件系统的有机融合以及分布式文件系统等。

面向无源超高频标签的低成本非易失存储器

面向无源超高频射频识别标签芯片设计了一种低成本的非易失存储器(NVM)。采用PMOS晶体管实现存储单元,制造工艺与标准CMOS工艺兼容,可以降低制造成本。提出了一种新型的操作模式,可减轻写操作对栅氧的破坏。存储器中的所有存储单元共享一个灵敏放大器,数据通过共享的灵敏放大器依次串行读出,这样既节省了面积,又降低了读操作的功耗。基于0.18μm标准CMOS工艺设计实现了存储容量为1 kbit的存储器芯片,该存储器的核心面积为0.095 mm2,并完成了实测。实测结果表明,电源电压为1.2 V,读速率为1 Mb/s时,功耗为1.08μW;写速率为3.2 kb/s时,功耗为44μW。

基于国产平台的非易失功能模拟方法

为满足工程实践中对非易失内存的需求,在不对自主通用服务器主板进行重新设计修改的前提下,设计并实现一种基于软件模拟方法。通过修改操作系统内核以及驱动,将普通的易失性内存模拟为非易失内存,实现关机时数据保存以及开机时数据恢复功能。通过与NVDIMM-N非易失内存在执行时间以及读写性能方面进行对比,采用该模拟方法达到的效果整体上优于使用NVDIMM-N非易失内存设备。

APLI:一种基于持久化内存的高性能学习索引

持久化内存(Persistent Memory,PM)已成为容量有限的DRAM的最有潜力的补充或者替代品.学习索引(Learned Index,LI)作为一种感知数据分布的索引结构,在大数据集上能够以较小的内存使用量展现远优于B+树的性能而被广泛关注.最近,一些研究者尝试将学习索引部署在持久化内存中,然而现有的持久化学习索引存在读写性能次优化、结构扩展性不足、动态负载性能不统一等问题.为此,本文在深入分析了持久化内存和学习索引特性的基础上,提出了一种自适应的持久化学习索引结构APLI.APLI由两部分组成:1)高效的混合介质的持久化学习索引树(EPL-Tree),提供稳定的读写性能和结构扩展;2)轻量级的哈希表(SW-Table),用于快速感知负载变化并提升热点访问的性能.在持久化内存真实设备上的评估表明,相比现有的持久化索引结构,APLI读写性能最高分别提升3.2倍和3.3倍,而且拥有更稳定的结构扩展性能.另外,APLI能在较小的DRAM空间占用前提下,实现各种负载场景下的稳定高性能访问.

标准CMOS制程非挥发性内嵌式内存:NOVeA

许多系统单芯片(System-on-Chip,SoC)的设计团队,都会面临这样的问题:如何将非挥发性内存(Non-Volatile Memory,NVM),设计到结构深奥的次微米系统单芯片(SoC)之中。为成就完整的单芯片解决方案,设计团队别无选择,只能选用落后于目前流行的标准逻辑制程二到三个技术世代之特殊制程。这种选择,必须使用额外的制程步骤,同时也会增加晶圆的成本、芯片尺寸、效能,以及耗电量。否则,设计团队就只能将系统单芯片(SoC)和非挥发性内存(NVM) 分开,改以效率较差、成本较高、速度较慢,而且占用区域也较大的双芯片方式来建构系统。

基于RDMA和NVM的大数据系统一致性协议研究

分布式的存储系统以及计算系统是构造大数据处理系统的基础。系统的高可用性是任何一个分布式系统的基石,高可用技术一般依赖于一致性协议。讨论了经典的非拜占庭的分布式一致性协议以及新技术发展下的RDMA通信协议与NVM存储介质,通过RDMA和NVM的结合获得了更高性能的高可用系统。改进了一致性协议,使其能够更好地利用RDMA与NVM的特性。实现的系统在保证系统数据一致和可用的同时,有效地提高了协议实现的性能。实验表明,相比于现有的系统,实现的系统能够得到40%的性能提高。

基于写页面热度的混合内存页面管理策略

针对阻变存储器(RRAM)写延迟大的问题,提出一种基于写页面热度的混合内存页面管理策略,将写页面进行冷热区分,存于动态随机访问存储器(DRAM)上,减少RRAM上的写数量.在基准程序集PARSEC下对混合内存系统的性能进行测试与分析.结果表明,所提出的页面管理策略可以有效地提高系统性能.