面向非易失内存的数据一致性研究综述

随着DRAM技术面临密度扩展瓶颈以及高泄漏功耗问题,新型非易失内存(non-volatile memory,NVM)因其非易失、高密度、字节寻址和低静态功耗等特性,已经得到学术界和工业界的广泛关注.新型非易失内存如相变内存(phase change memory,PCM)很可能替代DRAM或与DRAM混合作为系统主内存.然而,由于NVM的非易失特性,存储在NVM的数据在面临系统故障时可能由于部分更新或内存控制器写重排序而产生不一致性的问题.为了保证NVM中数据的一致性,确保对NVM写操作的顺序化和持久化是基本要求.NVM有着内在缺陷如有限的写耐久性以及较高的写延迟,在保证NVM数据一致性的前提下,减少NVM写次数有助于延长NVM的寿命并提高NVM系统的性能.重点讨论了基于NVM构建的持久索引、文件系统以及持久性事务等数据一致性研究,以便为实现低开销的数据一致性提供更好的解决方案或思路.最后给出了基于NVM的数据一致性研究展望.

新型非易失存储环境下事务型数据管理技术研究

为适应底层存储架构的变化,上层数据库系统已经经历了多轮的演化与变革.在大数据环境下,以非易失、大容量、低延迟、按字节寻址等为特征的新型非易失存储器件(NVM)的出现,势必对数据库系统带来重大影响,相关的存储与事务处理技术是其中值得关注的重要环节.首先,概述了事务型数据库系统随存储环境发展的历史与趋势;然后,对影响上层数据管理系统设计的非易失性存储技术以及面向大数据应用领域与硬件环境优化的事务技术进行综述与分析;最后,对非易失存储环境下事务型数据库面临的挑战与研究趋势进行了展望.

新型非易失存储研究

近年来,由于处理器性能和存储性能之间的差距不断扩大,存储系统成为计算机整体系统性能提升的瓶颈.随着微电子技术的迅速发展,新型非易失存储器件由于具有非易失、低能耗、良好的可扩展性和抗震等优良特性,得到了学术界和工业界的广泛关注.介绍了4种新型非易失存储器件,分别是STT-RAM,RRAM,PCRAM和FeRAM,对比了其与传统存储器件的性能参数.讨论了目前在存储架构中的不同层面(即缓存层、主存层和外存层)针对这些非易失存储器件的利用所开展的一些探索性工作,并分析了其中针对非易失存储器件的写次数有限、读写性能不均衡等不足所作出的一些策略设计.最后,对新型非易失存储器件的研究现状进行了总结,并提出了未来可能的发展方向.

通过非易失存储和检查点优化缓解日志开销

在文件系统进行用户数据和元数据的持久化过程中,如果出现异常掉电或系统崩溃,可能导致文件系统出现数据的不一致性问题.现有的Ext4文件系统通过写前日志(write-ahead logging,WAL)技术结合事务机制来保证持久化操作的一致性.写前日志技术将文件系统元数据写入磁盘2次,元数据的粒度小、数量大、重复度高,影响了程序的性能,也缩短了Flash存储介质的使用寿命.针对这一问题,提出了使用新型非易失存储(non-volatile memory,NVM)作为存放日志的独立外部设备,并通过存取指令(load/store)接口直接访问;同时使用倒序扫描(reverse scan)技术对检查点(checkpoint)流程进行优化,减少同一数据块的重复写操作.实验结果表明,使用NVM作为外部日志分区,对于写操作比重较大的程序,在HDD上带宽提升接近50%;在SSD上带宽提升达到23%;在checkpoint时使用倒序扫描之后,写入次数降低明显,带宽提升接近20%.

NVMMDS——一种面向非易失存储器的元数据管理方法

元数据管理方法是影响文件系统性能的重要因素.针对现有元数据管理方法存在的查找性能低、适应性差和丢失元数据等问题,设计了面向非易失存储器的元数据管理方法(NVMMDS).首先针对元数据的访问特性和管理要求,给出了NVMMDS的结构和元数据管理流程,混合使用非易失存储器和DRAM存储元数据,为提高元数据查找性能和避免丢失元数据奠定了基础;设计了基于NVBB树的元数据查找算法和基于主动写回的元数据缓存算法,提高了元数据的查找性能,增强了元数据管理方法的适应能力,避免了元数据丢失问题.与现有元数据管理方法进行了分析和比较,在单机文件系统ReiserFs和分布式文件系统pNFS中实现了NVMMDS原型,使用FileBench和多个标准数据集进行了测试与分析,验证了NVMMDS能提高文件系统最大35%的操作处理速度和I/O性能.

基于非易失存储器的数据存储与管理方法

针对在恶劣环境下无线传感器网络组成的分布式测试系统,测试数据易丢失不易管理、无线回传大量试验数据慢等问题,提出了在数据存储管理系统中设计基于NAND FLASH非易失性存储器的文件系统,对数据存储管理的方法。该方法把每次实验的多种类数据分别以文件形式存储,以文件编号及文件名区分;依据被测信号的典型特征,存储管理时提取其特征值信息作为文件头信息存储,可基于提取特征值的高效数据传输。试验表明,基于NAND FLASH非易失性存储器创建文件系统,方便有效存储管理测试数据;基于特征值提取的高效数据传输为系统无线传输慢提供了可行性方案,提高了系统整体性能。

面向新型非易失存储器的文件级磨损均衡机制

自旋转移力矩磁存储器(spin transfer torque random access memory,STTRAM)和磁阻式随机存储器(magnetic random access memory,MRAM)等新型存储器具有接近于DRAM的访问速度,是构建高性能外存系统和提高计算机系统性能的重要手段,但有限的写次数是其重要局限之一.设计了文件系统级磨损均衡机制,使用Hash函数分散文件在外存中的存储,避免在创建和删除文件时反复分配某些存储块,通过分配文件空间时选择写次数较低的存储块,避免写操作的集中;使用主动迁移策略,在外存系统I/O负载较低时主动迁移写次数较高的数据块,减少磨损均衡机制对I/O性能的影响.最后在开源的基于对象存储设备Open-osd上实现了面向新型存储器文件系统级磨损均衡机制的原型,使用存储系统通用测试工具filebench和postmark的多个通用数据集进行了测试与分析,验证了基于新型存储器的文件系统级磨损均衡机制能稳定地将存储块写次数差减少到原来的1/20左右,同时最高仅损失了6%的I/O性能和增加了0.5%的额外写操作,具有高效和稳定的特性.

面向非易失内存写优化的重计算方法

非易失存储(non-volatile memory,NVM)技术的兴起给计算机存储系统带来了很多机遇与挑战.与DRAM相比,NVM作为持久性内存具有非易失、低能耗以及高存储密度等优点,但同时它也具有擦写次数有限以及写操作延迟高等缺点,故以NVM为内存的系统需要减少对内存的写操作,以提升NVM寿命和系统性能.为了解决这个问题,提出了基于结点出度的重计算方法(re-computation scheme based on the out degree of computing nodes,ROD),由于CPU与内存间的性能差距会导致CPU计算资源的浪费,为此ROD方法选择性地丢弃本需要存储到内存的计算结果,需要时再重新计算得到,利用计算换存储的方式减少写NVM的次数.实验采用powerstone测试集,在搭载了NVMain的Gem5模拟器中对ROD方法与贪心重计算方法和以存储为主导的无重计算方法做性能对比.结果表明ROD方法相比于存储主导的方法平均减少44.3%(最高68.5%)的写操作.ROD方法的运行耗时比存储主导的方法平均减少28.1%(最高68.6%),比贪心重计算的方法平均减少9.3%(最高19.4%).

面向非易失内存的结构和系统级设计与优化综述

当今各类计算机应用都进入一个飞速发展的阶段,无论是"计算密集型"还是"存储密集型"应用都对存储系统的容量、性能以及功耗不断提出更高的要求.然而,由于传统内存工艺(DRAM)的发展落后于计算逻辑工艺(CMOS),基于DRAM的内存设计逐渐无法满足这些设计需求.同时,基于HDD的外存性能与DRAM主存间的差距也逐渐增加.而各种非易失存储工艺取得长足的进步,为解决这一问题提供了新的机遇.本文就近年来针对非易失内存的结构和系统级设计与优化的研究工作进行综述,揭示非易失内存对存储系统的性能、功耗等都有明显的改善.

LiNbO_3:In:Fe:Cu晶体中的双波长非易失存储

为了提高晶体的非易失存储性能,采用双波长存储技术实验研究了LiNbO3:In:Fe:Cu晶体中的非易失存储,折射率调制度为1.04×10-4,记录灵敏度达到0.965cm/J.与传统的双色非易失记录相比,该方法大幅度地提高了光栅的强度和记录的灵敏度.利用Kukhtarev带输运模型对双波长非易失记录过程中光栅的动态演化过程进行了数值模拟,同时讨论了氧化还原程度对双波长非易失全息记录的影响.理论与实验符合的较好.

基于非易失存储器件的内存键值存储系统的性能研究

分析了互联网应用为满足后端存储系统高性能要求而引用的内存键值存储系统的应用特点,指出:为了永久保存数据,这些系统还需要在后端将数据从易失性的内存拷贝到慢速的非易失存储设备中;将新型的非易失存储器件(NVM)引入内存键值存储系统可减少其性能开销;根据NVM的特征,内存键值系统可采用两种架构:将NVM替代磁盘作为二级存储设备和将NVM替代DRAM直接作为主存储设备。基于上述分析,实现了两种NVM架构的内存键值存储系统,并通过实验分析,总结出了内存键值存储系统选择NVM架构的原则,这些原则可有效指导内存键值存储系统在采用当前以及未来NVM器件时,对架构的选择。其次,还通过理论和实验分析,得出了不同架构下的内存键值系统在软件层的主要开销,指出了未来针对这些系统的软件设计的优化方向。

基于非易失混合内存的高速气象数据管理系统设计

气象数据是典型的大数据,具有规模大、增速快和类型复杂等特点,而且气象模式数据由高性能计算机不断计算产生,同时也面临天气预报等气象业务的多种复杂查询,因此气象模式数据管理面临严峻的空间和性能挑战。非易失内存(NVM)是近年来应用的新型存储介质,具有性能高、存储密度高和非易失等优势,但同时也具有很多特殊的硬件特性,需要进行软件协同设计才能充分发挥其性能优势。因此,以非易失内存的硬件特征为出发点,设计了一种高速气象数据管理系统,相对于目前的内存数据管理系统,性能增幅为114.2%,且同时具有更大的存储容量和更低的单位容量成本。

非易失存储器数据安全性研究

在应用非易失存储器AT24C64过程中,发现丢失数据的原因是由于CPU在上电与断电过程中,欠电压导致CPU失控,输出端口产生无数个干扰脉冲,干扰脉冲的组合生成了AT24C64的有效写命令,于是破坏了AT24C64的数据.该研究从两方面采取措施:(1)使用CD4051,CD4024的组合条件来控制AT24C64的写允许门WP,如同给写允许门WP加锁;(2)采用上电与断电时电压监测电路,一旦电源电压低于4.7 V时,使CPU复位,消除CPU失控状态,以保证AT24C64的3根信号线稳定,进而保证了内部数据的安全性.

基于C8051F340的非易失大容量数据存储方案

海洋仪器在后期数据分析处理时数据存储电路是不可或缺的。针对海洋仪器对数据存储大容量非易失的要求,结合实际工作经验,给出几种扩展海量存储器的方案和实际电路。这些方案是以C8051F340为主控制器,充分利用C8051F340片上集成的I2C,SPI和I/O接口资源扩展大容量存储器,相比于传统的存储电路,省去了译码和锁存电路,同时简化了软件编程。经实际应用,这些存储电路工作稳定、功耗低,适用于中低速,需存储大量数据的仪器仪表。

几种新型非易失存储器的原理及发展趋势

介绍几种有发展潜力的新型非易失存储器的原理,如铁电存储器、磁性随机存储器、相变存储器和阻变存储器等,并在性能方面作了对比,最后对存在的问题和发展趋势进行了分析。

面向新型非易失存储的文件系统研究综述

新型非易失存储(NVM)可字节寻址,具有近似内存的低延迟特性以及外存的非易失性,受限于软硬件技术成熟度,目前首先被用于外存。讨论了NVM用于持久性外存所面临的一系列问题,以及管理上的一些挑战;对现有的典型NVM文件系统及其主要特性进行了梳理。归纳起来,这些特性主要围绕降低一致性开销、降低软件栈开销、内存与外存的融合、分布式文件系统、NVM文件系统安全、容错、空间管理几个方面展开。最后,展望了NVM文件系统仍然有待探讨的几个研究方向,包括扩展性问题、虚拟内存与文件系统的有机融合以及分布式文件系统等。

面向非易失存储器外存系统的缓存机制

非易失存储器具有接近于DRAM的访问速度,是构建高性能外存系统和提高大数据系统性能的重要手段,但非易失存储器存在写次数有限和写能耗较高等问题.本文引入缓存技术,使用写缓存合并对同一数据的多次写操作,减少对非易失存储器的写次数;使用原始缓存减少写回非易失存储器的数据量;设计了写缓存混合粒度管理算法、双缓存协调算法和缓存空间协调策略,减少了非易失存储器的写数据量,增加外存系统的使用寿命,降低了外存系统能耗,提高了I/O性能.最后在开源基于对象存储设备Open-osd上,实现了面向非易失存储器外存系统缓存机制的原型,使用存储系统通用测试工具Filebench和Postmark、以及多个通用数据集进行了测试与分析,验证了面向非易失存储器外存系统缓存机制能减少21%-77%的外存写数据量,提高了8%-37%的I/O性能,检验了面向非易失存储器外存系统缓存机制的有效性.

NV-Shuffle:基于非易失内存的Shuffle机制

Shuffle是大数据处理过程中一个极为重要的阶段.不同类型的Task(或者Stage)之间通过Shuffle进行数据交换.在Shuffle过程中数据需要进行持久化,以达到避免重计算和容错的目的.因此Shuffle的性能是决定大数据处理性能的关键因素之一.由于传统Shuffle阶段的数据通过磁盘文件系统进行持久化,所以影响Shuffle性能的一个重要因素是I/O开销,尤其是对基于内存计算的大数据处理平台,例如Spark,Shuffle阶段的磁盘I/O可能拖延数据处理的时间.而非易失内存(NVM)具有读写速度快、非易失性以及高密度性等诸多优点,它们为改变大数据处理过程中对磁盘I/O的依赖、克服目前基于内存计算的大数据处理中的I/O性能瓶颈提供了新机会.提出一种基于NVM的Shuffle优化策略——NV-Shuffle.NV-Shuffle摒弃了传统Shuffle阶段采用文件系统的存储方式,而使用类似于Memory访问的方式进行Shuffle数据的存储与管理,避免了文件系统的开销,并充分发挥NVM的优势,从而减少Shuffle阶段的耗时.在Spark平台上实现了NV-Shuffle,实验结果显示,对于Shuffleheavy类型的负载,NV-Shuffle可节省大约10%~40%的执行时间.

基于新型非易失存储器的混合内存架构的内存管理机制

随着互联网和云计算技术的迅猛发展,现有动态随机存储器(Dynamic Random Access Memory,DRAM)已无法满足一些实时系统对性能、能耗的需求.新型非易失存储器(Non-Volatile Memory,NVM)的出现为计算机存储体系的发展带来了新的契机.本文针对NVM和DRAM混合内存系统架构,提出一种高效的混合内存页面管理机制.该机制针对内存介质写特性的不同,将具有不同访问特征的数据页保存在合适的内存空间中,以减少系统的迁移操作次数,从而提升系统性能.同时该机制使用一种两路链表使得NVM介质的写操作分布更加均匀,以提升使用寿命.最后,本文在Linux内核中对所提机制进行仿真实验.并与现有内存管理机制进行对比,实验结果证明了所提方法的有效性.

面向无源超高频标签的低成本非易失存储器

面向无源超高频射频识别标签芯片设计了一种低成本的非易失存储器(NVM)。采用PMOS晶体管实现存储单元,制造工艺与标准CMOS工艺兼容,可以降低制造成本。提出了一种新型的操作模式,可减轻写操作对栅氧的破坏。存储器中的所有存储单元共享一个灵敏放大器,数据通过共享的灵敏放大器依次串行读出,这样既节省了面积,又降低了读操作的功耗。基于0.18μm标准CMOS工艺设计实现了存储容量为1 kbit的存储器芯片,该存储器的核心面积为0.095 mm2,并完成了实测。实测结果表明,电源电压为1.2 V,读速率为1 Mb/s时,功耗为1.08μW;写速率为3.2 kb/s时,功耗为44μW。