基于非易失性内存的知识图谱系统优化研究

分布式系统的高扩展性和高可用性使得在其上构建大规模知识图谱已经成为产业发展趋势。新兴的分布式图数据库更推崇采用NoSQL等数据模型,如键值存储作为其存储引擎,以进一步提高其可扩展性和实用性。在这种情况下,上层的图查询语言的语句会被翻译成一组混合的键值操作。为了加速查询翻译生成的键值操作,提出了基于非易失性内存查询性能加速(knowledge graph booster,KGB)的知识图谱系统。KGB主要包含面向邻域查询加速的NVM辅助索引,用于降低键值存储的读取成本;快速响应的改进Raft算法,用于实现高效的键值存取操作;以及面向键值存储引擎的调优机制,为知识图谱存储系统获得额外的性能提升。通过实验表明,KGB能有效降低知识图谱系统的平均延迟和尾延迟的影响,实现更高的性能提升。

面向非易失性内存的高性能计算并行优化研究

针对非易失性内存在高性能计算运行过程中存在的内存分配不均匀问题,研究非易失性内存的高性能计算并行优化方法。结合新型高速网络RDMA和非易失性存储设备,提出分布式非易失性内存新型存储结构,加入一致性模块和本地非易失性内存管理模块,同时加强本地非易失性内存的管理;通过SPL框架进行分布式并行计算,经过数据预加载后,使用分布式独立内存分配算法优化多任务多线程的并行计算过程。实验结果表明:该方法能够使非易失性内存的数据保持一致,增强读写性能,提升工作效率;对于并行多线程任务的内存分配具有更好的扩展性,增强系统并行运算能力,同时适用性广泛。

一个基于日志结构的非易失性内存键值存储系统

非易失性内存(non-volatile memory,NVM)技术是非常具有应用前景的计算机内存技术,将会对计算机存储层次结构产生极大的影响.NVM具有可字节寻址、可持久存储、低访问延迟等特点,这为DRAM和NVM在统一的主存储空间中的结合提供了巨大的机会.NVM可通过内存总线以及CPU相关指令进行数据访存,这使得在非易失性内存中设计快速的持久存储系统成为可能.现有的键值存储系统将NVM作为块设备使用,未能充分发挥NVM的性能.当硬件支持出现故障(例如高速缓存刷新)时,一些现有的键值存储系统无法保证数据的一致性.提出了一种基于日志结构的非易失性内存键值存储系统TinyKV,该系统利用键值数据负载的特性提出了一个静态并发、缓存友好的Hash表实现方案.TinyKV为每个工作线程维护单独的数据日志,以实现高并发性.此外,TinyKV采用日志结构技术进行内存管理,设计多层级内存分配器,以保证一致性.此外,系统通过减少对NVM的写入与缓存刷新指令,以降低写入延迟.实验显示:与传统的键值存储系统相比,TinyKV具有良好的吞吐性能与扩展能力.

异构非易失性内存卷模式实现与应用

大数据背景下,以计算为中心的系统架构逐渐转向以数据为中心,内存-磁盘模式已不能满足需求。基于非易失性内存设备的优秀特性,设计了非易失性内存卷模式改变传统内存-磁盘模式。热数据频繁访问导致严重访存冲突,降低系统性能。基于此,在非易失性内存卷模式基础上设计了一对多地址映射,通过将热数据备份放置在不同内存通道的非易失性内存上,多核环境中,对于同一块数据的多个访问请求分配到不同数据备份上,实现并行访问,降低系统访问延迟。通过实验在双通道内存架构中实现一对二的映射方式,结果表明这样的设计使得系统性能提升了7.25%。

带磨损均衡的小粒度非易失性内存管理机制

非易失性内存以其卓越的特性被视作具有巨大潜力的下一代存储设备。然而,非易失性存储单元存在写耐受度低的缺点,使其难以承受频繁的小粒度数据更新操作。文中针对非易失性存储器,提出带磨损均衡的小粒度内存分配管理系统(IWMM)。IWMM将单个内存页分割为多个基本存储单元以适应小粒度的内存分配和数据更新操作。IWMM采用定向顺序分配算法轮流地使用单个内存页中的基本存储单元,从而将小粒度写操作均衡地分布到内存页内的各个存储单元中。实验表明,对比同样致力于磨损均衡的小粒度内存管理系统NVMalloc,IWMM能将内存页的写次数降低52.6%;同时,在内存回收率高于50%的应用场景中,性能比glibc malloc高27.6%。

一种面向非易失性内存文件系统的数据读写粒度控制策略

数据读写是文件系统的重要操作。传统的文件系统基于磁盘设计,数据读写需要旋转磁头,因此数据读写慢。文件系统使用I/O调度层对读写操作进行拆分和合并,减少磁头寻道时间,提高系统性能。新型非易失性内存(NVMM)支持字节寻址和随机访问,文件系统可以直接使用内存指令进行数据操作。因此,现有的NVMM文件系统,如ext4-dax、PMFS和NOVA,不再考虑数据操作粒度的优化,直接按照文件数据的存储粒度(如4kB)在应用和文件系统之间传输数据。然而,文件系统中的数据读写性能仍然受到操作粒度的影响。本文分析了文件系统在真实NVMM硬件上的性能,发现大粒度操作会降低文件系统性能,并针对数据读写操作粒度提出了优化策略。实验结果表明,本文提出的优化策略使得NVMM文件系统性能提升30.1%。

非易失性内存安全技术综述

大数据应用对内存容量的需求越来越大,而在大数据应用中,以动态随机存储器为内存介质的传统存储器所凸显出来的问题也越来越严重。计算机设计者们开始考虑用非易失性内存去替代传统的动态随机存储器内存。非易失性内存作为非易失的存储介质,不需要动态刷新,因此不会引起大量的能量消耗;此外,非易失性内存的读性能与动态随机存储器相近,且非易失性内存单个存储单元的容量具有较强的可扩展性。但将非易失性内存作为内存集成到现有的计算机系统中,需要解决其安全性问题。传统的动态随机存储器作为内存介质掉电后数据会自动丢失,即数据不会在存储介质中驻留较长时间,而当非易失性内存作为非易失性存储介质时,数据可以保留相对较久的时间。若攻击者获得了非易失性内存存储器的访问权,扫描存储内容,便可以获取内存中的数据,这一安全性问题被定义为数据的“恢复漏洞”。因此,在基于非易失性内存模组的数据中心环境中,如何充分有效地利用非易失性内存,并保证其安全性,成为迫切需要解决的问题。该文从非易失性内存的安全层面出发,对近年来的研究热点及进展进行介绍。首先,该文总结了非易失性内存所面临的主要安全问题,如数据窃取、完整性破坏、数据一致性与崩溃恢复,以及由加解密和完整性保护技术引入而导致的系统性能下降等问题。然后,针对上述各问题,对组合计数器模式加密技术、完整性保护技术扩展的默克尔树、数据一致性与崩溃恢复技术,以及相关优化方案作了详细介绍。最后,对全文进行了总结,并对非易失性内存未来需要进一步关注的问题进行了展望。

基于非易失性内存的LSM-tree存储系统优化

随着大数据时代的到来,金融行业产生的数据越来越多,对数据库的压力也越来越大. LevelDB是谷歌开发的一款基于LSM-tree架构的键值对数据库,有写入快和占用空间小的优点,被金融行业广泛应用.针对LSM-tree架构的写停顿、写放大、对读不友好等缺点,提出了一种基于非易失性内存和机器学习的L0层的设计方法,能够减缓甚至解决上述问题.实验结果表明,该设计能够实现较好的读写性能.

非易失性内存友好的线性哈希索引——NVM-LH

非易失性内存(NVM)因其大容量、持久化、按位存取和读延迟低等特性而受到人们的关注,但它同时也具有写次数有限、读写速度不均衡等缺点。针对传统线性哈希索引直接在NVM上实现时会导致大量的随机写操作这一问题,提出了一种新的NVM友好的线性哈希索引NVM-LH。NVM-LH通过存储数据时的缓存行对齐实现了缓存友好性,同时提出了无日志的数据一致性保证策略。此外,NVM-LH还通过优化分裂和删除操作来减少NVM写操作。实验结果表明,NVM-LH在空间利用率上比CCEH高30%,在NVM写次数上比CCEH减少了15%左右,表现了更好的NVM友好性。

面向非易失性内存的持久索引数据结构研究综述

随着非易失性内存从理论走向实用,现代存储系统的设计与实现将迎来颠覆性变革。针对传统存储设备设计的存储系统并不能充分利用非易失性内存带来的性能红利。为了构建高吞吐、低时延、大规模的存储系统,迫切需要设计与非易失性内存硬件特性相匹配的持久索引数据结构,从而进一步提升性能。从持久索引数据结构出发,分别对B+-Tree和哈希表在非易失性内存上的设计和优化进行分析,比较其优缺点,并展望了该方向的机遇与面临的挑战。

一种可重构异构内存架构和控制器

融合传统动态随机访问存储器(Dynamic Random Access Memory,DRAM)与新型非易失性内存(NonVolatile Memory,NVM)可构建平行架构或层次架构的异构内存系统.平行架构的异构内存系统往往需要通过页迁移技术把热点数据从NVM迁移到DRAM以提高访存性能,然而在操作系统中实现热页监测和迁移会带来巨大的软件性能开销.硬件实现的层次架构由于增加了访存层次,对于访存局部性差的大数据应用反而增加了访存延迟.为此,本文提出可重构的异构内存架构,可以运行时在平行和层次架构间进行转换以动态适配不同应用的访存特性.设计了基于新型指令集架构RISC-V(Reduced Instruction Set Computing-V)的DRAM/NVM异构内存控制器,利用少量硬件计数器实现了访存踪迹统计和分析,并实现了DRAM和NVM物理页间的动态映射和高效迁移机制.实验表明,DRAM/NVM异构内存控制器可提高43%的应用性能.

内存高效的持久性分布式文件系统客户端缓存DFS-Cache

为了在数据密集型工作流下有效降低缓存碎片整理开销并提高缓存命中率,提出一种持久性分布式文件系统客户端缓存DFS-Cache(Distributed File System Cache)。DFS-Cache基于非易失性内存(NVM)设计实现,能够保证数据的持久性和崩溃一致性,并大幅减少冷启动时间。DFS-Cache包括基于虚拟内存重映射的缓存碎片整理机制和基于生存时间(TTL)的缓存空间管理策略。前者基于NVM可被内存控制器直接寻址的特性,动态修改虚拟地址和物理地址之间的映射关系,实现零拷贝的内存碎片整理;后者是一种冷热分离的分组管理策略,借助重映射的缓存碎片整理机制,提升缓存空间的管理效率。实验采用真实的Intel傲腾持久性内存设备,对比商用的分布式文件系统MooseFS和GlusterFS,采用Fio和Filebench等标准测试程序,DFS-Cache最高能提升5.73倍和1.89倍的系统吞吐量。

新型内存硬件环境中的事务管理系统综述

大数据爆发的时代产生了各种新的业务类型,业务数据驱动着事务管理系统创新性的迭代发展.由于传统持久化介质的制约,传统的事务管理系统无法高效执行事务.并且,解决事务冲突的额外开销仍然会限制事务管理系统的吞吐.新型硬件的商业化应用为事务管理系统注入了更多的可能性,在学术界和工业界均得到了广泛关注.硬件事务内存可以为事务管理系统提供硬件级别的事务冲突检测.而且,相对于固态硬盘,非易失性内存的字节寻址和持久化特性可以显著降低事务延迟并提升事务管理系统的性能.但是,现有的事务管理系统技术无法充分地利用硬件本身带来的性能提升,因此需要重构事务架构来解决这个问题.首先对新型硬件环境下的事务管理系统进行总结分析;之后总结了当前基于新型硬件事务管理系统的技术路线,明确了硬件事务内存和非易失性存储硬件下的事务管理系统的优势和不足;最后指明了新型硬件环境中事务管理系统未来可能的发展方向以及新的挑战.

内存文件系统综述

随着处理器和存储器之间性能差距越来越大,特别是处理器和外存之间的巨大差距使得I/O瓶颈问题日益突出.利用内存来缓解I/O瓶颈的传统做法是在内存中设置磁盘文件cache(buffer cache),从而减少访问外存的次数.但数据爆炸式的增长对内存容量的需求越来越大,传统方法通过增加cache容量带来的效益反而会减少,而且在内外存之间频繁交换数据会产生较大的开销,因此在内存上直接建立内存文件系统的方法应运而生.此外,随着工业技术的进步,新型非易失性存储介质逐渐出现在人们的视野中,它可字节寻址和非易失的特性使得数据在内存级就可以持久化存储.由于文件系统总是和介质本身紧密相连的,分别讨论了基于易失性内存和非易失性内存的文件系统,阐述了它们各自的主要特点,如存储特性、访问方法、读写性能等方面,并通过比较发现内存文件系统在性能上比磁盘文件系统有巨大的提升,将是一种缓解I/O瓶颈更有效的途径.

面向NVM的IoT时序数据多态协作压缩策略

压缩策略是影响IoT时序数据存储系统性能的重要因素,而现有压缩策略缺乏针对NVM与IoT时序数据特性的优化机制。因此,提出了面向NVM的IoT时序数据多态协作压缩策略。首先,给出了IoT时序数据的组织结构。然后,针对IoT时序数据在一段时间内较稳定以及在用户态与内核态读写NVM适合的粒度差异较大的情况,设计了分层压缩策略。在用户态接收数据时,采用轻量级的数据压缩算法减少需存储的数据量,也减小了对IoT时序数据的存储效率的影响;针对IoT系统以查询和分析异常时序数据为主的特性,设计了深度压缩算法,在内核态对历史IoT时序数据进行深度压缩。其次,针对深度压缩历史IoT时序数据与存储新接收的IoT时序数据之间对NVM带宽的竞争,提出了写带宽保证的动态调整算法。最后,构建了面向NVM的IoT时序数据多态协作压缩策略原型PCCTSMS,并使用YCSB-TS工具进行测试与分析。实验结果表明,与InfluxDB、OpenTSDB、KairosDB和TVStore相比,PCCTSMS最高能提升161.3%的写吞吐率以及减少14.6%的存储空间。

面向大数据处理的基于Spark的异质内存编程框架

随着大数据应用的发展,需要处理的数据量急剧增长,企业为了保证数据的及时处理并快速响应客户,正在广泛部署以Apache Spark为代表的内存计算系统.然而TB级别的内存不但造成了服务器成本的上升,也促进了功耗的增长.由于DRAM的功耗、容量密度受限于工艺瓶颈,无法满足内存计算快速增长的内存需求,因此研发人员将目光逐渐移向了新型的非易失性内存(non-volatile memory,NVM).由DRAM和NVM共同构成的异质内存,具有低成本、低功耗、高容量密度等特点,但由于NVM读写性能较差,如何合理布局数据到异质内存是一个关键的研究问题.系统分析了Spark应用的访存特征,并结合OpenJDK的内存使用特点,提出了一套管理数据在DRAM和NVM之间布局的编程框架.应用开发者通过对本文提供接口的简单调用,便可将数据合理布局在异质内存之中.仅需20%~25%的DRAM和大量的NVM,便可以达到使用等量的DRAM时90%左右的性能.该框架可以通过有效利用异质内存来满足内存计算不断增长的计算规模.同时,"性能/价格"比仅用DRAM时提高了数倍.

基于持久化内存的索引设计重新思考与优化

非易失性内存(non-volatile memory,NVM)是近几年来出现的一种新型存储介质.一方面,同传统的易失性内存一样,它有着低访问延迟、可字节寻址的特性;另一方面,与易失性内存不同的是,掉电后它存储的数据不会丢失,此外它还有着更高的密度以及更低的能耗开销.这些特性使得非易失性内存有望被大规模应用在未来的计算机系统中.非易失性内存的出现为构建高效的持久化索引提供了新的思路.由于非易失性硬件还处于研究阶段,因此大多数面向非易失性内存的索引研究工作基于模拟环境开展.在2019年4月英特尔发布了基于3D-XPoint技术的非易失性内存硬件apache pass(AEP),这使得研究人员可以基于真实的硬件环境去进行相关研究工作.首先评测了真实的非易失性内存器件,结果显示AEP的写延迟接近DRAM,而读延迟是DRAM的3~4倍.基于对硬件的实际评测结果,研究发现过去很多工作对非易失性内存的性能假设存在偏差,这使得过去的一些工作大多只针对写性能进行优化,并没有针对读性能进行优化.因此,重新审视了之前研究工作,针对过去的混合索引工作进行了读优化.此外,还提出了一种基于混合内存的异步缓存方法.实验结果表明,经过异步缓存方法优化后的混合索引读性能是优化前的1.8倍,此外,经过异步缓存优化后的持久化索引最多可以降低50%的读延迟.

NVM+DRAM混合内存架构下的连接算法优化

非易失性内存(Non-Volatile Memory,NVM)具有按字节存取、非易失、存储密度高、能耗低等优点,因此被认为是替代DRAM的下一代内存技术.虽然目前NVM的存取速度远高于闪存,但还低于DRAM,并且还存在着读写不均衡等问题.因此,综合内存性能、存储密度、非易失性等因素,构建基于NVM和DRAM的混合内存系统是未来若干年内的可行方案.本论文以NVM+DRAM混合内存架构为基础,研究了混合内存架构下传统数据库磁盘连接算法的优化方法.由于传统的连接算法在混合内存架构和纯DRAM架构下的I/O代价相同,因此我们的主要目标是优化内存代价.在传统的磁盘连接算法中,中间过程产生的数据结构的读写次数存在着较大差别.如果将连接过程的中间数据结构以合适的策略存放在混合内存中,则有望降低连接算法的内存代价.基于这一思路,论文首先给出了一个形式化的数据结构(映像)部署模型,分析了连接算法内存代价的上下界及其成立条件并给出了证明,进而给出了基于最优部署模型的连接算法优化设计.最后,论文实现了4种连接算法,包括嵌套循环连接、排序连接、散列连接等3种经典连接算法以及面向内存数据库的虚拟分区连接算法,并对比了最优映像部署模型、最差映像部署模型和随机映像部署模型下各个连接算法的性能.实验结果证明,最优映像部署模型能显著提升4种连接算法在混合内存架构下的时间性能,并显著减少了NVM写总数.

面向数据库的持久化事务内存

硬件事务内存(hardware transactional memory,HTM)和可字节寻址的非易失性内存(nonvolatile memory,NVM)已经可以在新的计算机设备中使用.使用HTM确保一致性和隔离性,使用NVM确保持久性,组合使用两者可以实现满足原子性、一致性、隔离性和持久性(atomicity,consistency,isolation and durability,ACID)特性的事务.ACID事务在数据库中非常有价值,但由于数据库事务通常较大,其面临的挑战是HTM固有的容量限制和争用水平.首先提出了一种通过HTM进行ACID事务处理的软硬件解决方案——持久化HTM(persistent HTM,PHTM).使用2种方法来消除PHTM的局限性:1)持久化混合事务内存(persistent hybrid TM,PHyTM),允许PHTM事务与支持任意大小的纯软件事务(software transactional memory,STM)并发执行;2)分离事务执行(split transaction execution,STE)算法,该算法为关系数据库事务量身定制,解决了大多数事务超过PHTM的容量限制的问题.简而言之,讨论了利用NVM将HTM扩展到ACID数据库事务的问题.

面向DRAM和NVM异构混合内存架构的排序连接算法优化

随着计算机技术的高速发展,数据的应用规模也在不断扩大,各行各业对于数据存取速度的要求也越来越高。为了满足这种需求,内存数据库的思想被提出,然而传统的内存存储器DRAM由于密度和能耗的限制无法大规模集成和扩展。与此同时,非易失内存(NVM)以其性能高、密度高、能耗低的优势弥补了DRAM的不足。DRAM和NVM结合在一起组成的混合内存系统能够发挥出更高的性能和更强的扩展能力,同时也更加经济高效。在这种新的混合内存架构下,传统的算法面临着巨大的挑战,因为它们必须要对新的架构进行优化。故从数据库系统常用的排序连接算法出发,探索其在混合内存系统上的更优使用方式,提出了键值分离的排序连接算法,并在此基础上提出了3种不同的C-Join算法。实验结果表明,提出的方案达到了预期的目标,不仅减少了DRAM的使用,同时也提高了算法的时间性能。