基于Linux内核的Key-Value存储系统——KStore

Key-Value存储系统在各种互联网服务中被广泛使用,但现有的Key-Value存储系统通常在用户态空间设计和实现,因为频繁的模式切换和上下文切换,导致访问接口、事务处理效率不高,在高并发、低延迟的数据存储需求中尤为突出。针对该问题,给出了一个内核态Key-Value存储系统的实现——KStore:提供内核空间的索引和内存分配机制,并在此基础上,通过基于内核Socket的远程接口以及基于文件系统的本地接口,保证了KStore的低延迟;同时,通过基于内核多线程的并发处理机制,保证了KStore的并发性。实验结果表明,与Memcached相比,KStore在实时性和并发性方面都取得显著优势。

基于用户级融合I/O的Key-Value存储系统优化技术研究

传统分布式键值存储系统大都基于操作系统提供的套接字与可移植操作系统接口构建,受限于接口语义及内核开销,难以发挥底层新型网络和存储硬件高吞吐与低延迟的性能优势.聚焦键值存储系统的数据通路,面向高速以太网与NVMe(non-volatile memory express)固态存储,于用户态整合网络栈与I O栈,协同设计以优化吞吐性能与延迟稳定性.用户级融合I O栈的控制平面由同一处理器核心于同一上下文中统一管理网卡与固态存储设备的硬件队列,消除了传统分离式设计所导致的多次进出内核态、多次上下文切换以及潜在的核间通信与数据迁移等的弊端,最大限度降低系统软件层面的管控开销.数据平面采用统一的内存池,借助用户级设备驱动,数据于上层键值系统与底层设备之间直接通过DMA传输,没有额外数据拷贝与操作系统干涉.针对大消息访问请求,通过将数据分片并交叠执行网络与存储DMA操作,进一步掩藏了访问延迟.实现了全用户态键值存储系统UKV,支持内存外存2层存储以及广泛应用的Memcache接口.将UKV与由Twitter开源的Fatcache系统进行了测试对比.实验结果表明,涉及外存的SET请求的每秒查询吞吐量提高了14.97%~97.78%,GET操作的每秒查询吞吐量提高了14.60%~51.81%;涉及外存的SET操作的p95延迟降低了26.12%~40.90%,GET操作的p95延迟降低了15.10%~24.36%.

高效Key-Value持久化缓存系统的实现

传统的缓存系统为了追求更高的性能大多是基于内存存储的,数据的持久化功能并不完善,因而系统会受到内存容量的限制,并且在系统宕机时会导致数据全部丢失,无法恢复。为此,在分析传统缓存系统的基础上,针对数据的持久化运用LSM-Tree理论以及Merge-Dump存储引擎进行改进,并参考Google的单机持久化存储系统LevelDB,实现一个分布式的Key-Value持久化缓存系统SSDB,结合传统缓存系统的优点并利用一致性哈希、布隆过滤器等思想对SSDB进行一系列优化。对SSDB性能测试的结果表明,优化后的持久化缓存系统SSDB是纯内存存储的,能有效降低数据的存储成本,且在读写性能上只比Redis下降约600 QPS。

基于知识图谱的存储系统单元教学设计

针对存储系统教学单元概念复杂、术语众多以及理解难度大等特点,提出一种基于知识图谱的教学设计方法。该方法通过知识图谱将碎片化的知识点体系化、可视化,从教学内容分析、知识图谱构建、重难点分析及对策设计、教学策略设计、教学过程设计和过程性考核设计等多个环节进行教学设计,并融入思政元素、职业素养,促进“德法知技”综合育人。

多GPU系统非一致存储访问优化:研究进展与展望

随着晶体管缩小速度的减缓,单GPU(Graphics Processing Units)的性能提升已经变得越来越具有挑战性,因此,多GPU系统成为了提高GPU系统性能的主要手段.然而,由于片外物理设计的制约,多GPU系统中处理器间的带宽不均衡导致了非一致存储访问(Non-Uniform Memory Access,NUMA)问题,严重影响多GPU系统的性能.为了减少非一致存储访问所导致的性能损失,本文首先分析了非一致存储访问出现的原因,并对现有的非一致存储访问解决方案进行了对比.针对不同维度的非一致存储访问,本文从减少远程访问流量和提升远程访问性能两个方向出发,对非一致存储访问的优化方案进行了总结.最后,结合这些方案的优缺点,提出了未来多GPU系统非一致存储访问优化的发展方向.

电子商务大数据智能存储管理系统的设计与实现解析

介绍一种电子商务大数据智能存储管理系统,旨在为电子商务从业者提供轻松、舒适的工作环境,并满足消费者日益个性化的需求。系统采用C/S结构,通过客户端与服务器软件和硬件终端完成实时数据传输,提供商城管理、店铺设置、店铺高级设置、活动设置等功能,同时利用网络硬件的安全措施确保数据的安全性。

面向AOSFET增益单元的存储系统功耗分析研究

近年来,数据密集型应用对存储器的存储密度和功耗等性能提出了更高的要求。传统的嵌入式缓存采用6T-SRAM和1T1C-eDRAM技术难以提升存储密度,且存在较高的背景功率。其中,6T-SRAM的背景功率主要来自晶体管的高泄漏电流,1T1C-eDRAM则主要来自刷新功耗。非晶氧化物半导体(AOSFET)因其极低的泄漏电流和三维集成潜力备受关注。(AOSFET)2T0C-eDRAM是下一代嵌入式缓存技术的有力竞争者。针对当前缺乏功耗分析方法的现状,本文建立了2T0C-eDRAM的读写功耗、刷新功率和泄漏功率模型,并将其集成到定制化NVSim模块中,实现了对AOSFET 2T0C-eDRAM存储系统的功耗分析。仿真结果表明,在大容量存储阵列中,AOSFET 2T0C-eDRAM的读写功耗会略低于6T-SRAM、1T1C-eDRAM和硅基 2T0C-eDRAM,其背景功率(刷新功率和泄漏功率)仅为6T-SRAM的1/6,1T1C-eDRAM的1/10,硅基 2T0C-eDRAM的1/10。

基于大数据的分布式文件存储系统架构设计

针对目前数据量庞大对文件存储的需求激增,本文研究基于大数据的分布式文件存储系统(Hadoop distributed file system,HDFS)架构设计。通过分析HDFS架构的基本原理,讨论数据分布策略、数据备份与恢复机制以及一致性与性能优化的方法,提出针对名称节点和数据节点的改进措施,包括在名称节点中引入高速闪存驱动器以管理元数据,并在数据节点中实施元数据缓存机制。研究结果表明:分布式文件存储系统可以优化元数据管理,减少网络成本,并提高系统性能,对改善大数据存储系统的性能具有重要作用。

存储系统性能测试技术研究

针对国产计算机硬盘I/O性能测试存在主要使用开源测试工具、缺少统一的基准测试工具问题,设计了一套专门适用于国产计算机上的硬盘I/O性能测试系统。与开源测试工具相比,该系统测试对象更明确,其图形界面简化了用户操作,能直观展示测试结果。该系统测试结果与开源测试工具Vdbench无异,证明了其可为评估国产计算机硬盘I/O性能提供可靠性依据,同时,在国产计算机上对其进行了应用测试,证明了其实用性。

云存储系统性能优化策略与关键技术研究

文章深入分析了提升云存储系统性能的关键策略与技术,概述了云存储系统性能的指标,包括传输带宽、读写响应时间和资源利用效率。分析了影响云存储系统性能的因素,如网络带宽限制、服务器性能和数据冗余机制。文章重点讨论了优化性能的策略,包括实施可扩展网络结构、负载均衡机制、数据去冗余和压缩等。通过这些策略,可以显著提高云存储系统的效率和可靠性,满足日益增长的数据存储需求。

网络安全数据存储系统设计

随着网络安全事件频发,为解决网络安全数据安全问题,研究设计一个安全可靠的网络安全数据存储系统具有重要的现实意义。本文首先对系统需求进行分析,其涉及数据的安全性、数据访问权限控制、数据备份与恢复及性能需求等,在此基础上进行系统设计,系统包括架构设计、数据存储设计、权限管理设计及系统安全设计,最后成功设计出满足备份与恢复、权限控制及安全性等要求的网络安全数据存储系统,以期为用户提供高效、安全的数据存储与管理功能。

从BERT到ChatGPT:大模型训练中的存储系统挑战与技术发展

以ChatGPT为代表的大模型在文字生成、语义理解等任务上表现卓越,引起了工业界和学术界的广泛关注.大模型的参数量在3年内增长数万倍,且仍呈现增长的趋势.首先分析了大模型训练的存储挑战,指出大模型训练的存储需求大,且具有独特的计算模式、访存模式、数据特征,这使得针对互联网、大数据等应用的传统存储技术在处理大模型训练任务时效率低下,且容错开销大.然后分别阐述了针对大模型训练的3类存储加速技术与2类存储容错技术.针对大模型训练的存储加速技术包括:1)基于大模型计算模式的分布式显存管理技术,依据大模型计算任务的划分模式和计算任务间的依赖关系,设计模型数据在分布式集群中的划分、存储和传输策略;2)大模型训练访存感知的异构存储技术,借助大模型训练中的访存模式可预测的特性,设计异构设备中的数据预取和传输策略;3)大模型数据缩减技术,针对大模型数据的特征,对模型训练过程中的数据进行缩减.针对大模型训练的存储容错技术包括:1)参数检查点技术,将大模型参数存储至持久化存储介质;2)冗余计算技术,在多张GPU中重复计算相同版本的参数.最后给出了总结和展望.

存储系统中的局部修复阵列码模型

对于单容错和双容错的存储系统,在磁盘修复过程中发生的任何故障都可能引起数据丢失,导致修复失败,保证数据的修复效率对于存储系统的可靠性至关重要。RDP码在进行单盘故障修复时使用混合恢复算法能减少25%的读取总量,但是在进行双盘故障修复时需读取所有的元素。针对目前难以同时提升单双盘故障修复效率的问题,对RDP码进行拓展,提出了一种具有局部修复性质的阵列码模型——DRDP码。DRDP码在RDP码的基础上将部分数据列按水平线进行异或计算生成局部水平校验列,并将其参与到全局校验列的编码计算中,从而缩短了修复链,使其拥有局部修复的功能。通过理论分析,DRDP码拥有良好的编译码复杂度和更新效率,大幅节省了单盘故障修复读取开销,并对双盘故障修复读取开销进行了优化,同时能修复75%三盘故障的情况。实验结果表明,与RDP码、LRRDP码和RDP(p,3)码相比,DRDP码的编码时间可节省8.23%~32.89%、单盘故障修复时间可节省7.08%~35.01%、双盘故障修复时间可节省5.07%~29.26%。

基于SSH轻量级框架的教学信息加密存储系统设计

由于传统的教学信息存储方式存在数据泄露、数据损坏等安全隐患,设计基于SSH轻量级框架的教学信息加密存储系统。采用J2EE轻量级开发框架SSH作为教学信息加密存储系统的架构。采用区块链技术加密处理教学信息,通过基于N+i模式的编码冗余存储机制将教学信息分块存储在区块链节点上,完成教学信息加密存储。测试结果表明,该系统在恶意攻击干扰下加密存储教学信息的成功率高达96.1%,可以保障信息的完整性与安全性。

基于SSD的Key-Value系统优化设计与实现

随着互联网技术的迅猛发展,越来越多的非结构化数据涌入到人们的生活中,为这些数据建立高效的索引面临极大的挑战.键值数据库Key-Value以其结构简单和高扩展性而引起人们的广泛关注,已成为海量数据存储系统中的重要组成部分.由于Key-Value系统对吞吐量要求较高,而基于Flash的固态硬盘(solid state drive,SSD)能够提供很高的随机读性能,在SSD上构建Key-Value系统已成为海量数据存储领域的一大研究热点.鉴于Flash具有非定点更新、寿命有限等特性,基于SSD的KeyValue系统必须针对Flash的特性作专门优化.以一种称为SkimpyStash的基于SSD的Key-Value系统为基础,提出了一种新的Key-Value系统低延迟存储系统(low latency store,LLStore).LLStore使用内存文件映射技术来减少针对SSD的IO请求,除此之外,针对SkimpyStash中低效的压缩策略,提出一种改进方法,可以在少量增加内存开销的情况下极大地减少查询时间.通过与原系统的性能比较实验,LLStore在平均查询时间上可以获得至少12%的加速.

基于GPU直访存储架构的推荐模型预估系统

新型深度学习推荐模型已广泛应用至现代推荐系统,其独有的特征——包含万亿嵌入参数的嵌入层,带来的大量不规则稀疏访问已成为模型预估的性能瓶颈.然而,现有的推荐模型预估系统依赖CPU对内存、外存等存储资源上的嵌入参数进行访问,存在着CPU-GPU通信开销大和额外的内存拷贝2个问题,这增加了嵌入层的访存延迟,进而损害模型预估的性能.提出了一种基于GPU直访存储架构的推荐模型预估系统GDRec.GDRec的核心思想是在嵌入参数的访问路径上移除CPU参与,由GPU通过零拷贝的方式高效直访内外存资源.对于内存直访,GDRec利用统一计算设备架构(compute unified device architecture,CUDA)提供的统一虚拟地址特性,实现GPU核心函数(kernel)对主机内存的细粒度访问,并引入访问合并与访问对齐2个机制充分优化访存性能;对于外存直访,GDRec实现了一个轻量的固态硬盘(solid state disk,SSD)驱动程序,允许GPU从SSD中直接读取数据至显存,避免内存上的额外拷贝,GDRec还利用GPU的并行性缩短提交I/O请求的时间.在3个点击率预估数据集上的实验表明,GDRec在性能上优于高度优化后的基于CPU访存架构的系统NVIDIA HugeCTR,可以提升多达1.9倍的吞吐量.

一种优化的Key-Value型NoSQL系统

Key-Value(KV)是NoSQL系统中使用较为广泛的一种存储模型。针对当前主流NoSQL系统存在检索功能有限、内存容量小和宕机等问题,提出一种KV型NoSQL系统设计方法。使用可持久化的混合主索引结构解决范围查询和快速重启,采用数据分布算法和内外存混合存储技术,通过数据在内存和固态硬盘之间的智能调度,实现了大规模数据的高效存取和低成本存储。实验结果表明,与Redis相比,对于典型大小Value,该系统在单节点读写性能上提升约8倍,配置成本降低约3/4,在海量数据的低成本高效存储上有明显优势。

一种面向航空发动机的多通道力学参数存储测试系统设计

航空发动机测试技术在航空工业中占据重要地位,而发动机的力学状态正常与否直接决定其工作可靠性。针对航空发动机试验中面临的全新要求,为实现对前端力学参数高速有效的采集分析处理,设计了一种基于FPGA的存储测试系统,该系统运用FPGA内部程序并行处理的特点,将AD采集的前端多达63通道力学传感器数据存入大容量NAND Flash芯片,结合千兆以太网的高速运行,将采集到的数据发送到上位机进行实时处理和进一步分析。现场试验表明,该系统能实时有效地监控发动机状态,数据存储准确可靠性高,确保稳定运行。

地震数据分布式存储系统建设模式与服务效能研究

我国地震监测系统历经了数字化、网络化和自动化的变革。随着地震监测站网规模的不断扩大,作为国家数据中心,中国地震台网中心面临数万地震台站观测数据处理和存储压力。本文基于前期国家地震烈度速报与预警工程、公共安全信息化工程(中国地震局)建设项目等建设经验,总结地震数据分布式存储系统的建设模式,并验证其合理性。同时以历史数据迁移归档业务为例,分析共享存储系统的服务效能,为海量观测数据的高效存储管理、共享数据存储系统建设提供参考。

基于神经网络信息融合的油气藏信息存储系统设计

针对现行油气藏信息存储系统鲁棒性、安全性较低的问题,提出了基于神经网络信息融合的油气藏信息存储系统设计方案。在系统硬件方面,通过对信息存储器选型与设计,完成系统硬件设计;在系统软件方面,利用神经网络信息融合技术对油气藏信息分类,并设计数据库对分类的油气藏信息存储。实验结果表明,在信息存储过载情况下系统崩溃率未超过2%,系统安全性系数在0.8以上,具有较强的鲁棒性与安全性。