MUSE:一种面向云存储系统的高性能元数据存储引擎

该文设计了一种高性能的面向云存储系统的元数据存储引擎(MUSE)。首先,其底层物理存储模块采用LSM-tree模型的高速key-value存储引擎Level DB方案,通过设计多缓存表和多线程紧凑机制对该方案进行优化,使其可以充分利用内存和多核CPU并行能力;其次,提出了基于多I/O通道的元数据存取调度机制。通道之间读写操作隔离,聚合多个通道为上层提供高并发随机I/O读写能力;此外,针对上层目录命名空间管理,提出路径分割映射和全路径映射策略两种策略,可基于不同的应用场景在性能与可用性间进行折中选择。系统测试结果表明,MUSE能够很好地适应海量小文件存储场景,相对于其他元数据存储系统在性能上有显著的提升。

搜索引擎中信息存储结构的改进

网络已经成为世界上最大的数字图书馆。目前网上信息数量仍在急剧膨胀 ,无用信息所占比例愈来愈大 ,而且网络传输速度较慢 ,由于数据的存储结构直接影响着查询质量和查询速度 ,因此网络信息的存储方式亟需改进。本文针对网络信息固有的特点提出一种新的文档存储结构 ,改进了搜索引擎的性能。主要内容包括信息的自动分类 ,网页相关度的计算 。

基于非易失性存储器的存储引擎性能优化

非易失性存储器具有接近内存的读写速度,可利用其替换传统的存储设备,从而提升存储引擎的性能。但是,传统的存储引擎通常使用通用块接口读写数据,导致了较长的I/O软件栈,增加了软件层的读写延迟,进而限制了非易失性存储器的性能优势。针对这一问题,该文以Ceph大数据存储系统为基础,研究设计了基于非易失性存储器的新型存储引擎NVMStore,通过内存映射的方式访问存储设备,根据非易失性存储器的字节可寻址和数据持久化特性,优化数据读写流程,从而减小数据写放大以及软件栈的开销。实验结果表明,与使用非易失性存储器的传统存储引擎相比,NVMStore能够显著提升Ceph的小块数据读写性能。

一种面向实时数据库存储引擎的设计与实现

卫星地面设备监控中,需研究实时数据库技术来管理大量的分布式环境下的实时数据。为此文章设计了一种实时数据存储引擎。该引擎借助内存文件映射机制实现内存表,以LRU算法和页面缓冲池实现了磁盘表,通过位图方法管理数据库表的文件空间,以影子页面法实现了事务的提交与回滚,并设计了数据库表的逻辑结构。通过使内存表和磁盘表结构保持一致,确保了数据库运行时内存表和磁盘表的灵活转换,影子页面法确保了数据库具有实时的故障恢复速度。结果表明,该引擎适用于存储卫星地面设备监控中的大量实时数据。

MySQL数据库存储引擎探析

介绍了MySQL数据库存储引擎及其分类,并就最常用的MyISAM和InnoDB两种存储引擎展开研究分析,通过性能测试探究其使用特点,为用户选择合适的数据存储方式提供参考依据。

航空公司应用中的MySQL内存存储引擎

开源数据库MySQL越来越广泛地应用于航空公司的信息系统,在深入分析航空公司应用领域数据特点的基础上,该文提出了用内存存储引擎管理航空公司基础数据的方法。该方法结合内存表和磁盘表两种机制,不但提供快速的性能,而且解决了内存表的永久保存问题。

MySQL存储引擎与数据库性能

MySQL中的数据用各种不同的技术存储在文件(或者内存)中,其每一种技术都使用不同的存储机制、索引技巧、锁定水平,并且最终提供广泛的功能。这些技术以及配套的相关功能被称作存储引擎(或表类型)。文章讨论了索引顺序访问方法(MyISAM),InnoDB,内存(Memory)或堆(Heap),合并(Merge)以及实例(Example)等几种常见的MySQL存储引擎的特点,然后比较了MyISAM与InnoDB两种存储引擎在Windows和Linux两种平台下性能上的差异。

面向Flash Memory的高性能数据存储引擎的研究

传统的数据存储引擎对Flash Memory数据的修改是通过页内更新技术实现的,这将导致FlashMemory的性能下降及其磨损加剧。针对该问题,文章提出了一种面向Flash Memory的采用页外更新技术的多版本数据存储引擎MV4Flash。该数据存储引擎采用多版本存储和垃圾回收机制,所有数据的更新和修改都通过文件追加的方式进行,适应了Flash Memory先擦除后写入的特点,延长了设备寿命。采用NDBBench对该数据存储引擎进行测试的结果表明,MV4Flash与传统的InnoDB相比,事物处理性能有较大的提升,更适合于数据规模大、实时性要求高的应用系统。

支持移动多媒体通信中间件的存储转发引擎的设计

存储转发引擎是支持移动多媒体通信中间件的数据传输系统的运转中枢。本文详细讨论了存储转发引擎的设计模式和策略选择，提出了一个基于Windows2000／NT操作系统的设计模型。引擎设计采用线程池与完成端口重叠I/O相结合，选择结构化的消息队列和基于优先权的队列调度机制，由管理线程池、接收线程池、分析线程池和发送线程池组成，其中详细介绍了接收线程池、发送线程池和分析线程池的工作流程。

基于Client/Server架构的数据存储引擎

本文深入探讨了基于C1lent/Server架构的SQL Server体系结构的工作原理和数据库引擎的增强功能及其使用技巧,以及数据存储过程中的可靠性与安全性。

面向GoldenX软硬协同优化的异构加速列式存储引擎研究

万物互联时代,随着各类新型计算技术和新兴应用领域出现,传统数据处理方式逐步向云边协同数据处理的方式演进.云边复杂多变的生态系统(多云和多边缘)带来飞速增长的数据规模、复杂的数据位置及负载连接,如何高效稳定的存取数据信息以及如何加快数据查询处理已经成为学术界和工业界急需解决的关键问题.另一方面,以GPU/FPGA异构算力、NVM(non-volatile memory,非易失内存)存储、RDMA(remote direct memory access,远程直接内存存取)网络为代表的新型硬件技术的快速发展和应用,对现有软件架构体系产生了革命性的影响,为数据库系统的演进和性能提升提供了变革基础,吸引着越来越多研究者的关注.如何利用这些不断涌现的新型硬件技术来为工业界使用的真实数据库系统赋能已经成为目前的研究热点之一.首先介绍了中兴通讯GoldenX数据库系统架构,然后重点阐述其列式存储引擎利用新型硬件特性在计算层和存储层进行的软硬件协同设计和优化,主要包括:(1)将压缩/解压、加密/解密任务从CPU卸载到FPGA,利用FPGA的可编程特性,设计专用MISD(multiple instruction stream single data stream,多指令流单数据流)架构处理器,采用“软件接口级-计算核心级-功能模块级”三级流水线设计,提高数据流处理的效率;(2)为列式存储定制向量化执行引擎,利用CPU/GPU的SIMD(single instruction multiple data,单指令多数据流)新特性优化传统火山模型,降低了函数调用开销;(3)对SQL执行引擎进行优化,动态评估和利用GPU计算资源,采用JIT编译技术,将过滤/排序/聚集等具有矩阵运算特征的统计分析型SQL运算任务下推到GPU上,利用GPU的超高并行计算能力提高查询分析性能.实验表明,本文提出的软硬件优化方法有效提升了GoldenX系统性能,在TPC-H基准测试场景的22个查询中,优化后的GoldenX性能比优化前提升了2.5~10倍,比开启向量化的openGauss执行时长减少了17%~78%.

OceanBase分布式存储引擎

OceanBase是一个分布式关系型数据库,其目的是存储海量的高速增长的结构化数据,以廉价的服务器集群实现高可用、高可扩展、高性价比的服务.OceanBase采用内外存混合存储的模式,使用内存存储增量(新写入)数据,而使用外存存储基线(只读)数据,并将基线数据划分成大致等量的数据分片并采用分布式B+tree的形式将分片存放在很多的数据服务器上,利用定时合并机制不断将增量数据与基线数据融合.本文介绍OceanBase基线数据存储的基本结构和分布方式、定时合并机制,以及基线数据在OceanBase中的具体存储格式的设计和实现.

基于内存映射文件的进化算法数据存储引擎

为了观察和分析进化算法的执行情况,往往需要将算法执行过程中产生的大量数据存储在磁盘文件中。用于进化算法的嵌入式数据存储引擎EADB(Evolutionary Algorithm Database)提供了简便灵活的数据存储接口,通过使用内存映射文件技术来实现数据的快速和大量存储。相较于传统文件I/O存储方式和一般的通用数据存储引擎,EADB大大加快了存储速度。

基于MyISAM存储引擎的全文搜索模式应用研究

基于MyISAM数据表和全文索引,探讨全文搜索三种模式的基本原理和使用方法。通过具体实例的构建,采用比较法,对三种不同搜索模式的应用细节进行分析。全文搜索是对数据库进行内容搜索的基础,是研究数据库字段之间、记录之间关联程度的重要手段,是进行数据库分析的有效途径之一。

MySQL中InnoDB存储引擎在NUMA系统上的优化

本文对InnoDB引擎进行了代码级的深入研究,详细剖析了NUMA系统中软件优化的要点并将InnoDB针对NUMA特性进行了优化,有效减小系统中的内存访问开销。在Intel的最新Xeon7500系列处理器上进行了性能评测,结果显示该方案取得了一定的成果。

一种基于搜索引擎的对象存储系统的扩展技术

固定内容存储(fixed content storage,FCS)系统是一款基于内容的对象存储系统,提供存储对象的元数据搜索功能.FCS系统采用单服务器结构,需要一种方法实现多机联合为用户提供服务.基于都柏林元数据技术,采用搜索引擎技术对多个FCS系统内存储对象进行元数据收集,组建元数据服务器,对外提供统一访问接口,可实现FCS系统的扩展或多机联合,该技术为对象存储系统的扩展提供了一种有效的方法.

基于时标分层技术的时序数据存储引擎研究与实现

针对使用时序数据库存储海量时序数据场景下,数据量增大导致数据写入和查询效率降低的问题,提出一种基于时标分层的时序数据存储引擎。通过将内存(RAM)、固态硬盘(SSD)、机械硬盘(HDD)三种存储介质存储特性与时序数据业务场景相结合,基于数据时标实现数据热度划分、数据分层与数据迁移操作,提高RAM和SSD使用率,提升数据写入和查询效率。结合该引擎对现有"海迅"实时库(HS)进行优化改造,改造后的数据库写入和查询性能分别提升70%和200%。

基于搜索引擎发现技术的网页存储

首先概述了搜索引擎的发展,再对搜索引擎发现技术进行介绍,选择其中一种算法即网页爬虫实现对某个网站关于网页信息的提取与存储,最后进行了总结与展望。

NTSE：面向大型互联网应用优化的MySQL存储引擎

由于存储引擎InnoDB存在的弊端，使得MySQL的可用性、性能和可管理性等方面都不能满足大型互联网应用的需求。为了解决这个问题，网易自主研发7NTSE存储引擎，并逐步应用于其多款重要产品中。

从引擎到应用的云存储实战——百度云存储技术剖析

本文从百度云存储的底层引擎Mola系统开始讲起，描述了如何在其上逐渐构建、扩展和完善，形成BCS、PCS和百度网盘等产品的过程，同时指出了当下云存储所面临的巨大挑战及应对之道。