关于Ceph分布式存储系统性能优化技术的研究

由于现代信息技术快速发展,人们的网络活动数据急速增加,对计算机的储存和处理能力提出了更高的要求。文章基于Ceph分布式存储系统的架构,分析其性能优化技术,包括可扩展哈希下的受控复制(Controlled Replication Under Scalable Hashing,CRUSH)算法、对象存储设备(Object-based Storage Device,OSD)参数优化、使用异构硬件配置、基于固态盘的缓存性能优化、基于固态盘的元数据管理优化,从而扩大系统的吞吐量、缩短系统响应时间,提升系统的可伸缩性。

对象存储设备端数据管理策略研究

在对象存储系统中,数据由智能化的对象存储设备管理.当前,对象存储设备端主要提供对象接口,传统的设计主要由通用文件I/O来封装.但是,通用文件系统在管理平坦命名空间时,尤其在长期使用后性能退化严重.因此,提出基于扩展Hash的对象文件系统XOBFS(extensible hashing objectbased storage file system),将磁盘空间划分成多个区域单元,区域中定长块分配策略与位图管理空闲块方式结合;对象属性用扩展Hash管理,在Hash桶中采用相同对象属性相邻存放策略.XOBFS应用在对象存储设备端,具有元数据规模小、长期使用性能不退化、对属性进行有效管理等特点.测试结果表明,基于大对象的XOBFS的吞吐率优于传统文件系统.

对象存储系统中基于负载均衡的设备选择算法

为解决大规模海量存储系统中用户数据访问过程中出现的系统负载不均衡现象,深入分析了对象存储节点的负载特征,提出一种对象存储设备的选择算法,检测和计算各个对象存储设备的实时负载信息,并依此从中选择当前负载较低的设备进行数据访问.测试和仿真结果均表明:对于I/O请求中写请求占主导的负载,该算法实现了负载的均衡分布,消除了单点过载,缩短了系统响应时间.该算法不仅适用于写请求到达时的设备选择,也适用于重要数据的备份选择以及链式MDS中后继节点的选择,具有较广的应用范围.

不同运行方案下AA-CAES系统性能分析及优化

针对先进绝热压缩空气储能(AA-CAES)系统储能方式与输出方式单一以及[火用]效率低的问题,提出了不同输出方式和储能方式组合的4种运行方案,并对不同运行方案下系统参数进行了优化。从热力学和经济学角度出发,讨论了储能功率、储气室最大压比和压缩机进口空气温度对4种运行方案下系统性能的影响,并采用NSGA-Ⅱ算法,以[火用]密度和年利率为目标函数对系统进行了多目标优化。结果表明:方案3的系统[火用]效率和年利率最高,方案4的系统[火用]密度最大;随着储能功率的增加,4种运行方案下的系统[火用]效率和年利率升高,而[火用]密度降低;随着储气室最大压比的增大,系统的[火用]效率和年利率降低,而[火用]密度增大;随着压缩机进口空气温度的升高,系统年利率和[火用]效率降低,方案3和方案4的系统[火用]密度增大,而方案1和方案2的系统[火用]密度降低;方案1~方案4的最佳[火用]密度分别为5.92 MJ/m^(3)、6.73 MJ/m^(3)、9.00 MJ/m^(3)和9.84 MJ/m^(3),最优年利率分别为19.19%、16.04%、25.40%和21.25%。

一种OSD文件系统的设计

OSD文件系统主要承担通用文件系统中存储管理部分的功能,其与通用文件系统存在很大的差异,针对OSD的特征,设计了一种适用于小对象的OSD文件系统,其中提出了“盘区记录表”这种对象ID到对象数据的映射方式和一种新的空间分配策略,同时结合空间分配方式的特点提出了一种主动对象数据调整策略。实验表明,该文件系统在管理小型对象时能有效提高读写性能。

一种基于属性的对象访问方法

基于对象存储,吸取NAS和SAN的优点,成为下一代网络存储模式.Ext2作为对象存储的文件系统,数据访问至少需两次以上的磁盘操作,由此提出了一种基于属性的对象访问方法.将数据的块地址和长度链接在一起,作为对象的扩展属性,连同数据对象一起存储到磁盘中,无论数据对象大小,磁盘访问次数仅为两次,有效地提高了数据访问效率.

分布式文件系统Lustre的研究

随着高性能技术的不断发展,传统存储系统在可扩展性、可用性和性能上已不再满足高性能计算的I/O要求,分布式文件系统Lustre可以有效地解决这些问题。探讨了分布式文件系统和Lustre体系结构,通过实验在普通PC机群上搭建了Lustre文件系统,并对机群I/O性能进行了测试。

对象存储下的溯源收集与存储研究

溯源是描述一个数据对象的历史操作的元数据。溯源提高了数据本身所描述的价值,给出了"对象是如何创建的?它依赖了哪些其他对象?这两个对象的历史操作有何不同?"等问题的答案。分析了对象存储系统存储管理溯源信息的优势,研究并实现了如何利用对象存储系统架构来收集和存储溯源。通过在对象存储客户端利用系统状态文件获取系统内核信息,调用JHOVE应用程序来分析和封装文件格式,使用Linux系统的审计功能对普通应用程序进行监听,并将收集到的溯源信息封装成对象,存储到对象存储设备端Berkeley DB数据库或日志文件中。测试结果表明,基于对象的溯源存储系统在不同溯源信息的收集、存储和查询方面都具有较好的性能。

基于对象的文件系统I/O分析与评测

目前基于对象的存储设备中多采用通用的文件系统如EXT2、EXT3等进行管理,但面临着对海量数据的高效存储、管理问题。基于对象的文件系统实现了对象按大小在磁盘区域中组织管理,并采用了Hash、最坏适应等机制,提高磁盘利用率的同时显著提升了磁盘吞吐率。对EXT2、EXT3、基于对象的文件系统进行了I/O性能测试及分析。实验表明,基于对象的文件系统的I/O性能是EXT2、EXT3文件系统的2到3倍。

基于OSD的pNFS性能评测与分析

传统高性能存储服务如存储局域网(SAN)和网络附加存储(NAS)在性能和扩展性上难以满足海量数据的处理要求。基于对象存储设备(OSD)的并行网络文件系统(pNFS)通过元数据和数据的分离,有效弥补网络文件系统(NFS)性能和扩展性上的不足。为了解其实际性能,文章对基于OSD的pNFS与传统NFS进行了对比测试。首先介绍了pNFS的结构和特点,然后从吞吐率、小文件事务处理性能等方面对其进行测试,并与NFS的性能进行了对比分析,结果表明pNFS在同等硬件条件下可提供较高的吞吐率和扩展性。最后,针对现有原型系统的不足,提出改进方案。