基于软件定义网络和多属性决策的Ceph存储系统节点选择方法

云存储中的Ceph分布式文件系统以其开原性和提供统一存储能力的特点在企业和科研领域得到广泛关注和应用.CRUSH算法是Ceph分布式文件系统中的伪随机数据分布算法,能实现在异构大规模层级结构化存储集群中高效分布数据对象及其副本.经典Ceph云存储系统中在副本模式下选择存储节点时该系统仅以节点存储容量作为唯一选择条件,并没有考虑到网络和节点的负载状况,这影响了系统在网络性能差和节点高负载的情况下的读写性能.因此,在CRUSH算法中加入网络状态和节点负载的测量对提高负载均衡性具有非常重要的作用.但在传统的网络构架中要获取网络状态需要繁琐的配置和大量的测量开销.为解决这些问题,该文设计了基于软件定义网络技术的Ceph云存储系统模型和存储节点选择策略,首先利用软件定义网络技术实时获取网络和负载状况,以简化网络配置和减小测量开销,然后通过建立并求解出综合考虑了多种因素的多属性决策数学模型来确定存储节点位置.通过在实际环境中对设计的存储节点选择方法进行读写操作的测试,测试结果表明,与现有的CRUSH算法相比,提出的存储节点选择方法可以在保持与原有Ceph系统相同的写操作性能的同时,读小文件操作时的吞吐量和读大文件的响应时间得到明显改善.

Ceph分布式存储系统性能优化技术研究综述

Ceph是一个统一的分布式存储系统,可同时提供块、文件和对象3种接口的存储服务。与传统的分布式存储系统不同,它采用了无中心节点的元数据管理方式,因此具有良好的扩展性和线性增长的性能。经过十余年的发展,Ceph已被广泛地应用于云计算和大数据存储系统。作为云计算的底层平台,Ceph除了提供虚拟机的存储服务外,还可以直接提供对象存储服务和NAS文件服务。Ceph支撑着云计算系统中多种操作系统和应用的存储需求,它的性能对其上的虚拟机和应用有较大的影响,因此Ceph存储系统的性能优化一直是学术界和工业界的研究热点。文中首先介绍了Ceph的架构和特性;然后针对现有的性能优化技术,从对内部机制进行改进、面向新型硬件和基于应用的优化这3个方面进行了归纳和总结,综述了近年来Ceph存储和优化的相关研究;最后对该领域未来的工作进行了展望,以期为分布式存储系统性能优化的研究者提供有价值的参考。

关于Ceph分布式存储系统性能优化技术的研究

由于现代信息技术快速发展,人们的网络活动数据急速增加,对计算机的储存和处理能力提出了更高的要求。文章基于Ceph分布式存储系统的架构,分析其性能优化技术,包括可扩展哈希下的受控复制(Controlled Replication Under Scalable Hashing,CRUSH)算法、对象存储设备(Object-based Storage Device,OSD)参数优化、使用异构硬件配置、基于固态盘的缓存性能优化、基于固态盘的元数据管理优化,从而扩大系统的吞吐量、缩短系统响应时间,提升系统的可伸缩性。