对象存储系统中的柔性对象分布策略

为了使对象存储系统在处理不同大小文件时兼顾并行性和负载均衡,提出一种能够结合哈希算法和分片算法的优点,同时尽量避免其缺点的柔性分布算法.柔性分布算法将大小文件的边界值界定为512 Kbyte,小文件直接映射成一个对象并使用哈希策略映射到一个设备中;大文件分割成多个对象,分别放置在不同的设备里.实验结果显示:柔性分布算法在不同规模的系统中开销最小,且性能受设备数增加的影响较小.

对象存储系统中一种高效的分层对象布局算法

在对象存储系统中,如何有效地在对象存储设备上分布对象是其面临的重大挑战.需要一个能够常数时间内定位对象,同时能公平地分布对象以及自适应存储规模变化的对象布局算法.目前大部分布局算法只能适应单层模式,少数的多层模式对设备配置有严格的要求,而且无法在常数时间内定位对象,自适应性较差.提出了一种新的分层对象布局算法,首先使用最大最小聚类算法将设备集合进行分类,支持灵活的设备配置.然后使用提出的EFAH Hashing算法在集群间和集群内分布对象.理论和实验证明,新的分层对象布局算法可以在常数时间内定位对象,从而减轻元数据服务器的计算量.同时可以在设备之间较公平地分布对象,达到I/O负载均衡的目的.而且在设备集合变化时,迁移较少的对象数以满足对象再次分布的公平性.

对象存储系统中基于负载均衡的设备选择算法

为解决大规模海量存储系统中用户数据访问过程中出现的系统负载不均衡现象,深入分析了对象存储节点的负载特征,提出一种对象存储设备的选择算法,检测和计算各个对象存储设备的实时负载信息,并依此从中选择当前负载较低的设备进行数据访问.测试和仿真结果均表明:对于I/O请求中写请求占主导的负载,该算法实现了负载的均衡分布,消除了单点过载,缩短了系统响应时间.该算法不仅适用于写请求到达时的设备选择,也适用于重要数据的备份选择以及链式MDS中后继节点的选择,具有较广的应用范围.

对象存储系统的镜像快速复制研究

为了提高海量存储系统的可靠性,加快系统冗余副本的重建速度非常重要,理论上两路冗余镜像可以给存储系统提供安全备份,但是当系统有一个OBD(对象存储设备)损坏后,系统重建时间(系统脆弱期)往往会很漫长。为了缩短系统的脆弱期,根据基于对象存储系统的特点,提出了采用并行镜像复制方法。该方法避免了串行重建一个OBD时由于对总线的竞争而造成"瓶颈",可以大幅度缩短系统的脆弱期,并详细介绍了这种方法实现的数据结构和实现算法等重要技术环节。

对象存储系统形式化研究

对象存储系统是近来兴起的存储领域研究热点,它改变了传统的存储模式,用对象接口取代了传统的块接口。作为下一代互联网存储模式的关键技术——对象存储,它的出现使得海量信息存储、数据异构灵活共享、存储系统的可扩性、信息安全等问题迎刃而解。对象作为对象存储系统的基本单位,它的管理将是系统管理的关键。为了更好地研究对象存储系统对象的管理,本文对对象的形式化做了系统的研究。首先根据对象存储系统的实际给出了对象存储系统中对象的形式化描述;接着我们给出了对象存储系统的形式化描述;最后讨论了对象存储系统中对象间的关系,并通过这些对象间的关系推导出一种对象存储系统模式。对象存储系统的形式化研究将有助于我们对对象管理做进一步研究。

基于对象存储系统中的热点数据平衡策略

针对基于对象存储系统(OBS)中的热点数据问题,提出了一种基于预测和数据副本迁移的均衡策略.对基于对象存储结点(OSD)的热度进行预测,元数据服务器(MDS)据此对存储结点进行均衡协调,存储结点则响应协调规则并采用贪心法选出尽量小而且访问客户多的对象进行副本迁移.此外,采用增量备份的方法解决副本迁移可能造成的数据不一致问题.实验结果表明策略的预测误差在8%以内.

一种高性能对象存储系统

当大量用户并行访问对象存储设备(OSD)时,OSD可能成为限制系统性能的瓶颈。该文提出一种基于网络磁盘阵列的对象存储系统,网络磁盘阵列包括外设和网络2个通道,可直接与客户端进行数据传输。该系统具有基于对象存储系统的特点,且系统容量可扩展性和整体性能较高。

对象存储系统中对象查找及标识符分配管理策略

对象存储系统是一种新的网络存储体系结构,它结合了存储区域网SAN的高性能和网络附加存储NAS的跨平台的优点.对象存储系统的对象查找的快慢直接影响系统的性能.针对对象存储系统的对象查找是通过对象ID找到对象Onode.分析研究了对象文件系统中的对象查找策略及对象号分配策略,提出元数据服务器与对象设备协同管理对象ID,采用连续的对象号分配策略改进对象存储系统的对象查找方法,提高了对象存储系统的对象查找速度.

一种高性能多媒体对象存储系统的研究

通过对多媒体应用中多用户并发访问的特点和性能进行分析,提出一种高性能多媒体对象存储系统MOSS(Multime-dia Object Storage System)的对象数据组织结构.MOSS结构采用两层结构,下层采用RAID5的方式组织数据,这样可以利用RAID5磁盘利用率高的优势.上层放常用的热点数据,通过将不同对象存放在不同磁盘,从而将不同用户的请求尽量分散到不同的磁盘上,可以提高多用户的并发访问性能.通过仿真测试,在4用户情况下,MOSS的性能平均比RAID高90%,随着用户数的增加,传统RAID方式的性能下降明显,而MOSS的性能下降很少,在16用户情况下,MOSS的性能平均比RAID高550%.

基于虚存映射的对象存储系统的设计与实现

多媒体智能数据库系统ＭＩＤＳ（ＭｕｌｔｉｍｅｄｉａＩｎｔｅｌｌｉｇｅｎｔＤａｔａｂａｓｅＳｙｓｔｅｍ）的存储系统是一个强大的、高性能的对象存储系统．该存储系统是ＭＩＤＳ引擎的核心．它是基于虚存映射的存储系统，在Ｃｌｉｅｎｔ／Ｓｅｒｖｅｒ的体系结构下，为数据库提供了大容量的、复杂的、共享的、多媒体数据存取，然而又不失面向对象数据模型的种种优点．在本文中，我们将介绍基于虚存映射的对象存储系统的基本原理以及该系统设计和实现的细节．

OS虚存技术与双缓冲结合──Sambase对象存储系统

利用操作系统的虚存技术，在虚存中开辟一块空间（大至整个虚存）作为DBMS的缓冲池.这样实现了DBMS和C＋＋之间的无缝连接，无需特殊的编译程序，应用程序利用普通的座存指针，使用与操作临时对象相同的程序代码来直接快速地操作持久对象，建立在这种虚存技术上的缓冲机制使数据库的大小突破了虚存大小的限制.

对象存储系统的研究

SCSI,ATA/IDE等现有的基于块的存储接口已成为提升存储系统性能、降低存储管理成本的障碍。对象存储技术有望改变现状,成为下一个标准存储接口,使得建立拥有自主管理、数据共享、安全和智能化等特征的存储网络成为可能。该文分析对象存储的特点,设计并实现一个简单的对象存储系统原型,该对象存储系统遵照对象存储的OSD T10标准,由客户端、目标端和IP网络构成,采用iSCSI作为通信协议。读写性能测试分析结果表明,该系统可以满足实际需求。

对象存储系统中属性管理方法研究与实现

在对象存储系统中,对象属性用于描述数据特征以及安全策略.系统性能的改善可以通过对象属性的合理管理来实现.目前,属性存放在固定大小的数据结构中,这与属性的可扩展性相违背.针对现有对象属性放置与管理方法的不足,提出了对象属性基于扩展Hash的管理方法,以及属性的放置策略、缓冲策略.通过分析仿真测试的结果,发现在处理大量属性操作时,对象文件系统性能退化很严重.但是,用扩展Hash方法进行属性管理时,系统性能不退化,比对象文件系统更具优势.

基于LDAP的对象存储系统元数据的组织与管理

本文介绍了面向对象系统中元数据服务器的设计及元数据的组织和管理。该系统中元数据服务器使用了轻量级目录访问协议(LDAP)作为存放元数据的平台,针对这个平台设计了相应的数据分配算法和数据转换模块,并对其性能进行了分析和优化。

对象存储系统中自适应的元数据负载均衡机制

面向对象的存储系统在研究、工程以及服务领域均得到了广泛的应用.在面向对象的存储系统中,元数据的负载均衡对于提高整个系统的I/O性能具有重要的作用.现有的元数据负载均衡策略不能动态地平衡元数据的访问负载,而且自适应性以及容错特性有待提高.提出了一种自适应的分布式元数据负载均衡机制(adaptabledistributed load balancing of metadata,简称ADMLB),包含基本的负载均衡算法和分布式的增量负载均衡算法.采用基本的负载均衡算法按照服务器的性能公平地分布负载,使用分布式的负载均衡算法定时地调整负载的分布.ADMLB采取分布式的方法均衡地在元数据服务器之间分布负载,根据负载的变化自适应地进行调整,具有很好的容错特性,而且用户可以高效地定位元数据服务器.

一种基于搜索引擎的对象存储系统的扩展技术

固定内容存储(fixed content storage,FCS)系统是一款基于内容的对象存储系统,提供存储对象的元数据搜索功能.FCS系统采用单服务器结构,需要一种方法实现多机联合为用户提供服务.基于都柏林元数据技术,采用搜索引擎技术对多个FCS系统内存储对象进行元数据收集,组建元数据服务器,对外提供统一访问接口,可实现FCS系统的扩展或多机联合,该技术为对象存储系统的扩展提供了一种有效的方法.

iSCSI对象存储系统的研究

对象存储系统是一种新的网络存储体系结构,它结合了SAN的高性能和NAS的跨平台的优点。以iSCSI协议构建的IPSAN作为对象存储系统的传输网络,可以开发出实用的iSCSI对象存储系统。实验证明,该系统有较高的存储性能。

基于对象存储系统中属性管理的研究与实现

针对现有属性管理方法上的缺陷和不足,提出了一种新的属性管理方法——哈希桶。哈希桶方法对对象的属性进行集中管理,不仅降低了管理存储成本,更有效地提高了系统的吞吐率。经过仿真测试表明,哈希桶对象属性管理方法性能远优于现有的属性管理方法。

对象存储系统中基于监控的动态负载均衡方法

负载均衡在存储系统领域一直是研究的热点,但在分布式的对象存储系统中的应用与实现方面仍存在缺陷.针对对象存储系统中负载均衡方法大都依靠经验或有限的动态配置指导自适应算法进行、在负载再平衡过程中无法控制迁移节奏,算法实现复杂,未充分考虑存储节点实时负载状况等不足,提出了一种基于监控的动态负载均衡方法.该方法将监控系统引入对象存储系统,完成对各存储节点负载状况的实时感知;根据节点负荷、异构性等因素进行综合估计来触发迁移算法,避免了依靠经验及预设值指导算法执行;利用监控系统灵活的自定义事件触发机制和故障自动化处理机制,设计负载迁移策略,动态完成节点间的负载再平衡,降低算法实现复杂难度;使用监控系统动作执行过程中的多步操作顺序流控制完成一次一迁移,有效掌控负载迁移节奏.将该方法应用到自主研发的对象存储系统CSCloud进行验证的结果表明,该方法能及时获取集群中各节点的负载信息,并实现及时、准确的动态负载平衡,为对象存储系统和其他分布式存储系统实现负载均衡提供了新思路.

对象存储系统的均衡调度算法

分析存储设备节点的负载特征,给出描述负载的扩展模型,以存储系统的实时负载为基础,提出一种对象的设备选择算法,使对象在存储节点间合理分布,有效调度存储节点的负载能力。仿真结果表明,在I/O请求依指数分布到达的条件下,启用负载分布算法能使系统负载均衡地分布在各存储节点间,有效降低负载不均衡现象。