海量存储系统中高可扩展性元数据服务器集群设计

海量存储系统都采用元数据服务器机群的方式来处理文件系统的元数据信息。很多存储系统采用Hash算法来实现文件元数据在元数据机群内的分布,但是这些算法都是针对文件进行Hash。本文提出了一种目录哈希的新算法,针对目录进行Hash,并把一个目录内的元数据集中存储。本算法克服了文件Hash的不足,改善了存储系统的性能,并极大地提高了存储系统的可扩展性。

海量存储系统的可扩展性

不断增长的处理海量信息的需求对传统存储系统提出了挑战,尤其是在该文着重讨论的海量存储系统的可扩展性方面。该文从三个层次来考察存储系统,分析了传统存储系统在可扩展性上存在的缺陷,并给出了解决方案。此方案的关键在于使用了虚拟存储的概念和利用虚拟存储的可组合性来实现系统的扩展。

一种共享对象存储的并行文件系统设计

高可用和动态可扩展特性是并行文件系统设计实现中的难点。利用对象存储在I/O性能、可用性和可扩展性方面的优势,提出一种共享对象存储的并行文件系统设计,在保证高性能I/O的基础上,侧重提高系统的可用性和动态可扩展性。

对象存储系统中属性管理方法研究与实现

在对象存储系统中,对象属性用于描述数据特征以及安全策略.系统性能的改善可以通过对象属性的合理管理来实现.目前,属性存放在固定大小的数据结构中,这与属性的可扩展性相违背.针对现有对象属性放置与管理方法的不足,提出了对象属性基于扩展Hash的管理方法,以及属性的放置策略、缓冲策略.通过分析仿真测试的结果,发现在处理大量属性操作时,对象文件系统性能退化很严重.但是,用扩展Hash方法进行属性管理时,系统性能不退化,比对象文件系统更具优势.

对象存储系统的均衡调度算法

分析存储设备节点的负载特征,给出描述负载的扩展模型,以存储系统的实时负载为基础,提出一种对象的设备选择算法,使对象在存储节点间合理分布,有效调度存储节点的负载能力。仿真结果表明,在I/O请求依指数分布到达的条件下,启用负载分布算法能使系统负载均衡地分布在各存储节点间,有效降低负载不均衡现象。

大数据和归档需对象存储系统

对象存储系统最初凭借其适合云的特点而获得关注。现在，对象存储正在寻找除了云以外的应用案列，这使得对象存储更加广泛地为人们所接受。大数据是对象存储广受关注的一个应用案例，尤其在垂直行业中，如石油、气油、媒体和娱乐等。Evaluator Group的合作伙伴Randy Kerns表示，在这些市场中，因为有着“难以置信的大量数据”，因而可扩展性是非常重要的。

对象存储设备端数据管理策略研究

在对象存储系统中,数据由智能化的对象存储设备管理.当前,对象存储设备端主要提供对象接口,传统的设计主要由通用文件I/O来封装.但是,通用文件系统在管理平坦命名空间时,尤其在长期使用后性能退化严重.因此,提出基于扩展Hash的对象文件系统XOBFS(extensible hashing objectbased storage file system),将磁盘空间划分成多个区域单元,区域中定长块分配策略与位图管理空闲块方式结合;对象属性用扩展Hash管理,在Hash桶中采用相同对象属性相邻存放策略.XOBFS应用在对象存储设备端,具有元数据规模小、长期使用性能不退化、对属性进行有效管理等特点.测试结果表明,基于大对象的XOBFS的吞吐率优于传统文件系统.

通用存储网络系统的能耗研究

针对存储网络系统的能耗问题,提出一种与系统扩展和负载相关的能耗模型。采用对系统各个组成模块的能耗进行分析的方法,研究存储网络系统的能耗结构,测试该系统各个模块的基础能耗以及各个模块与负载相关的能耗。实验结果表明,该模型能够反映真实系统的能耗状况。

面向大数据分析的分布式文件系统关键技术

大数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段．信息规模的扩大和数据结构的多样化，使海量数据存储成为大数据分析研究的热点．传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满足新形势下的需求．设计并实现了一个面向大数据分析、专为大规模集群应用的分布式文件系统Clover．该系统采用基于目录划分和一致性Hash映射的名字空间管理方法，解决了元数据扩展性问题；通过改进的两阶段提交协议，保证了多元数据服务器下分布式元数据操作的一致性；提出了基于共享存储池的高可用机制，通过热备和全局状态恢复机制提高了元数据的可靠性．评测结果表明，Clover的元数据处理能力随服务器的数量线性增长，增加单个服务器的元数据操作性能平均提升了5．13％～159．32％．由于名字空间管理和分布式事务的开销，多元数据服务器会导致复杂操作的性能下降，但是这种下降的幅度很小（小于10％）．与HDFS相比，Clover的文件读写带宽与之接近，并能够保证在元数据服务器失效后文件系统快速恢复，适合于构建高可扩展和高可用的存储系统．

MIONS─6000医学图文光盘网络系统的开发与应用

本研究在ＰＣ机中文视窗环境下，采用面向对象的程序设计技术，用Ｃ￣（＋＋）和ＦＯＸＰＲＯ及多媒体应用生成工具混合编程。开发了ＭＩＯＮＳ－６０００医学图文光盘网络系统。该系统可对ＣＴ．ＭＲＩ．Ｘ光影像实行实时海量存储。查询医学文件资料２秒内完成，网络建立方便临床医生随时调用。该系统可制做图文声像并茂的多媒体光盘图书教材，实现计算机多媒体辅助教学，强化视听效果，大大提高教与学的效率。该系统对所存有价值病例统计方便，论文实现图文混编。

如何解决广播电视监测中心存储问题

广播电视监测工作是广播电视事业建设基础性的工作,是衡量广播电视事业发展水平的重要标志,是提高广播电视工作效率、工作质量、工作水平不可缺少的手段和途径。目前电视监测中心的监测系统主要采用了电视录制服务器内置硬盘,或服务器直连FC中低端存储阵列的方式来存储电视电台节目,实现对节目内容的监督与监测。但是随着电视电台节目的不断丰富,数字化视频音频源的急速增长,原有的存储方式技术手段已逐渐不能满足现在监测系统的要求,在此,仅以我台为例,阐述一下我台监测中心是如何解决存储问题的。

网络化光盘库在海量存储系统中的应用研究

1.引言在存储容量需求不断增长的同时,由于越来越多的关键信息转变为数据,数据对个人和企业的价值也就越来越高,人们对存储系统的存取性能、7×24小时数据可用性、存储低成本、系统可扩展性、高可靠性和安全性等方面提出了迫切的存储需求。针对这些存储需求,设计具有高数据传输率、可靠数据存储和备份、智能数据组织和管理等特点的海量数据存储系统逐渐成为存储系统设计的热点问题。

高可靠性元数据服务器研究

基于对象存储的核心是将存储空间管理从存储应用中分离,其中元数据服务器(MDS)负责逻辑视图管理和提供全局命名空间。该文针对MDS的引路导航性能,提出一种主从备三重链式结构,在不增加硬件成本的前提下,能提供无间断的MDS服务,确保了系统的高可靠性。

基于柔性放置的负载均衡策略研究

在基于可扩展对象的海量存储系统(Based on Scalable Object Mass Storage System,BSO-MSS)中,负载均衡一直是研究的重点,如何选择存储对象(Storage Object,SO)及数目是关键。因此提出柔性负载均衡策略,它不仅考虑网络对BSO-MSS的影响,而且更关注SO本身,针对SO中不同的存储能力,自适应选择SO数目,采用不同大小的分条进行存储。当SO数目未达到最佳值时,增加SO数目,会减少系统响应时间,提高整个系统的吞吐量。

HDS面向SAP HANA的横向扩展平台

11月26日，HDS公司宣布，Hitachi Unified Compute Platform（UCP）Select for SAP HANA的全新横向扩展能力已通过SAP认证。该平台为需要对分布式环境中的海量数据进行更快分析的企业提供了更高的性能、可扩展性及数据持久性。全新的横向扩展架构将Hitachi刀片服务器与企业级数据存储系统相结合，目前最多支持16个节点，未来还会扩展至更多节点。

浪潮成为OpenStack成员 推动开放云生态系统构建

继刚刚宣布与阿里云达成战略合作之后,浪潮于7月28日正式宣布加入国际云计算权威组织——OpenStack基金会,成为全球最有活力的开源云平台管理项目的重要成员。浪潮作为中国领先的云计算整体解决方案供应商,此次加入OpenStack后,将会更有效的帮助中国企业和云服务商构建起先进的云计算基础架构,推动云计算在中国的应用落地。