分布式文件系统元数据服务的负载均衡框架

请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,这种两层的负载均衡架构灵活度更高,对负载的感知能力更强,并且避免了热点元数据重新分布、迁移引起的元数据命名空间结构被破坏的情况.经观察分析,元数据尺寸小、数量大,预取错误元数据带来的代价远远小于预取错误数据带来的代价.针对元数据的以上鲜明特点,提出一种元数据预取策略和基于预取机制的元数据缓存替换算法,加强了上述分布式缓存层的性能,这种两层的元数据负载均衡框架同时考虑了缓存一致性的问题.最后,在一个真实的分布式文件系统中验证了框架及方法的有效性.

基于共享存储池的元数据服务器机群的设计研究

在大型分布式对象存储系统中,元数据服务系统是一个潜在的访问瓶颈.本文提出一种通过分层式文件系统构建共享存储池的采用两次分布式哈希函数方式的元数据服务系统.其具有不需要人工干预的故障恢复性和易扩展特性,而且最大程度减少了MDS之间大量元数据的物理迁移.实验测试证明系统具有良好的I/O性能.

基于对象存储的新型元数据管理策略

在对已有对象存储元数据管理策略进行研究的基础上,提出一种基于对象存储的新型元数据管理策略。该策略将命名空间的目录子树分割为等粒度的中子树,将中子树的根目录名和文件名的组合作为哈希参数进行哈希运算,元数据服务器根据其所得哈希值确定存储路径。实验结果表明,该策略在处理元数据重命名操作和修改文件名时,可以避免大量元数据迁移及网络开销问题。

支持连续数据保护的云备份系统架构设计

为了解决目前云备份系统恢复目标时间点不连续以及恢复粒度太粗的问题,将连续数据保护技术应用到云备份系统中,提出了一种支持连续数据保护的云备份系统。本系统能够提供秒级的连续恢复时间点,且数据块级别的备份层次能够屏蔽异构平台,具有更广泛的应用前景。系统以私有云为架构基础,部署在防火墙内部,对数据安全有很高的保障。

存储虚拟化系统的元数据副本一致性管理模型

本文提出一种简洁实用的元数据副本一致性管理新模型MRCC ,该模型引入调度器对元数据服务器进行集中管理 ,不仅可以使系统达到更好的扩展性和可用性 ,而且可以灵活地实现对元数据副本的一致性控制 ,更好地发挥元数据副本容错和负载均衡的作用。

高可靠性元数据服务器研究

基于对象存储的核心是将存储空间管理从存储应用中分离,其中元数据服务器(MDS)负责逻辑视图管理和提供全局命名空间。该文针对MDS的引路导航性能,提出一种主从备三重链式结构,在不增加硬件成本的前提下,能提供无间断的MDS服务,确保了系统的高可靠性。

海量存储系统中高可扩展性元数据服务器集群设计

海量存储系统都采用元数据服务器机群的方式来处理文件系统的元数据信息。很多存储系统采用Hash算法来实现文件元数据在元数据机群内的分布,但是这些算法都是针对文件进行Hash。本文提出了一种目录哈希的新算法,针对目录进行Hash,并把一个目录内的元数据集中存储。本算法克服了文件Hash的不足,改善了存储系统的性能,并极大地提高了存储系统的可扩展性。

集群多媒体存储系统的两级元数据管理

随着网络上多媒体数据的爆炸性增长,对海量可扩展的存储系统的需求也快速增长.CMSS(Cluster Multimedia Storage System)项目采用分布式存储系统结构:一种自治的高性能的基于PC的存储集群系统.CMSS采用两级的元数据服务器结构,通过分离存储数据的逻辑视图与物理视图,全局逻辑视图由专用的全局元数据服务器来管理,局部逻辑视图和物理视图由各个存储服务器上的本地元数据服务器来管理.在详细介绍了CMSS系统两级元数据管理方案的同时,进行了相应的试验测试和性能分析.

双机高可用系统设计与性能分析

针对融合iSCSI,NAS,SAN的海量网络存储系统的特点,设计了一种双机高可用元数据服务器系统,该系统不仅减少了元数据服务器瓶颈,而且可充分保证存储网络系统元数据的高可用性。通过建立连续时间马尔可夫链性能分析模型,分析结果显示双机高可用系统的可用度远优于单机单路径系统。

一种集群多媒体存储系统的研究与设计

随着网络上多媒体数据的爆炸性增长和集群技术的快速发展,设计并实现了一个基于PC集群的高性能集群多媒体存储系统(clustermultimediastoragesystem,CMSS)·CMSS系统采用高自治、自维护的集群策略,提高了系统的并行性和可扩展性;采用逻辑元数据管理技术,即实现了单一名字空间,又避免了单点失效;采用服务器数据备份技术,即提高了系统的数据安全性,也解决了服务器之间的负载平衡·在详细介绍了CMSS系统设计方案的同时,进行了相应的实验测试和性能分析·

空间信息数字图书馆初论

空间信息数字图书馆是以空间信息作为研究对象 ,为读者提供数字化空间信息服务的图书馆 ,即图书馆将空间信息数字化 ,服务网络化 .本文旨在介绍这一新概念 ,并就其空间数据库建设和服务管理模型做了初步研究 .

水环境空间信息管理系统的设计和实现

在分析水环境信息特点的基础上 ,建立了基于Client/Server和GIS的水环境空间信息管理系统 ,重点介绍系统的体系结构、空间数据库及其功能。

用于质量管理系统的数据仓库

数据仓库就是面向主题的（ＳｕｂｊｅｃｔＯｒｉｅｎｔｅｄ）、集成的、稳定的、时间各异的数据集合，用以支持经营管理中的决策制定过程。基于数据仓库的质量管理系统的任务是采集、存储和处理企业的质量数据，并以此为基础进行质量分析、评价、控制和决策。在本文中，对质量管理系统的数据库／操作数据存储／数据仓库（ＤＢ／ＯＤＳ／ＤＷ）体系结构进行了描述，对数据仓库中的数据进行了粒度划分和分割，建立了数据仓库中的数据模型，并给出了作为数据仓库工作平台的客户机／服务器模式。

空间数据仓库元数据及其实现

通过对数据仓库的特征及其元数据机制的分析 ,探讨了分布式运行环境中空间元数据的实现 ,进而论述地理元数据信息提取、查询、更新及网上发布 ,并提出元数据软件的基本构架。最后介绍了空间元数据管理应用实例。

使用方正双策略构建农业高校特色数据库的研究

对德赛数据加工的"分类法"和Apabi数据资源平台的"元数据"两种策略进行了分析。针对二者各自的特点,探索使用底层的SQL Server开发工具对资源平台的元数据进行库结构的调整,改善了特色数据库的建设。

基于ArcGIS Server的遥感影像检索系统的设计与实现

该系统采用Browser/Server系统架构,使用ArcGIS Server作为网络地图发布平台,结合先进的ASP技术,开发遥感影像检索系统,实现影像资源的共享。系统集按地图浏览、按矩形框查询、按经纬度查询、按轨道号查询、按湖泊查询、按行政区查询以及其他空间分析等功能于一体,并提出了基于湖泊查询遥感影像的新方法,为公众、科研人员以及管理部门提供方便快捷准确的资源支持,文章的结尾总结了ArcGIS Server性能优化的几点措施,使系统的运行效率明显提高。

两级元服务器机群文件系统的负载平衡策略

提出了一种两级元数据服务器机群文件系统的负载平衡策略,高级元服务器依据与二级元服务器性能最密切相关的负载信息将任务快速分配,在存储文件时,提出了一种能正确反映各存储节点I/O流量和存储量的方法:计算文件热量值,并据此对待存文件进行了合理的分配存储。实验结果表明,该策略提高了系统的性能,缩短了任务执行时间,取得了较好的效果。

小规模集群文件系统中两级元数据服务器的设计与实现

在集群文件系统中,元数据服务器是整个系统正常运转的核心,它的可靠性和性能是设计系统时需要着重考虑的问题之一.本文设计了一个具有高可靠性、高性能的两级元数据服务器系统,兼顾了集中式元数据管理和分布式元数据管理的优点.系统中高级元数据服务器负责维护文件系统全局的目录结构和管理整个文件系统的命名空间,双元数据服务器负责维护文件元数据的分布信息,并采用了马尔可夫回报模型对两级元数据服务器系统进行了可靠性分析.实验数据表明,具有两级元数据服务器的集群文件系统能提供高吞吐量.

一种服务端驱动的无锁的文件元数据操作方法

当前的大规模存储系统提供大量的聚合I/O带宽,但并没有实现高度的元数据扩展性以管理分布于成千上万存储节点之上的文件。本文提出服务端驱动的无锁元数据操作来改进文件元数据操作的扩展性。服务端驱动技术简化了一致性维护,无锁技术既避免了资源冲突,又增进了元数据操作的并行性。实现了文件创建、删除操作。实验结果表明,该方法能显著提高系统的性能和扩展性。

Load-Balance Policy in Two Level-Cluster File System

In this paper, we explored a load-balancing algorithm in a cluster file system contains two levels of metadata-server, primary-level server quickly distributestasks to second-level servers depending on the closest load-balancing information. At the same time, we explored a method which accurately reflect I/O traffic and storage of storage-node： computing the heat-value of file, according to which we realized a more logical storage allocation. According to the experiment result, we conclude that this new algorithm shortens the executing time of tasks and improves the system performance compared with other load algorithm.