图书馆海量存储系统架构与接口的选择

分析了存储系统三种架构的不同特色 ,介绍了光纤通道的优点 ,指出了 SCSI通道的局限性 。

海量存储系统中的元数据分级索引算法

海量存储系统中,高效的元数据索引是减少查找元数据所需时间与空间开销的重要手段。针对现有元数据管理方法存在查找元数据所需时间与空间开销大和性能波动大等问题,设计了元数据分级索引算法。依据元数据的生命周期,将元数据分为活跃和非活跃两级;使用Bloom Fliter对均衡的活跃元数据分区生成摘要串,并使用B-树建立活跃元数据分区的索引;使用类似的方法对非活跃元数据分区,并为每个分区选择各自的哈希函数。从查找元数据所需时间与空间开销、适应能力两方面对元数据分级索引算法进行了分析,并与现有元数据管理算法进行了比较。最后实现了元数据分级索引算法的原型系统,使用真实数据集进行了测试与分析,结果表明,元数据分级索引算法能减少查找元数据所需的时间与空间开销,并具有很强的适应能力。

海量存储系统元数据服务器的设计及性能优化

设计适用于GRASS海量存储系统的元数据服务器,分析并优化3个影响元数据性能的因素:元数据组织方式,通信性能和搜索效率,利用Bloom Filter算法进行名字空间搜索,在此基础上实现目标系统的文件名查询优化。实验结果证明,目标系统的元数据处理性能得到明显提升,基本满足大规模高能物理计算的需求。

海量存储系统中高可扩展性元数据服务器集群设计

海量存储系统都采用元数据服务器机群的方式来处理文件系统的元数据信息。很多存储系统采用Hash算法来实现文件元数据在元数据机群内的分布,但是这些算法都是针对文件进行Hash。本文提出了一种目录哈希的新算法,针对目录进行Hash,并把一个目录内的元数据集中存储。本算法克服了文件Hash的不足,改善了存储系统的性能,并极大地提高了存储系统的可扩展性。

海量存储系统的数据分布策略研究

针对海量存储系统中数据分布存在可扩展性以及灵活性的问题,提出一种高效的数据分布算法。该算法采用一致性哈希的存储思想,利用"二分"的映射方式映射物理存储节点,摒弃了Chord算法中每台节点对路由表维护的做法,实现O(1)时间内直接路由。该算法还采用了"微分逼近"的思想,实现数据的均匀分布性。实验结果证明,TTD算法具备数据分布无关性的特点,且当物理节点逼近2N(N>0)时,数据分布就会越均匀。反之,可以通过虚拟节点的引入,确保数据的均匀分布。算法改进了海量存储系统中数据分布的均匀程度,有效优化了系统的整体性能。

海量存储系统的层次化体系结构

分析目前各种海量存储系统的体系结构研究重点,提出一种海量存储系统的5层体系结构,分别是存储物理层、存储连接层、存储网络层、存储表示层和存储应用层.通过各个层次之间相互提供/调用服务的方式,使用多种存储技术构建海量存储系统.在此基础上,设计并实现了一种基于智能网络磁盘及其文件系统的层次化海量存储系统,通过实验验证了层次化体系结构的海量存储系统的可行性和正确性.

秸秆资源海量存储系统的设计与实现

海量数据资源的存储和保护是目前信息存储技术中的重要问题.采用磁盘阵列进行数据存储并保护数据安全,同时利用双机热备技术保护系统的持续运行是目前海量数据存储和管理的最佳解决方案之一.依据建立秸秆资源基础数据库的需求,分析研究了不同磁盘阵列模式的固性及特点,提出新的磁盘阵列选择方法,设计实现了磁盘阵列及双机热备系统,最终建立了合理的秸秆资源基础数据库海量存储系统,实现了"数据永不丢失,系统永不停机"的要求.同时,大规模的数据与信息资源平台的建立既满足了相关研究人员的研究需求,也为广大农民群众提供了丰富的应用信息及知识.

海量存储系统在数字图书馆中的应用

综述了海量存储系统的功能、类型以及实现技术 ,并分析了海量存储系统在我国数字图书馆建设中的应用。

面向数字视频资源应用的海量存储系统建构研究

本文讨论了基于 MPEG格式视频流的数字压缩后数据量对传输与存储的影响和数字视频资源不断积累与需要构建海量存储系统来满足数字视频大容量存储的需求问题以及实现海量存储的 SAN存储区域网和磁盘阵列的基本特性。在此基础上 ,具体提出了 SAN存储区域网的技术方案案例和过渡性案例 。

HPC海量存储系统Pass-Through访问策略研究

为了解决海量信息处理中实时访问中的"I/O墙"的问题,提高海量信息分布式存储系统的性能,提出了一种基于高性能计算(high performance computing,HPC)的存储部件新型访问策略.首先,分析传统访问模型存在的问题;其次,研究存储部件直通路模式的工作机理,建立存储系统分解为多层次、分布式的模型,根据不同的层次和映射策略实现存储空间物理地址、缓存地址、存储系统逻辑空间地址的连续映射;第三,分析直通路访问模式下的存储路径时间开销;第四,在模拟环境下存储部件访问的性能测试,在实际采用该策略的应用系统中进行验证.通过验证测试结果表明,该方法能有效提高存储系统的性能,能够不断满足海量信息处理实时需要.

基于NAS的数字图书馆海量存储系统的开发与设计

数字图书馆产生的海量数据使存储空间日趋紧张,目前数字图书馆所采用的直连存储系统扩展性和可管理性差,存在I/O瓶颈。数字图书馆需要一种大容量、性能高、扩展性好、廉价、可兼容各种系统平台的存储系统。本文所设计的基于NAS的海量存储系统能够满足一般规模的数字图书馆对存储系统的诸多要求。

高性能计算的海量存储系统新型访问策略分析

为解决海量信息处理中实时访问的"I/O墙"问题,提高海量信息分布式存储系统的性能,提出了一种基于HPC的存储部件新型访问策略.首先分析了传统访问模型存在的问题;其次研究了存储部件直通路模式的工作机理,建立了存储系统的多层次、分布式模型,根据不同层次和映射策略实现存储空间物理地址、缓存地址、存储系统逻辑空间地址的连续映射;继而分析了直通路访问模式下的存储路径时间开销;最后在模拟环境下进行存储部件访问的性能测试,并在实际应用系统中对该策略进行验证.验证测试结果表明,该方法能够有效提高存储系统性能,满足海量信息处理的实时性需要.

海量存储系统能耗评测模型的研究

针对海量存储系统能耗建模的问题,在理论研究的基础上用数学语言描述系统能耗的各个组成部分,并进行整合以得出系统整体的能耗模型。通过模型估算值与实际测试值的对比,验证了该能耗模型的有效性和可用性,为海量存储系统能耗预估以及制定相关能耗模型提供了思路。

海量存储系统在数字档案馆中的应用

综述了海量存储系统的功能、类型以及实现技术,并 分析了海量存储系统在我国数字档案馆建设中的应用。

海量存储系统的可扩展性

不断增长的处理海量信息的需求对传统存储系统提出了挑战,尤其是在该文着重讨论的海量存储系统的可扩展性方面。该文从三个层次来考察存储系统,分析了传统存储系统在可扩展性上存在的缺陷,并给出了解决方案。此方案的关键在于使用了虚拟存储的概念和利用虚拟存储的可组合性来实现系统的扩展。

档案馆海量存储系统架构与接口技术

分析了存储系统三种架构的不同特色,介绍了光纤通道的优点,指出了SCS1通道的局限性,提出档案馆应建成SAN架构全光纤通道的海量存储系统。

海量存储系统评测体系的研究

随着信息化建设的逐步深入,对计算机系统的两大能力,即运算和存储能力的要求越来越高,尤其是存储能力。主要研究了基于SAN存储网络的海量存储系统的评测体系。评测体系主要从性能、能耗、功能、可用性、可靠性5个方面,典型应用、存储系统软件、信息组织核心系统、存储网络、存储设备、存储器件6个层次构建。从每个角度都提出了具体的指标,并对每个指标得分进行数学分析。最后依据不同存储系统要求,构建数学模型,对存储系统进行横向比较。

数字图书馆海量存储系统解决方案设计

数字化资源在种类和数量上的不断增加,使得海量存储系统成为图书馆日常工作不可缺少的配置,海量存储系统的结构决定了图书馆其他数字化服务应用,存储方案的选择和设计对于数字图书馆建设和发展非常关键。

海量存储系统I/O性能瓶颈分析

通过追踪I/O数据在信道中的传输过程,分析了当前海量存储系统可能存在的瓶颈。指出了在硬件性能一定的情况下,编码技术在磁盘阵列中的应用,以及对存储系统的容错性和存取速度的贡献。本文最后提出了一种存储综合测评系统,具体评估了P4080和IOP80331平台的读写带宽和系统性能。

海量存储系统设备和模式的选择

本文主要介绍了海量存储系统的存储设备和结构模式 ,着重对RAID、DAS、NAS和SAN的技术性能作了比较详细地分析比较 。