基于NAND Flash的海量存储器的设计

针对存储系统中对存储容量和存储带宽的要求不断提高,设计了一款高性能的超大容量数据存储器。该存储器采用NAND Flash作为存储介质,单板载有144片芯片,分为3组,每组48片,降低了单片的存储速度,实现了576 Gbyte的海量存储。设计采用FPGA进行多片NAND Flash芯片并行读写来提高读写带宽,使得大容量高带宽的存储器得以实现。针对NAND Flash存在坏块的缺点,提出了相应的管理方法,保证了数据的可靠性。

基于闪存的高速海量存储模块设计

鉴于嵌入式实时存储领域对存储带宽与容量的高要求,设计一种高速海量存储模块。模块由高密度NAND Flash存储阵列、大规模FPGA和高性能DSP构成,通过FPGA与DSP对数据存储过程的联合控制,实现海量数据的超高速存储。给出模块的存储管理设计与DSP软件设计。实际应用验证了该存储模块的实用性。

海量存储系统的性能管理与监测方法研究

海量存储系统是一个大规模分布式的集群存储系统,拥有着PB级的存储容量,存在着数以千计的并发访问。为实现对海量存储系统的监控和管理,采用以ganglia为基础并且辅以各种改进和优化的监控模型,以满足海量存储系统的要求。从性能、功能、可靠性以及资源优化等多方面入手,使模型不断完善,最终达到一个比较好的性能,为集群的监控和管理提供一个可靠的保障。

Linux Gadget系统及其在S3c2410上的海量存储研究

研究了Gadget子系统的体系结构,将Gadget子系统分为芯片驱动层和设备驱动层,分别论述了每层的功能及接口;以海量存储系统为例,分析了Gadget子系统与主机端进行数据交互的方式与过程,着重阐述了Gadget子系统移植的方法。在研究过程中,实现了芯片驱动层的S3C2410驱动程序,并将设备驱动层移植到S3C2410的嵌入式Linux系统中,最终在S3C2410的嵌入式平台上完整实现了海量存储系统的应用。该系统可将嵌入式设备的Flash的其中一个分区模拟为一个移动硬盘,使PC与嵌入式设备之间的数据交换更加容易。海量存储系统的实现可作为Gadget子系统中其他芯片驱动程序及设备驱动程序实现的参考,同时扩充了Gadget子系统芯片驱动层及设备驱动层的功能。

图书馆海量存储系统架构与接口的选择

分析了存储系统三种架构的不同特色 ,介绍了光纤通道的优点 ,指出了 SCSI通道的局限性 。

基于Web的海量存储柔性分布式文件服务器设计

分析了以往分布式文件服务器的不足 ,提出了一种以J2EE技术为核心的基于Web的支持海量文件存储的分布式文件服务器的设计方案。该分布式文件服务器由一个集中控制单元和多个本地文件服务器组成。集中控制单元对文件逻辑信息进行集中式管理 ;文件的物理信息则由位于Web不同节点上的本地文件服务器管理。

海量存储系统中的元数据分级索引算法

海量存储系统中,高效的元数据索引是减少查找元数据所需时间与空间开销的重要手段。针对现有元数据管理方法存在查找元数据所需时间与空间开销大和性能波动大等问题,设计了元数据分级索引算法。依据元数据的生命周期,将元数据分为活跃和非活跃两级;使用Bloom Fliter对均衡的活跃元数据分区生成摘要串,并使用B-树建立活跃元数据分区的索引;使用类似的方法对非活跃元数据分区,并为每个分区选择各自的哈希函数。从查找元数据所需时间与空间开销、适应能力两方面对元数据分级索引算法进行了分析,并与现有元数据管理算法进行了比较。最后实现了元数据分级索引算法的原型系统,使用真实数据集进行了测试与分析,结果表明,元数据分级索引算法能减少查找元数据所需的时间与空间开销,并具有很强的适应能力。

海量存储系统元数据服务器的设计及性能优化

设计适用于GRASS海量存储系统的元数据服务器,分析并优化3个影响元数据性能的因素:元数据组织方式,通信性能和搜索效率,利用Bloom Filter算法进行名字空间搜索,在此基础上实现目标系统的文件名查询优化。实验结果证明,目标系统的元数据处理性能得到明显提升,基本满足大规模高能物理计算的需求。

海量存储系统中高可扩展性元数据服务器集群设计

海量存储系统都采用元数据服务器机群的方式来处理文件系统的元数据信息。很多存储系统采用Hash算法来实现文件元数据在元数据机群内的分布,但是这些算法都是针对文件进行Hash。本文提出了一种目录哈希的新算法,针对目录进行Hash,并把一个目录内的元数据集中存储。本算法克服了文件Hash的不足,改善了存储系统的性能,并极大地提高了存储系统的可扩展性。

海量存储系统的数据分布策略研究

针对海量存储系统中数据分布存在可扩展性以及灵活性的问题,提出一种高效的数据分布算法。该算法采用一致性哈希的存储思想,利用"二分"的映射方式映射物理存储节点,摒弃了Chord算法中每台节点对路由表维护的做法,实现O(1)时间内直接路由。该算法还采用了"微分逼近"的思想,实现数据的均匀分布性。实验结果证明,TTD算法具备数据分布无关性的特点,且当物理节点逼近2N(N>0)时,数据分布就会越均匀。反之,可以通过虚拟节点的引入,确保数据的均匀分布。算法改进了海量存储系统中数据分布的均匀程度,有效优化了系统的整体性能。

一种基于网络磁盘阵列的高性能海量存储系统

网络磁盘阵列将传统的以服务器为中心的存储转发改变为以数据为中心的直接传输,从而消除了传统模式下的服务器I/O瓶颈.本文基于网络磁盘阵列构建出一种高性能的海量存储系统,其文件集中管理和数据分布存储的体系结构不仅加快了数据传输速度、降低了存储管理开销,同时也实现了命令与数据分流、扩容与增速同步的目标,从而大大提高的整个存储系统的性能.

光海量存储的现状及发展趋势

给出了光存储与其它主流存储技术的区别及其技术特点 ,分析了构成光海量存储系统的途径 ,并简要分析了它们的主要工作原理及技术特点。在此基础上 ,扼要分析了现有提高存储器存储密度的思路及关键技术 ,给出当前国际先进水平的技术指标。介绍了国际光存储市场的现状及其市场预测。

基于U盘的单片机低功耗海量存储系统

本文介绍了一个以嵌入式USB主机接口芯片SL811HS为核心,采用U盘为存储介质的单片机低功耗海量存储系统。该系统实现了仪器的便携化,从而,为便携仪器或嵌入式系统的外挂式海量存储的发展开拓了新思路。

星载高速海量存储系统的并行RS纠错方法

针对在使用新型商用存储器构建航天器海量存储系统的过程中,高速、海量数据传输与SEU导致的数据错误之间的矛盾,提出了1种新的存储数据校验方法——并行RS纠错来解决这个矛盾。该方法采用并行RS编解码电路取代传统的基于移位寄存器的串行电路,可在1个时钟周期内完成编、解码运算,纠正SEU引起的单字节错误。在75MHz的时钟频率下达到4.8Gbps的传输速度,满足高速海量存储系统的要求。

海量存储测试平台监控系统的设计与实现

在分布式海量存储测试中,有些测试节点可能会出现资源耗尽甚至死机的情况,从而严重影响了测试结果的准确性和可信性.同时为了满足不同规模的测试任务,测试平台需要支持测试节点的动态增加,但是系统的可用性、可管理性不降低.最后由于测试平台涉及大量的数据库操作,因此必须对MySQL数据库的性能有一个准确的评估.要解决上述问题,必须设计并实现一个分布式监控管理系统.实时监控测试节点、测试任务以及MySQL的性能,并且提供报警机制.从而对合理调整测试任务、分配系统资源、提高系统整体性能起到关键作用.

USB海量存储类设备功能在ARM系统中的应用

数据的存储和传输在嵌入式系统中有着非常重要的地位,特别是数据采集系统中。论述了基于USB的海量存储设备功能在ARM嵌入式系统中的应用。介绍了USB接口芯片PDIUSBD12,Nand型FLASH芯片K9F2808U0C和ARM处理器S3C44B0X在该设计中的具体功能,详细分析了该系统的硬件设计和软件实现,并给出了实验测试结果。

海量存储系统中磁带文件缓存管理

针对磁带库的数据访问特点,根据高能物理领域的实际需求,提出了分组协同缓存策略。这一策略以缓存模型为基础,结合本地缓存与协同缓存的优点,把缓冲区分成不同的组,不同组的缓冲区之间相互独立;同一组的缓冲区由网络上不同节点上的磁盘组成,这些磁盘之间相互协作。还对该缓存策略的目录管理、更新算法、一致性等问题进行了详细分析。实验说明,该策略能很好的满足高能物理领域的数据处理和海量存储需求。

海量存储系统的层次化体系结构

分析目前各种海量存储系统的体系结构研究重点,提出一种海量存储系统的5层体系结构,分别是存储物理层、存储连接层、存储网络层、存储表示层和存储应用层.通过各个层次之间相互提供/调用服务的方式,使用多种存储技术构建海量存储系统.在此基础上,设计并实现了一种基于智能网络磁盘及其文件系统的层次化海量存储系统,通过实验验证了层次化体系结构的海量存储系统的可行性和正确性.

秸秆资源海量存储系统的设计与实现

海量数据资源的存储和保护是目前信息存储技术中的重要问题.采用磁盘阵列进行数据存储并保护数据安全,同时利用双机热备技术保护系统的持续运行是目前海量数据存储和管理的最佳解决方案之一.依据建立秸秆资源基础数据库的需求,分析研究了不同磁盘阵列模式的固性及特点,提出新的磁盘阵列选择方法,设计实现了磁盘阵列及双机热备系统,最终建立了合理的秸秆资源基础数据库海量存储系统,实现了"数据永不丢失,系统永不停机"的要求.同时,大规模的数据与信息资源平台的建立既满足了相关研究人员的研究需求,也为广大农民群众提供了丰富的应用信息及知识.

海量存储系统中基于BUFFER的虚拟存储池的构造

网络磁盘阵列通过实行命令与数据的分离极大地提高了系统的吞吐能力和服务器的平均响应速度 .本文基于原有的网络磁盘阵列的研究成果 ,采用虚拟技术 ,在服务器端构造了一个虚拟存储池 ,使得构成虚拟存储池的多台异构接口的物理存储设备 (这里为网络磁盘阵列 )可以通过其网络通道并行传输数据 ,实现扩容和增速同步 ,文件集中管理与数据分布存储 。