基于大数据的分布式文件存储系统架构设计

针对目前数据量庞大对文件存储的需求激增,本文研究基于大数据的分布式文件存储系统(Hadoop distributed file system,HDFS)架构设计。通过分析HDFS架构的基本原理,讨论数据分布策略、数据备份与恢复机制以及一致性与性能优化的方法,提出针对名称节点和数据节点的改进措施,包括在名称节点中引入高速闪存驱动器以管理元数据,并在数据节点中实施元数据缓存机制。研究结果表明:分布式文件存储系统可以优化元数据管理,减少网络成本,并提高系统性能,对改善大数据存储系统的性能具有重要作用。

一种P2P环境下分布式文件存储系统的缓存策略

在分布式文件存储系统中,缓存技术被广泛用于提高系统性能。论文针对P2P环境下分布式文件存储系统的特点,提出了一种兼顾用户访问效率和复本一致性的灵活的缓存策略,不同于目前已经存在的P2P存储系统,论文使用“阀值”来将文件区分为热点文件和非热点文件,并且只针对热点文件来做缓存,根据缓存空间的使用效率和不同的文件类型来设置不同的阀值使得缓存策略灵活而有效,论文对该策略进行了理论上的分析,然后通过Trace-Driven模拟的方法验证了该策略的可行性。

基于Erasure Code的分布式文件存储系统

在局域网环境下,实现一种基于Erasure Code的分布式文件存储系统。该系统由元数据服务器和多个文件存储节点组成,通过对元数据与文件数据分离存储以提高文件访问效率,将Erasure Code有效冗余存储技术应用于文件编解码以增强可靠性,采用MD5消息摘要技术保证文件完整性。对30 MB^600 MB大小的文件测试结果表明,该系统具有更高的可靠性、安全性以及资源利用率。

分布式文件存储系统性能测试问题研究

分布式文件存储系统的性能测试不同于普通的文件系统性能测试。首先,需要根据系统支持的操作确定测试的benchmark,然后,需要根据系统的设计规模对多用户并发访问系统的情形进行模拟。在“燕星”分布式文件存储系统的性能测试中,对Andrewbenchmark进行改造,确定了测试的benchmark;基于RMIcallback机制,模拟了500个用户并发访问系统的情形。并将测试结果与NFS进行了对比,结果表明,“燕星”系统具有良好的实用性能。

基于海量数据优化管理的分布式文件存储系统应用研究

大数据时代数据成为了企业非常有价值的资源,对实时产生的海量大数据进行价值最大化挖掘成为了企业当前非常重要的一项工作和追求目标。而针对如此海量的数据,首先要解决的一个问题就是采取何种方式进行存储。基于此,文章结合当前大数据时代企业经营数据信息的实际,就如何管理好这些海量大数据进行了分布式文件存储系统的应用研究,以期通过充分发挥分布式文件存储系统的优势实现对海量数据资源处理的水平和能力,让企业数据资源发挥了最有效的价值。

基于随机线性网络编码的分布式文件存储系统分析

本文结合线性有限域运算和图论等相关理论阐述了线性网络编码的基本原理,优势与劣势.同时介绍了线性网络编码技术应用于分布式文件系统中在数据分布存储,数据编码,解码等数据处理方面的关键技术.最后依据理论分析评价了该型文件系统的优越性能,并指出未来该型文件系统的应用前景。

一种基于随机线性网络编码的分布式文件存储系统研究

本文结合线性有限域运算和图论等相关理论阐述了线性网络编码的基本原理,优势与劣势。同时介绍了线性网络编码技术应用于分布式文件系统中在数据分布存储,数据编码,解码等数据处理方面的关键技术.最后依据理论分析评价了该型文件系统的性能特点,并指出未来该型文件系统的应用前景。

分布式文件存储系统在高速公路视频监控中的设计探讨

针对目前高速公路视频监控业务中随着音视频实时数据量不断增加，回放视频的清晰度需求不断提高，监控点位布设的不断扩张而导致集中式的视频存储在存储数据量、存储带宽、存储安全稳定性方面的问题给出了一种分布式文件存储系统的设计方法，力图有助于问题的改进，减轻集中存储服务器的压力，提高存储与检索、回放的效率。

基于云平台的企业远程办公文件分布式存储方法

为提高数据的读写性能,设计基于云平台的企业远程办公文件分布式存储方法。总体架构由计算层、数据接入层、存储层、数据聚集层构成。存储层由Hadoop集群构成,各集群由NameNode管理;计算层与数据接入层可以实现数据的持久化存储;数据聚集层采用一致性多副本哈希存储算法作为数据聚集算法。通过搭建虚拟化云平台统一管理多个服务器,创建主机虚拟集群。设计文件加解密过滤器进行数据加解密。设计随机化数据冗余算法进行数据冗余。测试结果表明设计方法的集群负载情况良好,读、写带宽最高达到3798 bps和3912 bps,读、写速率最高达到3298字节/s和3258字节/s。

基于Hadoop平台的分布式文件云存储系统设计

数据量的激增促进了分布式文件系统的迅速发展,Hadoop作为一个开源框架,以其高效的数据存储与处理能力在分布式系统中占据重要地位。通过Hadoop Distributed File System(HDFS)实现大规模数据集的分布式存储,YARN为资源管理提供了弹性调度,使得Hadoop成为处理大数据问题的理想平台。本文探讨了基于Hadoop平台的分布式文件云存储系统设计,旨在提供一种高效可靠的分布式文件云存储解决方案,以支持大数据时代下的数据存储与处理需求。

一种不依赖访问热度信息的分布式文件放置算法

文件放置问题一直是分布式存储领域的研究热点。分布式文件存储系统HDFS随机选择节点完成文件放置,存在访问负载分布不均衡的缺点。研究人员提出大量基于文件访问热度信息的放置算法;但是,文件的访问热度信息是动态变化的,难以准确预测。提出一种不依赖访问热度信息的分布式文件放置算法;该算法仅使用文件的创建时间信息,利用文件已创建时间与访问热度之间的相关性,首先将时间进行区间划分,然后统计出各节点在不同时间区间内所创建文件的数据量,放置过程中保持同一时间区间的数据量在不同节点间大致相同。实验结果表明,该算法不仅可以使各节点的存储负载达到均衡,还能够提升访问负载的均衡,消除因文件访问热度不均而导致的性能瓶颈。

一种细粒度均衡的新型分布式文件放置算法

为保证访问负载的均衡分布,分布式存储系统往往依赖访问热度信息进行文件放置。然而,访问热度信息在文件存入系统时刻并不可知,并且随时间不断变化,依赖访问热度信息的放置算法需要不断调整文件的存储位置,产生高昂的迁移成本。本文提出一种细粒度均衡的新型分布式文件放置算法。该算法利用文件访问热度同已创建时间之间的相关性,通过保证各节点所存储数据量在创建时间维度上的细粒度相似性,实现较好的访问负载均衡。该算法仅基于文件的创建时间属性,该属性在文件存入系统时刻属于已知信息并且不随时间变化。实验结果表明,相较于HDFS系统的随机放置算法,本文算法能够更好地实现访问负载的均衡分布,提高访问性能。

基于IC芯片设计企业的分布式存储应用

本文通过对分布式存储的深入研究并结合IC芯片设计企业的研发应用需求,分析总结了如何在IC芯片设计企业优化应用分布式存储。随着信息技术的迅猛发展,存储系统已成为IC研发企业保存重要数据的关键一环,决定了研发重要资产的可用性。选择存储系统需要参考的几个重要的指标:可靠性、容错性及可扩展性。本文分析了集成电路(IC)芯片设计企业对存储系统的需求,基于Ceph和Ganesha设计了适合IC芯片研发企业使用的分布式存储系统。后端存储基于分布式架构,利用双活负载集群导出为NFS为高性能运算集群提供存储空间。实现IC芯片设计企业对海量存储、小文件高IO需求的主要功能,为IC芯片设计企业提供高性能、高可靠性的分布式存储系统。

MongoDB数据库下文件型数据存储研究

针对云计算和WEB2.0环境下不断增容的文件型数据,采用关系数据库和IIS文件系统存储二进制文档效果不理想,关系数据模型制约了存储服务对海量文件信息快速访问和存取的能力。建立非关系型文档数据库MongoDB数据存储和实验平台,将海量互联网文件数据以<key,value>方式存储结点中实现数据存储。实验表明,该存储系统在文件存储应用中具有较高的可靠性和吞吐性能,易于扩展和开发,为移动云计算中非结构化数据存储提供了一种思路。

基于电动汽车云平台的大数据存储与管理

电动汽车云平台中的数据结构多样且并发量大,这些大体量数据的存储与管理面临着极大的挑战。文章介绍了现有数据的存储情况,通过分析大数据存储的特点,探讨一种可实现New SQL、NoSQL与分布式文件存储的数据存储与管理方案。

云计算数据中心HDFS差异性存储节能优化算法

摘要在云计算的基础设施———数据中心内,Hadoop分布式文件存储系统(Hadoop Distributed File System,HDFS)以高容错性、高可靠性、高可扩展性的优势被广泛使用.但HDFS中遵循机架感知的存储策略没有考虑数据间的差异性和使用频度,所有数据以相同副本数复制后分散存储在不同的DataNode节点中,这势必会开启过多的DataNode而导致数据中心能耗过高.针对这一问题,突破现有HDFS对数据块的恒定副本个数存储的限制,提出保证数据块可用性的可变副本存储策略.建立了分布式文件存储超图模型,数学表述了数据块、文件和DataNode间的多对多关系.基于模型提出一种■横贯超边计算方法实现数据中心HDFS可变■重极小覆盖集选择,从而确定保证数据可用性的最小数量DataNode开启集合,实现数据中心存储单元节能.在原问题的可行域中会存在多个最优解的情况,即在满足数据块■覆盖的条件下,存在开启DataNode数目最少且相等的多种方案,因此该问题是一个多态函数优化问题,该文提出采用贪心萤火虫算法加以求解.算法性能测试实验通过Hadoop环境下的WordCount、TeraSort和Grep三种典型计算实例运算实验,进行了数据可用性实验,HDFS集群存储负载均衡实验,集群能耗分析以及数据中心网络性能试验.实验结果表明,可变■数据副本最小覆盖集算法在保证数据块和文件可用的条件下,可以实现更少的DataNode开启,有效节省HDFS集群能耗,并且通过开启DataNode的合理配置,缓解了网络传输拥塞.

三种海量医学图像存储技术对比分析

当前海量的医疗数据已影响到医疗机构信息化建设,单纯依靠传统本地存储已经不能解决海量数据带来的调阅速度慢、可视化差及经济性低等诸多问题。再者,国内外发展各类医疗云服务,实现病人数据医疗机构间云共享,需要医疗数据的存取速度有更快的要求。医学图像占医疗数据比重非常大,通过对三种主流存储技术的医学图像传输速度测试,在高可用性和成本多角度进行了分析,为未来的医学图像大数据在存取过程中可选的存取系统提出一种更优解。实验结果表明,在海量医学图像存取过程中,对象存储系统的存取速度和性能优于现有的本地文件存储,但综合考虑,推荐使用以HDFS为代表的分布式文件存储系统来作为存储和读取医学图像首选的存储系统。

大数据量内容文件管理系统的研究与应用

随着数据技术水平的不断提升,信息在企业运营和发展中起到的核心作用越来越显著,也越来越受到企业的重视。各种格式的内容承载了该企业和机构历年来积累的知识和过程资本。一般情况下,我们认为信息就是企业内容,其中包括产品技术指标、营销文档、客户信息、影像资料等。它代表了企业的经营行为的总结和沉淀,如果没有一套全面的系统对内容开展安全和高效管理,就无法实现信息投资的回报。

煤矿信息物理系统场景感知自配置与优化策略研究

针对煤矿信息物理系统(CPS)场景感知信息多源、异构、量多等问题,导致煤矿物联网建设困难的现状,提出了一种基于云服务、边缘计算和WSN等技术的煤矿信息物理系统场景感知自配置系统。利用边缘计算的规则计算、函数计算、消息路由和断网续传等功能实现煤矿场景信息本地处理,结合云服务的资源管理和调度等优势来优化煤矿场景感知信息管理,提升煤矿场景感知的实时性和系统性,实现对自配置系统的优化,并利用WSN技术与煤矿有线感知技术相结合的方式,扩大煤矿场景感知的覆盖面,保障信息传输的可靠性,同时利用分布式文件存储系统和区块链的信息保护特性,保障煤矿生产信息存储安全。煤矿信息物理系统场景感知自配置的实现对提高煤矿生产的智能化水平和安全性具有重要的作用。

面向不动产登记的异构信息资源整合策略

为满足不动产统一登记信息化建设的需求,解决目前我国不动产登记中"多头登记"的问题,在分析不动产登记业务架构的基础上,提出了面向不动产登记的异构信息资源整合策略.该策略结合了基于语义的异构数据集成技术,统一接口的地图服务整合技术,以及关系型数据库与文件索引的分布式文件存储技术,将分布在各个应用系统中的业务数据、地图数据以及文件资料等信息资源进行集成管理.该策略已应用于国土资源部门不动产统一登记平台的建设中,系统功能稳定,运行良好,证明了该方法的可行性与有效性,也为不动产信息资源的整合与共享,进而达到不动产信息服务社会化的目标提供了新的思路.