基于云平台的企业远程办公文件分布式存储方法

为提高数据的读写性能,设计基于云平台的企业远程办公文件分布式存储方法。总体架构由计算层、数据接入层、存储层、数据聚集层构成。存储层由Hadoop集群构成,各集群由NameNode管理;计算层与数据接入层可以实现数据的持久化存储;数据聚集层采用一致性多副本哈希存储算法作为数据聚集算法。通过搭建虚拟化云平台统一管理多个服务器,创建主机虚拟集群。设计文件加解密过滤器进行数据加解密。设计随机化数据冗余算法进行数据冗余。测试结果表明设计方法的集群负载情况良好,读、写带宽最高达到3798 bps和3912 bps,读、写速率最高达到3298字节/s和3258字节/s。

基于Hadoop平台的分布式文件云存储系统设计

数据量的激增促进了分布式文件系统的迅速发展,Hadoop作为一个开源框架,以其高效的数据存储与处理能力在分布式系统中占据重要地位。通过Hadoop Distributed File System(HDFS)实现大规模数据集的分布式存储,YARN为资源管理提供了弹性调度,使得Hadoop成为处理大数据问题的理想平台。本文探讨了基于Hadoop平台的分布式文件云存储系统设计,旨在提供一种高效可靠的分布式文件云存储解决方案,以支持大数据时代下的数据存储与处理需求。

云存储及其分布式文件系统研究

云存储专注于解决云计算系统中海量数据文件的存储问题;文件系统用来管理大量的文件信息,并负责对文件的存储空间进行组织分配;分布式文件系统不仅要管理本地计算机的数据文件,同时还要管理整个存储系统中的数据文件。文章首先对云计算技术进行介绍,然后引出云存储的概念,并通过对云存储的技术原理、性能优势等进行分析,指出分布式文件系统对于云存储技术的重要性;最后对现有的云存储分布式文件系统进行详细论述。全文工作将指导我们进一步深入研究云存储技术。

基于海量数据优化管理的分布式文件存储系统应用研究

大数据时代数据成为了企业非常有价值的资源,对实时产生的海量大数据进行价值最大化挖掘成为了企业当前非常重要的一项工作和追求目标。而针对如此海量的数据,首先要解决的一个问题就是采取何种方式进行存储。基于此,文章结合当前大数据时代企业经营数据信息的实际,就如何管理好这些海量大数据进行了分布式文件存储系统的应用研究,以期通过充分发挥分布式文件存储系统的优势实现对海量数据资源处理的水平和能力,让企业数据资源发挥了最有效的价值。

基于对象和分布式云存储服务的医联影像云资源管理系统的研究

针对医联影像数据急剧式增长,传统的磁盘阵列式块存储已经无法满足日益增长的存储需求的问题,从阐述国内外医疗机构医学影像数据存储的现状入手,在分析对象云存储和分布式云存储技术的基础上,提出一种基于对象和分布式云存储的影像云资源管理系统。分别对系统架构、组网设计和系统实现加以论述,重点介绍了对象和分布式云存储技术。采用基于对象和分布式云存储技术的影像云资源管理系统,有效地提高了数据存储的安全性和影像调阅效率,降低了运维成本,也为各级医院的影像数据存储和管理工作提供了一种新的借鉴方式。

基于云计算的分布式存储系统文件传输优化

针对传统方法在传输文件时传输效率过低的问题,文中提出了云计算平台下分布式存储系统文件传输自动优化方法。通过将大小不同的文件放入相应的传输通道中,实现了文件传输最优路径自动选择。利用对服务器缓冲区大小分做出具体的分析计算,进行最优匹配,提高传输速率。通过仿真实验结果表明,文中方法较传统方法相比,有着较高的传输速率和性能,实现了文件的自动分类和传输的自动优化。

面向分布式存储的安全云存储系统研究

云环境下的分布式存储主要研究数据在数据中心上的组织和管理,数据中心通常由百万级以上节点组成,云存储系统所存储的数据规模往往达到PB级甚至EB级,一些数据安全的隐患也由此产生。本文首先介绍了云存储系统的安全需求;然后阐述了安全云存储系统的研究现状;并采用一些关键技术设计了一种安全云存储系统。其中包括密钥分发与管理、用户与存储节点身份认证机制、安全分布式文件系统的基本操作等。最后指出了下一步研究的方向。

面向云存储的分布式文件系统关键技术研究

本文主要介绍了云存储技术的应用现状,在分析云存储系统与分布式文件系统前提下,给出以云存储技术为核心的文件系统关键技术。

基于分布式构建HLS协议流媒体文件三层文件存储管理系统

随着经济的发展,科技不断进步。构建基于HLS协议流媒体文件三层文件存储管理系统,是互联网视频公司生产、存储、管理和服务流媒体文件的核心环节,基本功能包括调度、存储、监控和迁移等。该系统通过分布式、Cache和全局索引技术,有效针对传统HLS碎片文件管理低效、文件处理I/O开销大、流媒体文件数据迁移困难等一系列问题,提出了解决方案。

大数据环境下hadoop分布式文件系统分散式动态副本存储优化策略研究

在不影响hadoop分布式文件系统分散式存储结构的前提下,结合动态副本存储和伽罗华有限域理论对范德蒙码的计算方法和计算模式进行整体优化,降低了编译码的时间代价和计算的内存压力,节约了hadoop分布式文件系统约35%的存储开销,提高了hadoop分布式文件系统节点负载均衡能力和译码恢复效率。这种算法更适合于医疗专业文书的处理,解决临床科研需求和数据供给2个方面的问题。既能节省了存储容量,可以容纳与日俱增且越发复杂化的医疗数据,又能降低硬件服务器成本,为医院节省资金开销,更能快速查询获取数据池中的有效数据,让这些躺着的数据变成活的,充分发挥他们的临床使用价值和科研价值。这一套完整的、系统的优化方案,为未来hadoop分布式文件系统的发展提供了一条有效途径。

基于Hadoop的分布式云计算/云存储方案的研究与设计

通过介绍云计算技术的发展背景以及目前云计算技术的几种技术架构,对分布式云计算/云存储技术进行了详尽的研究,包括分布式云计算/云存储的整体架构、分布式文件系统、分布式数据库、分布式数据仓库、分布式同步软件等,并通过与并行关系型数据库、MPP数据库的对比,分析了基于Hadoop的分布式云计算/云存储架构的竞争优势,基于Hadoop的分布式云计算/云存储将更有效支撑未来电信运营商业务的发展。

关于分布式云数据中心架构及管理关键技术研究

对于当前的云计算程序,其最主要的功能是对单个云数据中心问题进行解决,而对于多个云数据之间的资源共享以及统一的管理等问题,我国当前的云计算程序对其还无法进行解决。为了有效解决我国的云数据中心问题,逐渐开始进行分布式云数据中心系统的建设,并对该数据中心的相关管理服务等的关键技术进行有效的分析。同传统的数据中心模式不同,分布式云数据中心采用的是一种全新的架构和管理模式,其架构采用的是扁平式的构成,且对数据中心的资源进行统一的管理,通过这种模式能够对不同地域和不同阶段的单体云数据资源进行共享,实现资源的统一管理,使云数据能够提供更加高效和可靠的服务。

基于分布式文件系统的开源云存储的技术研究

详细分析了开源云存储分布式文件系统的技术原理和性能优势,提出了基于MFS分布式文件系统架构实现开源云存储的方法。充分利用现有低端硬件设备的处理能力,利用MFS分布式文件系统的可扩展性、高容错性、高性价比,对开源云存储架构进行学习、改造,形成了基于keepalived＋drbd＋mfs的开源云存储架构。有效解决了主节点单点故障及磁盘故障率高的问题,逐步形成数据中心开源云存储平台。

基于分布式存储的多类型数据管理技术研究

文章针对大量非结构化数据密集型的应用,提出一个高性能、高可用、高可伸缩、易管理、安全的分布式云存储解决方案,能够解决大规模存储问题,集成了多类型数据的分布式高速存储结构、一体化的数据访问与管理、按需服务的智能分级存储等技术,同时能够与现有的集中式存储架构相融合,充分利用企业现有的各类存储型服务器,提供基于x86服务器集群的数据存储支撑服务,实现大数据环境下的多类型数据的集成与组织功能、海量数据的分布式存储和容错备份机制,以及面向上层应用的数据高速访问和检索功能。

SMDFS分布式海量小文件系统的大空间聚合存储技术

海量小文件聚合存储技术大多以目录或逻辑目录为单位,将小文件聚合为实际存储的大文件并建立小文件的元数据信息,实现小文件的快速访问.传统小文件聚合存储技术读写操作性能受目录结构的影响差别较大.在现有研究成果的基础上,分析不同目录结构聚合空间的特征,提出大空间聚合存储技术和元数据分裂技术,为不同目录结构的海量小文件存储提供通用的解决方法,并基于开源分布式文件系统HDFS实现了一个分布式海量小文件系统SMDFS.测试表明,大空间聚合技术能有效支持不同目录结构的海量小文件数据,相较于SMDFS早期版本,小文件数据装载和访问性能均有很大程度的提高.

RFID与MongoDB融合的分布式云仓储管理系统

利用非关系型数据库具有数据存储不需要固定表结构、不存在连接操作的特性,建立起来的非关系型分布式云存储数据管理,具有比关系型数据库存储管理更好的性能优势。通过基于MongoDB建立的分布式云存储架构,结合底层的Angular和RFID技术,设计实现一种分布式云存储智能仓储管理系统,以解决现代商品仓储管理存在的数据规模大、异地数据不同步、数据共享度低、管理成本高等问题。针对MongoDB为了加速对查询或修改过的数据访问速度而采取记忆并缓存至本地的策略,以及对某节点数据的高密度访问可能造成数据拥堵的问题,设计了基于数据操作频率统计技术的节点均衡访问算法,并对算法的均衡关系参数进行优化验证。系统包括商品的进出库管理、查询统计等基本功能,可应用于数量、地域不断扩大的分散型仓储智能管理。

分布式云数据中心架构及管理关键技术

目前业界流行的云计算旨在解决单个云数据中心的问题,而无法解决多个云数据中心之间资源共享、统一管理、提升业务服务质量的问题。为此,提出了分布式云数据中心(DC2)的概念及架构,并研究了分布式云数据中心的管理及服务的关键技术。分布式云数据中心能将传统数据中心的分散、分层、异构架构,改为全扁平式、统一资源管理的分布式云数据中心架构,从而将多个不同地域、不同阶段、不同规模的单体云数据中心所有资源,通过逻辑集中进行统一管理、统一运营,最终使云数据中心更高效、更可靠、更绿色。

一种适用于集群文件系统分级存储的分布式锁设计与分析

随着集群存储系统的规模越来越大,在一些系统搭建中出现分级存储的需求.目前集群文件系统的分布式锁管理器对于分级存储管理的数据迁移时,可能无法保证数据的一致性.参考传统分级存储系统的设计中,这里提出了集群文件系统布局锁的概念,通过布局锁来维护文件迁移时数据的一致性.通过分析目前的分布式锁机制在应用于集群文件系统分级功能时的不足,针对性地阐述了适用于集群文件系统分级存储的分布式布局锁,并对分布式布局锁的实现进行了分析.

物联网海量数据的分布式存储算法

随着物联网技术的进一步发展以及应用规模的扩大,网络中的数据量呈几何级的疯狂增长,众多传感器终端的大量信源势必呈海量趋势.面对不断增长的数据,海量数据的存储不均匀的问题将成为限制物联网充分发展的"瓶颈".本文结合分布式云存储系统的架构性优势,在其基础上针对物联网异类数据实时存取特点,在多个数据中心对海量数据进行边缘化存储处理.为此本文提出了一种点对点的分布式存储方案,在方案中物联网各数据中心间采用云架构分级式存储,通过存储信息的交互推动,使各数据中心协同工作,达到对物联网中原始数据流有序分散负载均衡.实验证明,本文提出的方案能够实现物联网中海量数据的边缘化存储和负载均衡.

一种分布式文件存储系统的探索与应用

为了提升私有云环境下文件存储系统的可用性,降低拥有成本,通过对比分析提出了基于开源软件MooseFS(MFS)设计的分布式文件存储系统的解决方案。在独立二层网络内,部署六台普通配置的X86机架式服务器,把服务器本地小容量硬盘聚合成一个存储容量为1.7TB的网络硬盘。通过实例验证,该方案能提供优于传统集中式存储的读写性能。通过创新的部署实践,进一步提升了系统的容错能力和易用性。加之利旧企业存量服务器大幅降低了建设运维成本,证明了这一选型能够满足云环境下对文件存储系统高可用、低成本的需求。