地震数据分布式存储系统建设模式与服务效能研究

我国地震监测系统历经了数字化、网络化和自动化的变革。随着地震监测站网规模的不断扩大,作为国家数据中心,中国地震台网中心面临数万地震台站观测数据处理和存储压力。本文基于前期国家地震烈度速报与预警工程、公共安全信息化工程(中国地震局)建设项目等建设经验,总结地震数据分布式存储系统的建设模式,并验证其合理性。同时以历史数据迁移归档业务为例,分析共享存储系统的服务效能,为海量观测数据的高效存储管理、共享数据存储系统建设提供参考。

基于大数据与云计算环境的分布式存储系统设计

在大数据和云计算环境下,传统集中式存储系统已无法满足日益增长的数据存储需求。而分布式存储系统具有较高的扩展性、弹性和容错性,成为应对这些挑战的关键技术之一。基于南京普天通信股份有限公司开发的PtBUS分布式存储系统,文章探讨了分布式存储系统的设计与实现,首先分析了大数据和云计算环境对存储系统提出的挑战,接着介绍了PtBUS系统的架构设计(包括无中心节点设计和横向扩展能力等关键特性),详细分析了系统在数据一致性、高可用性、扩展性、负载均衡及数据安全等方面的挑战与解决方案。通过对PtBUS的深入探讨,揭示了分布式存储系统在大数据与云计算环境中的应用潜力和发展方向。

分布式存储系统的动态扩展与负载均衡策略研究

分布式存储系统在现代大数据处理和云计算环境中扮演着关键角色,其扩展性和负载均衡能力直接影响着系统的性能和可靠性。文章针对分布式存储系统的动态扩展与负载均衡策略进行了深入研究,首先分析了分布式存储系统的基本原理及其在扩展过程中的技术挑战;随后探讨了常见的负载均衡算法及其应用场景,重点研究了基于服务质量(QoS)的负载均衡策略在PtBUS系统中的应用,结合动态扩展,提出了协同优化策略。通过对动态扩展与负载均衡的协同优化,系统能够在扩展过程中实现负载的自动均衡,基于性能数据进行动态调整与优化,从而确保在复杂环境下的高效稳定运行。

基于云计算技术的分布式存储系统数据传输功能优化

针对分布式存储系统在云计算环境中数据传输效率低下及存储空间率利用不足的问题,该文提出了一种基于数据去重技术的优化方法。这一方法通过识别并消除存储过程中的冗余数据,有效提高了数据传输的效率并节约了存储空间。采用该方法系统将上传的文件分块,并为每个块生成唯一的哈希值以进行快速比对。通过去重检查,系统能够识别出重复的数据块,从而避免了重复存储和传输,显著减少了数据中心的负载。对于新的数据块,则进行存储并更新索引,以支持高效的数据检索。实验结果表明,使用数据去重技术能够在保持数据完整性的同时,显著提高数据传输的速率和存储系统的整体性能。综上所述,该文不仅提出了一种有效的分布式存储系统优化方案,也为云计算环境下的数据管理提供了新的思路。

基于存储结构重配置的分布式存储系统节能算法

作为云计算底层核心基础设施,分布式数据存储系统是各种云计算服务的基础,是云计算重要的组成部分.然而随着系统规模的不断扩大以及设计时对能耗因素的忽略使其暴露出高能耗问题.由于存在数据可用性要求,使其并不能简单采用已有节能技术解决能耗问题,保证数据可用性成为设计分布式存储系统节能算法的前提.对系统与数据的可用性进行了建模,并通过对存储结构与机制、节点状态与数据块可用性之间的关系的研究提出构造数据块可用性度量矩阵解决数据可用性完全覆盖问题.定义了分布式存储系统的节能模型,将RACK划分为Active-Zone与Sleep-Zone两个存储区域,根据不同数据的访问频率与规律计算活动因子以配置数据的存储区域,通过数据中心负载规律适时对Sleep-Zone区域中的服务器进行休眠处理以达到节能的目的.实验结果表明:算法在适应数据访问规律与可用性保证前提下,能够提高分布式存储系统的能耗利用率,并且当系统负载与数据平均活动因子越低时算法节能效率越高.

Ceph分布式存储系统性能优化技术研究综述

Ceph是一个统一的分布式存储系统,可同时提供块、文件和对象3种接口的存储服务。与传统的分布式存储系统不同,它采用了无中心节点的元数据管理方式,因此具有良好的扩展性和线性增长的性能。经过十余年的发展,Ceph已被广泛地应用于云计算和大数据存储系统。作为云计算的底层平台,Ceph除了提供虚拟机的存储服务外,还可以直接提供对象存储服务和NAS文件服务。Ceph支撑着云计算系统中多种操作系统和应用的存储需求,它的性能对其上的虚拟机和应用有较大的影响,因此Ceph存储系统的性能优化一直是学术界和工业界的研究热点。文中首先介绍了Ceph的架构和特性;然后针对现有的性能优化技术,从对内部机制进行改进、面向新型硬件和基于应用的优化这3个方面进行了归纳和总结,综述了近年来Ceph存储和优化的相关研究;最后对该领域未来的工作进行了展望,以期为分布式存储系统性能优化的研究者提供有价值的参考。

分布式存储系统中文件传输优化的设计与实现

针对在基于FTP的传统文件传输系统中 ,批量小文件和大文件的传输效率很低的问题 ,研究了不同类型文件传输任务的优化方法 ,提出了文件的自适应传输策略 :对小文件的传输采用通道复用技术 ,对大文件的传输则采用并行传输 .以此为基础设计和实现了GDSS(广域网分布式存储系统 )的文件传输系统 .研究结果表明 ,广域网分布式存储系统中 ,批量小文件传输性能明显优于传统FTP ,而对于大文件的传输 ,由于采用分片并行的传输方式 ,其性能也比标准FTP的要好 .

一种分布式存储系统拟态化架构设计与实现

针对当前分布式存储系统中漏洞后门威胁导致的数据安全问题,通过引入网络空间拟态防御理论及其相关安全机制,从结构角度出发增强系统的安全防护能力。对分布式存储系统面临的主要威胁和攻击途径进行分析,定位其核心薄弱点,结合防护的代价与有效性提出一种可行的系统安全构造方法。以大数据Hadoop分布式文件系统为目标对象,设计面向元数据服务的拟态化架构,利用搭建元数据服务的动态异构冗余结构保护系统核心信息和功能,通过对副本的异构化放置保护用户数据,并在此架构基础上设计基于反馈信息的裁决调度联动机制。测试结果表明,该方法能够有效提升分布式存储系统的安全性。

分布式存储系统的哈希算法研究

针对分布式存储系统中如何实现数据在物理存储上的均匀分布和高效定位的问题,对多种哈希算法展开研究,提出了衡量分布式存储系统哈希算法优劣的标准;从散列分布性、哈希冲突和计算效率等多个维度对这些哈希算法进行分析比较,指出各种哈希算法的应用场景;结合分布式存储系统的应用,给出最优的哈希算法选择。实验结果证明,Davies-Meyer算法具有很好的均匀分布性和很高的计算效率,很适合分布式存储系统的应用。

面向云计算的键值型分布式存储系统研究

对于数据密集型的云计算应用,基于磁盘的存储系统很难同时满足它们对性能与可用性的需求.本文提出了一种以内存为主设备、以磁盘为辅助设备的键值型分布式存储系统M-Cloud,能提供大数据读写、备份及恢复等存储服务功能.M-Cloud通过将数据全部装入服务器集群内存中的方式提高系统整体性能,并设计了分区线性哈希算法以实现负载均衡和高扩展性,设计了相应的数据备份与故障快速恢复策略以保证系统可靠性.仿真实验结果表明,M-Cloud具有较高的性能与可用性,对系统进一步改进和优化后具有应用于实际生产环境中的潜力,可为用户提供高质量的存储服务.

应用SpaceWire网络的航天器分布式存储系统设计

针对航天器数据存储需求多样化的发展趋势,提出了应用SpaceWire网络的分布式存储系统设计。系统由控制模块和存储模块组成,为航天器载荷设备提供标准SpaceWire物理层、链路层接口,并在网络层提供统一的虚拟数据接口,通过逻辑地址进行标志和寻址,可屏蔽系统内部网络细节;载荷设备不必关注存储系统内部网络结构的变化,当部分模块故障时,可重新规划传输路径,对分布式存储系统进行重构,实现系统控制和数据存储功能的迁移。与存储需求相近、配置双固态存储系统的设计相比,其接口种类、协议设计更加简化,且系统重构方面的优势更为明显。

分布式存储系统中基于Pyramid码的局部性修复编码

为了提高分布式存储系统的存储可靠性以及故障节点的修复效率,提出一种基于Pyramid码的局部性修复编码方案。该编码方案采用Pyramid码的最小可实现编码结构,划分局部修复组,确保较低的修复局部性并实现故障节点的快速修复。性能分析表明,基于Pyramid码的局部性修复编码可实现存储系统中多个故障节点的快速修复,具有较低的修复局部性,且相对于三副本复制策略以及简单再生码,基于Pyramid码的局部性修复编码在存储开销和修复带宽开销方面的性能更优。

随机二元扩展码:一种适用于分布式存储系统的编码

随着分布式存储系统的存储容量快速增长,备份容灾存储效率低的缺陷日益明显,基于纠删码的容灾方法越来越受到重视.然而,应用于存储系统的纠删码研究起步较晚,可供选用的码类少,并且大多数属于通信领域的编码方法,不能很好满足存储领域的特殊需求.该文将提出一种新颖的存储编码方法,称为随机二元扩展码(Random Binary Extensive Code,RBEC),为数据容灾存储系统提供一种新的选择.RBEC是一种基于异或运算的系统码,编码矩阵由一个单位阵和一个随机阵构成,采取自底向上的设计模式,通过控制随机矩阵中各个元素生成,达到码字整体上高性能.相比其他传统码类,RBEC参数具有动态调整能力,其编码矩阵的行列可以自由伸缩.进而,存储系统可根据应用需求的变化,动态调整码率和纠删能力.对于(k,δ,t)参数RBEC码,该文给出了容任意t删除错的成功译码概率下界及其证明,并指出通过增加δ值可使译码概率下界无限趋近1(100%).为了提高译码效率,该文进一步给出了一种简化译码矩阵规模的方法.最后介绍了RBEC在分布式存储系统的应用.

分布式存储系统中元数据系统的研究与设计

在分布式存储系统中,元数据服务系统是一个潜在的访问瓶颈。文章提出了一种基于分布式哈希函数和共享存储器思想的元数据服务器系统,并且与LazyHybrid(LH)方法进行了对比研究,通过仿真测试表明其具有较高的元数据操作吞吐量和减少了元数据服务器之间元数据移动及易扩展等特性。

二元再生码在分布式存储系统的应用

分布式存储系统以其高效的可扩展性和高可用性成为存储大数据的主要系统.为了提高可靠性,需要在分布式存储系统中引入冗余.因此如何最优化存储空间、最小化修复带宽和最小化计算复杂度是衡量冗余存储系统效率的关键问题.再生码存储是一类可以达到存储空间与网络修复带宽最佳折中的存储方法,但现有的再生码的构造方法有大量有限域的乘法运算,其高昂的计算复杂度成为用于分布式存储系统中的主要瓶颈.实验结果表明,在保留再生码优势的前提下,采用移位和异或运算取代有限域的乘法运算可以大幅度地降低计算复杂度.创新之处在于提出了二元再生码(binary regenerating codes,BRGC),并给出了构造二元再生码的两类最佳再生码,即最小带宽二元再生码和最小存储二元再生码的方法.通过评估和对比主流的RS码和基于矩阵乘法的再生码,发现BRGC在计算复杂度方面有着明显的优势,在实际海量数据的分布式存储系统中具备更好的应用价值.BRGC在修复和解码性能均优于柯西(Cauchy Reed-Solomon)码.

分布式存储系统中客户端的设计与实现

BlueOcean是基于对象存储技术的大规模分布式存储系统,详细描述了其客户端软件的设计。客户端基于用户态文件系统fuse框架进行开发,既保证了客户端的通用性,又降低了开发和维护的复杂度。客户端实现了常用的posix接口,可支持绝大多数应用程序的透明运行;设计了一套高效的缓存机制,减少了元数据访问过程中的通信开销,减小了读写延迟,有效地提高了BlueOcean存储系统的性能。

分布式存储系统可靠性的研究

通过对分布式存储系统可靠性的研究，运用了具有MDS特性的X码的编码模式，实现了能纠正2个疑符的译码新算法，从而有效地增强了分布式存储系统的可靠性。

分布式存储系统HBase关键技术研究

HBase是一个面向列的非关系型的开源分布式存储系统,它基于Hadoop HDFS文件存储系统,使用MapReduce来处理海量数据,利用Zookeeper作为协同服务,它使用简单的键值对映像关系为超大规模和高并发的海量数据实时响应系统提供一个很好的解决方案。对HBase的体系结构、数据模型、MapReduce算法设计等几个方面进行详细阐述,并对HBase的未来发展做出展望。

差异分布式存储系统应急资源优化调度仿真

针对当前存储系统应急资源调度方法存在的调度可靠性较低、实时性较差等问题,提出一种基于差异分布式存储系统的应急资源优化调度方法,利用属性信息划分应急资源样本集合,计算应急资源信息增益量和信息增益率,创建一个基于线性组合的综合变量,获取综合变量的方差,引入拉格朗日算法对应急资源做预处理操作,得出最佳的应急资源,并提取最佳应急资源的特征,完成对存储系统应急资源特征的提取。针对资源需求点所需的应急资源,利用不断靠近个体和群体历史最优两个位置,找出最优位置,将量子引入到粒子群优化算法中,更新粒子群,找到应急资源特征的最优分配方案,将方案对应的特征整合起来,找出与其相对的应急资源,实现对差异分布式存储系统应急资源的优化调度。仿真结果表明,所提方法的应急资源调度准确率高达99.99%,说明所提调度方法可以快速、可靠地调度存储系统中的应急资源。

分布式存储系统中基于部分重复循环码的局部修复码构造

为了进一步优化分布式存储系统故障节点修复的磁盘I/O开销和修复局部性,提出一种基于部分重复循环码的局部修复码方法。首先构造部分重复循环码(FRCC);然后在此基础上划分局部修复组;最终得到相应的局部修复码,且局部修复组内故障节点可以通过相邻节点实现协作修复,以确保较低的磁盘I/O开销和修复局部性。性能分析以及实验仿真表明,采用基于部分重复循环码的局部修复码,单节点故障的修复局部性恒为2,并且可以快速实现多个故障节点的数据重构;与三副本复制策略、简单再生码以及基于传统FRC的局部修复码相比,基于部分重复循环码的局部修复码具有更低的修复带宽开销和修复局部性,修复效率更高。