分布存储系统上一种新的并行调度算法

在一般的分布存储系统上各个处理器可能不同且资源共享 ,导致了并行任务在各个处理器上的执行时间具有很大的随机性 ,主要根据系统及并行任务特性等引进特征参数 ,采用计算与通信重叠等方法设计出了一种新的并行调度算法 ,即使在多用户环境下应用此算法不仅能达到极高的负载平衡 ,充分利用系统资源而且能有效地提高并行效率及加速比 .实验结果表明 。

分布存储系统中优化通信的冗余计算分割

针对并行循环套序列 ,提出一种冗余计算分割的通信优化方法 .根据数据流分析 ,文中给出用以确定每个循环套的冗余计算量的一般方法 ,并在此基础上提出冗余计算分割的实现和判定 .针对规则依赖的程序 ,该文还提出了一个高效的冗余计算分割的实现方法 .该技术已经在一个并行编译器中实现 ,试验结果表明 ,它比传统的通信优化技术有明显的优越性 .

基于分布存储系统的并行编译关键技术

分布存储系统的并行编译器需要解决各局部存储器之间数据分布问题和各处理机之间通信优化问题。论文并行编程模型、代码和数据分布、通信优化以及代码生成问题四个方面论述了基于分布存储系统的并行编译关键技术并提出了进一步研究所要解决的问题。

地震数据分布式存储系统建设模式与服务效能研究

我国地震监测系统历经了数字化、网络化和自动化的变革。随着地震监测站网规模的不断扩大,作为国家数据中心,中国地震台网中心面临数万地震台站观测数据处理和存储压力。本文基于前期国家地震烈度速报与预警工程、公共安全信息化工程(中国地震局)建设项目等建设经验,总结地震数据分布式存储系统的建设模式,并验证其合理性。同时以历史数据迁移归档业务为例,分析共享存储系统的服务效能,为海量观测数据的高效存储管理、共享数据存储系统建设提供参考。

基于HDFS分布式云存储系统的重复数据检测与删除研究

传统最远点采样(FPS)算法、数据类型分析(WFC)算法的去重冗余度高,在同一数据集分块、去重检测中的数据重复率达到70~90%。基于这一实际情况,提出基于Hadoop分布式软件框架、分布式文件系统(HDFS)等云服务技术,建构用于复杂数据结构分析、数据分块去重的HDFS-SDBS云存储管理系统,使用基于文件相似度的抽样删除索引(SDBS)算法进行文件数据分块、哈希值(Hash)计算、随机抽样的相似度判定,利用元数据索引查重方式完成输入文件数据、内存数据的比对,删除相似度过高的重复数据,以提升云环境下的数据存储效率与准确率。

基于RDMA的分布式键值存储系统性能优化

如今分布式键值存储系统在工业界得到了广泛的应用,如何提升其性能成为分布式系统和并行计算领域的研究热点。远程直接数据存取是高性能计算中常用的通信技术,利用其低延迟高带宽的特性,可以有效提升分布式键值存储系统的性能表现。MPI单边通信是一种支持RDMA的通信方法,本文使用MPI单边通信实现分布式键值操作,并根据其特点重新设计通信模型。为了解决RMA带来的数据一致性问题,本文改变键值对的存储结构并制定存取操作的通信策略。通过将单边通信与TCP/IP进行对比,对不同长度的数据测试通信延迟,验证了RDMA给系统带来的性能提升。

基于云计算的分布式存储系统文件传输优化

针对传统方法在传输文件时传输效率过低的问题,文中提出了云计算平台下分布式存储系统文件传输自动优化方法。通过将大小不同的文件放入相应的传输通道中,实现了文件传输最优路径自动选择。利用对服务器缓冲区大小分做出具体的分析计算,进行最优匹配,提高传输速率。通过仿真实验结果表明,文中方法较传统方法相比,有着较高的传输速率和性能,实现了文件的自动分类和传输的自动优化。

Ceph分布式存储系统研究

当前分布式存储技术发展迅猛,各式各样的分布式存储系统层出不穷,然而大多仍基于主从架构设计的思想。文章首先介绍了Ceph这一开源的、去中心化设计的分布式存储系统;其次基于特定版本的Ceph源码,对Ceph系统中OSD模块的读写流程进行了分析;最后基于搭建的Ceph系统,对该系统进行读写的压力测试,分析了各种因素下Ceph读取数据时的I/O性能,以期为今后在生产环境部署和使用Ceph时提供实验数据方面的论证。

基于云平台的大规模分布式存储系统的构建

基于云平台提出了一种的大规模分布式存储系统解决方案。随着云计算技术的发展,越来越多的企业尝试使用云存储技术,本文结合传统HDFS和分布式文件系统的优势,提出了基于云平台的大规模分布式存储系统结构和实现方法,为构建具有高性能、可扩展性、安全性和稳定性的云存储服务提供新的思路。本文提出的大规模分布式存储方案具有高性能、可扩展性、安全性和稳定性,能够为企业提供高效、可靠、经济、安全的云存储服务。

关于Ceph分布式存储系统性能优化技术的研究

由于现代信息技术快速发展,人们的网络活动数据急速增加,对计算机的储存和处理能力提出了更高的要求。文章基于Ceph分布式存储系统的架构,分析其性能优化技术,包括可扩展哈希下的受控复制(Controlled Replication Under Scalable Hashing,CRUSH)算法、对象存储设备(Object-based Storage Device,OSD)参数优化、使用异构硬件配置、基于固态盘的缓存性能优化、基于固态盘的元数据管理优化,从而扩大系统的吞吐量、缩短系统响应时间,提升系统的可伸缩性。

基于存储结构重配置的分布式存储系统节能算法

作为云计算底层核心基础设施,分布式数据存储系统是各种云计算服务的基础,是云计算重要的组成部分.然而随着系统规模的不断扩大以及设计时对能耗因素的忽略使其暴露出高能耗问题.由于存在数据可用性要求,使其并不能简单采用已有节能技术解决能耗问题,保证数据可用性成为设计分布式存储系统节能算法的前提.对系统与数据的可用性进行了建模,并通过对存储结构与机制、节点状态与数据块可用性之间的关系的研究提出构造数据块可用性度量矩阵解决数据可用性完全覆盖问题.定义了分布式存储系统的节能模型,将RACK划分为Active-Zone与Sleep-Zone两个存储区域,根据不同数据的访问频率与规律计算活动因子以配置数据的存储区域,通过数据中心负载规律适时对Sleep-Zone区域中的服务器进行休眠处理以达到节能的目的.实验结果表明:算法在适应数据访问规律与可用性保证前提下,能够提高分布式存储系统的能耗利用率,并且当系统负载与数据平均活动因子越低时算法节能效率越高.

Ceph分布式存储系统性能优化技术研究综述

Ceph是一个统一的分布式存储系统,可同时提供块、文件和对象3种接口的存储服务。与传统的分布式存储系统不同,它采用了无中心节点的元数据管理方式,因此具有良好的扩展性和线性增长的性能。经过十余年的发展,Ceph已被广泛地应用于云计算和大数据存储系统。作为云计算的底层平台,Ceph除了提供虚拟机的存储服务外,还可以直接提供对象存储服务和NAS文件服务。Ceph支撑着云计算系统中多种操作系统和应用的存储需求,它的性能对其上的虚拟机和应用有较大的影响,因此Ceph存储系统的性能优化一直是学术界和工业界的研究热点。文中首先介绍了Ceph的架构和特性;然后针对现有的性能优化技术,从对内部机制进行改进、面向新型硬件和基于应用的优化这3个方面进行了归纳和总结,综述了近年来Ceph存储和优化的相关研究;最后对该领域未来的工作进行了展望,以期为分布式存储系统性能优化的研究者提供有价值的参考。

分布式存储系统中文件传输优化的设计与实现

针对在基于FTP的传统文件传输系统中 ,批量小文件和大文件的传输效率很低的问题 ,研究了不同类型文件传输任务的优化方法 ,提出了文件的自适应传输策略 :对小文件的传输采用通道复用技术 ,对大文件的传输则采用并行传输 .以此为基础设计和实现了GDSS(广域网分布式存储系统 )的文件传输系统 .研究结果表明 ,广域网分布式存储系统中 ,批量小文件传输性能明显优于传统FTP ,而对于大文件的传输 ,由于采用分片并行的传输方式 ,其性能也比标准FTP的要好 .

分布式存储系统的哈希算法研究

针对分布式存储系统中如何实现数据在物理存储上的均匀分布和高效定位的问题,对多种哈希算法展开研究,提出了衡量分布式存储系统哈希算法优劣的标准;从散列分布性、哈希冲突和计算效率等多个维度对这些哈希算法进行分析比较,指出各种哈希算法的应用场景;结合分布式存储系统的应用,给出最优的哈希算法选择。实验结果证明,Davies-Meyer算法具有很好的均匀分布性和很高的计算效率,很适合分布式存储系统的应用。

一种分布式存储系统拟态化架构设计与实现

针对当前分布式存储系统中漏洞后门威胁导致的数据安全问题,通过引入网络空间拟态防御理论及其相关安全机制,从结构角度出发增强系统的安全防护能力。对分布式存储系统面临的主要威胁和攻击途径进行分析,定位其核心薄弱点,结合防护的代价与有效性提出一种可行的系统安全构造方法。以大数据Hadoop分布式文件系统为目标对象,设计面向元数据服务的拟态化架构,利用搭建元数据服务的动态异构冗余结构保护系统核心信息和功能,通过对副本的异构化放置保护用户数据,并在此架构基础上设计基于反馈信息的裁决调度联动机制。测试结果表明,该方法能够有效提升分布式存储系统的安全性。

面向云计算的键值型分布式存储系统研究

对于数据密集型的云计算应用,基于磁盘的存储系统很难同时满足它们对性能与可用性的需求.本文提出了一种以内存为主设备、以磁盘为辅助设备的键值型分布式存储系统M-Cloud,能提供大数据读写、备份及恢复等存储服务功能.M-Cloud通过将数据全部装入服务器集群内存中的方式提高系统整体性能,并设计了分区线性哈希算法以实现负载均衡和高扩展性,设计了相应的数据备份与故障快速恢复策略以保证系统可靠性.仿真实验结果表明,M-Cloud具有较高的性能与可用性,对系统进一步改进和优化后具有应用于实际生产环境中的潜力,可为用户提供高质量的存储服务.

应用SpaceWire网络的航天器分布式存储系统设计

针对航天器数据存储需求多样化的发展趋势,提出了应用SpaceWire网络的分布式存储系统设计。系统由控制模块和存储模块组成,为航天器载荷设备提供标准SpaceWire物理层、链路层接口,并在网络层提供统一的虚拟数据接口,通过逻辑地址进行标志和寻址,可屏蔽系统内部网络细节;载荷设备不必关注存储系统内部网络结构的变化,当部分模块故障时,可重新规划传输路径,对分布式存储系统进行重构,实现系统控制和数据存储功能的迁移。与存储需求相近、配置双固态存储系统的设计相比,其接口种类、协议设计更加简化,且系统重构方面的优势更为明显。

基于分布式块存储系统的服务质量研究与优化

在云存储技术中,资源复用和共享是一把双刃剑,在为用户降低开销的同时,也导致了应用之间的相互干扰和竞争,特别是在资源需求量超出存储系统能力时,无法提供令人满意的服务质量。提出一种自适应的任务调度技术,解决了前后端任务的资源平衡问题。还提出一种多级热度的缓存替换技术,解决了前端任务间的资源平衡问题。在中兴分布式块存储系统中将上述两项技术进行了工程实现和商用测试,上述优化方案满足了用户对分布式块存储服务质量的期望。

分布式存储系统中基于Pyramid码的局部性修复编码

为了提高分布式存储系统的存储可靠性以及故障节点的修复效率,提出一种基于Pyramid码的局部性修复编码方案。该编码方案采用Pyramid码的最小可实现编码结构,划分局部修复组,确保较低的修复局部性并实现故障节点的快速修复。性能分析表明,基于Pyramid码的局部性修复编码可实现存储系统中多个故障节点的快速修复,具有较低的修复局部性,且相对于三副本复制策略以及简单再生码,基于Pyramid码的局部性修复编码在存储开销和修复带宽开销方面的性能更优。

一种分布式共享存储系统的线程分配算法

讨论了软件实现的多线程 DSM系统中的通信开销和线程分配问题 ,给出了一种基于线程关系图的调度模型 ,并在此基础上提出了一种基于迭代的线程分配算法 .通过大量的线程关系图对算法进行了评价 ,并且在一个软件 DSM系统中实现了该算法 ,同时给出了算法的评价结果和应用程序的性能数据 .