网络RAID布局研究

1 背景随着大容量存储系统需求的不断增加,RAID技术得到了越来越广泛的应用。对于使用简单的奇偶校验(RAID5)的RAID系统,平均无故障时间与磁盘数和修复时间成反比,因此当系统规模较大时,可靠性就会大大降低。为解决此问题,Muntz 和Lui提出了校验散布(parity declustering)思想:设置条纹大小小于磁盘总数,将重构负载均匀分布到所有磁盘,这就降低了故障状态下单个磁盘负载增加的比率,提高了重构性能,减少了重构时间,从而提高了阵列的可靠性。Holland和Gibson对校验散布思想进行了较为系统的研究,提出了理想布局的6条标准和采用不完全区组设计(BIBD)的布局构造方法。之后此领域的研究工作集中于设计更优的布局构造方法,主要成果有随机排列法,基于环的BIBD,DATUM,PRIME,RELPR,PDDL等。

一种能耗优化的RAID小写预读方法

视频监控、备份、归档等应用产生海量存储数据,导致存储能耗急剧增加.S-RAID采用局部并行数据布局,可显著降低该类应用的存储能耗.为使更多磁盘待机节能,S-RAID通常执行“小写”操作,写操作时会额外引入等量的读操作,会显著降低性能.现有预读机制主要发生在文件级,无法感知RAID级小写引发的读旧数据、旧校验数据等读操作,因此不会也无法预读该类数据.为此,提出一种面向S-RAID的RAID级小写预读算法,由小写操作触发并在RAID级执行预读,根据S-RAID的数据布局方式,大粒度异步预读小写需要的旧数据、旧校验数据,有效减少I/O数和寻道数,提高磁盘的利用率.该方法可显著提高S-RAID的写性能,并且不依赖于任何额外硬件,具有更高的可用性.

基于WAN的网络软RAID系统性能的研究

当前绝大多数网络存储系统都是通过高速网络进行连接的。论文设计并构建了基于低速WAN的网络软RAID系统(NSRAID),研究了广域网环境下影响网络存储系统性能的主要因素。同时,以网络负载的角度分析了远程存储节点数、网络存储协议和数据布局方式影响系统性能的内在原因。在此基础上,针对广域网不同的网络性能提出了提高网络软RAID系统性能的方法。

网络分簇BWRAID:更快的扩展、恢复和读写性能

存储区域网（storage area network,SAN）是重要的网络存储方法.使用商用硬件BWRAID在SAN上实现了分布式RAID.初始版本的BWRAID使用全对称结构,然而其存在3个问题：1）扩展时要读取数据重新计算校验,IO负载高、扩展时间长;2）将数据集中恢复到单个存储节点,没有分布的并发恢复;3）数据布局不合理,导致内部RAID4有大量同步更新.为解决上述问题,提出了＂网络分簇BWRAID＂.新系统采用＂分簇RAID＂（declustering RAID）的非对称结构,分簇对象是相等大小的小虚拟盘而不是数据块;在扩展时,它在节点之间仅迁移虚拟卷,不需计算校验.由于一个恢复需要的节点数量小于节点总数,多个恢复就能并行.为优化IO使用新的数据布局,按内部RAID4条带组织用户的存储空间,并给出了搜索虚拟盘的算法,用于在系统分配、扩展、恢复时,搜索合适的虚拟盘.实验表明网络分簇BWRAID更好：在系统扩展时无需重新计算校验,加速扩展5~8倍;并行恢复成倍加速;新数据布局提高了IO性能.

多重条带布局的混合RAID系统研究

随着数据容量的爆炸式增长以及数据价值的日益增加,应用对存储系统的容量、成本、数据可靠性和数据访问性能等方面提出越来越高的要求.针对纠删码存储存在的与传统RAID技术所面临相同的小写更新与Write Hole的问题,提出一种多重条带布局的Hybrid-RAID技术.该技术采用纠删码,对外提供N+M的数据可靠性保护级别,降低冗余数据的存储开销;采用同步镜像小写、异步镜像转换纠删码的方式,并且保证转换过程无数据覆盖和迁移,从而有效解决同步纠删码的小写更新问题;通过纠删码数据块与校验块的非原位更新,避免纠删码的Write Hole问题.测试结果表明,与RAID6相比,Hybrid-RAID系统的顺序小写性能平均提升了2.05倍,随机小写平均提升6.6倍.

子阵列数据布局方法在网络存储中的应用

RAID的高性能源于无差异磁盘组的并行工作。但受网络等因素的影响,网络存储阵列系统中各个磁盘的性能是有差异的,这直接导致系统并行度的降低。现有的研究大都是通过改变RAID中数据单元和校验单元的布局方式来平衡磁盘间的差异。该文根据不同存储应用的特点,提出了子阵列数据布局方法来解决这一问题,显著提高了网络存储系统的性能。

逻辑进化存储系统的数据分布

针对现有存储系统不能很好的动态适应工作负载变化情况,本文提出了逻辑进化存储系统的概念,由此设计了一种适合不同磁盘阵列(RAID)之间动态转换的数据分布策略.根据这种策略推导出RAID在同步工作负载情况下的平均响应时间公式,计算出不同RAID级别在各种工作负载情况下的转换门限.为了提供最佳的服务特性,本文还提出根据数据访问的特征自动调节条带单元大小(SUS:StripeUnitSize)的策略,并推导出磁盘阵列在不同工作负载情况下的最优SUS.最后,通过大量的实验验证了本文的分析结果.

利用图的完全1-因子分解构造双容错数据布局

本文介绍了一种full-2码的虚拟顶点简单图表示法,简化了双容错数据布局判定定理,最优冗余数据布局定理和双容错数据布局的构造.本文还提出了一种基于完全二部图(对应二维奇偶校验码)的完全1-因子分解的双容错数据布局构造方法,可构造高扩展性双容错数据布局BG-HEDP.与B-CODE等同类双容错数据布局相比,BG-HEDP同样具有更新代价最优、高可靠性和低编码/解码复杂度的优点,冗余率接近最优,而扩展性更好.

双容错磁盘阵列校验散布布局的优化

采用模拟退火算法,对双容错磁盘阵列RAID6的数据布局进行校验散布优化,并且根据理想数据布局最主要的标准"重构负载均匀分布",以及对性能影响也较大的标准"校验负载均匀分布",对这种校验散布算法进行了验证,最后通过仿真实验,测试它的性能,并做出分析,结果显示该方法使RAID6在降级模式和重构模式下的负载得以均匀分布,从而使它的性能得以提高。

用双目标加权遗传算法解决网络磁盘阵列系统下校验散布布局优化问题的研究

廉价磁盘冗余阵列(RAID)作为一种提高存储系统可靠性和性能的技术,已经得到了广泛的应用,有关磁盘阵列结构和数据布局的研究也一直很活跃,但有关网络磁盘阵列下的数据布局的研究还不太多。本文首先概述了校验散布布局的技术和遗传算法的相关知识,提出了利用双目标加权遗传算法的思想解决网络磁盘阵列系统校验散布布局优化的问题。然后以“重构负载均匀分布”和“校验均匀分布”为双目标,使用改变的NSGA来解决网络磁盘阵列系统下校验散布布局的优化问题。最后给出了实验结果。

浅谈关系数据库的存储设计

对数据库存储系统设计从内向外就数据库应用系统内存设计、磁盘布局优化和配置、RAID性能和可靠性分析等几个方面进行了研究。