纠删码存储系统中基于网络计算的高效故障重建方法

目前分布式存储系统的规模越来越大,不论存储设备是磁盘还是固态盘,系统都始终面临着数据丢失的风险.传统分布式存储系统大多采用基于三副本的高可靠性技术,但为了追求较低的存储开销,大量系统正在转向基于纠删码的可靠性方法.但是在纠删码方案下,重建故障数据需要读取多个存储设备,这将导致大量的网络传输和存储I/O操作,增大系统恢复开销.为了能够在不损失其他性能的同时降低恢复开销,利用软件定义网络(software defined networking, SDN)技术,提出一种基于网络计算的高效故障重建方案——网络流水线(in-network pipeline, INP),其中SDN控制器利用网络的全局拓扑信息构造重建树,系统依据重建树进行数据传输,并在交换机上完成部分计算,减少向后传输的网络流量,从而消除网络瓶颈,提升恢复性能.测试评估了不同网络带宽下INP的恢复效率.实验结果表明:与传统的纠删码系统相比,INP总是能大幅减少网络流量,并且在一定带宽条件下,能够接近正常读的时间开销.

面向云存储的I/O资源效用优化调度算法研究

随着云计算的普及,越来越多的客户选择使用基于云的服务,以避免冗余的设施购买费用和繁杂的系统设计与维护,从而将精力集中在自己的专业领域.通常,云服务的客户从云服务供应商购买虚拟机,并根据双方商定达成的服务水平目标(service level objective,SLO)约束购买到的计算资源.分布式存储中大量的文件分布在不同的存储节点上,现有的CPU、内存以及带宽等资源的分配调度算法并不适用磁盘I/O资源.从云服务提供商的角度来说,高效用的I/O资源调度算法有利于提高其系统的利用率,节约资源开销并增加企业收益率.从云存储提供商为获取高效率高收益率的角度考虑,通过对用户的虚拟机在不同存储节点上的访问特性建模,提出了一个新的自适应分布式I/O资源调度算法,简称为PC算法.PC算法能够:1)根据用户与服务商之间制定的SLO,动态地在各个存储节点中为每个虚拟机制定适当的局部SLO,满足虚拟机对个体节点的访问需求;2)为各虚拟机提供高效健壮的资源分配策略,既能尽可能利用I/O资源,又避免由无序的I/O资源竞争导致的虚拟机I/O资源饥饿.PC算法能够根据不同的I/O资源供应状况在两种调度策略间自动切换,当系统I/O资源充足时,算法采用最早截止时间优先算法(earliest deadline first,EDF)方式提高I/O资源使用率;反之则根据每个I/O请求的预计效益来提高总收益率.实验结果表明,在不采用预先设定虚拟机对各个节点访问量的前提下,PC算法能根据访问模式制定合理的资源分配,提高系统的I/O资源利用率和收益.

一种高性能高可靠的混合客户端缓存系统

现代数据中心普遍使用网络存储系统提供共享存储服务.存储服务端通常使用独立冗余磁盘阵列(RAID)技术保障数据可靠性,如可以容单/双盘错的RAID5/6.相比于传统磁盘,固态盘具有更低的访问时延和更高的价格,因此将固态盘作为存储客户端缓存成为一种流行的方案.写回法可以充分发挥固态盘的优势加速存储读写性能,然而一旦固态盘发生故障,写回法无法保证数据的一致性和持久性.写直达法简化了一致性模型,但是无法减小写时延.设计并实现一种新的混合客户端缓存(hybrid host cache,HHC),HHC通过使用廉价的日志磁盘镜像存放固态盘上的脏数据来提高可靠性,并且利用写屏障语义保证数据的可靠性和一致性.分析表明,HHC的平均无故障时间远远高于后端存储系统.最后实现了一个原型系统并使用Filebench进行性能评估,结果表明在不同负载下,HHC性能与传统的写回法接近,远远超过写直达法.

基于NVM的存储安全综述

大数据时代的来临为存储系统提供了新的机遇,同时也提出了新的挑战。传统的基于动态随机存储(DRAM)的内存架构面临着容量、能耗、可靠性等方面的问题;新型非易失存储器件(Non-Volatile Memory,NVM)具有非易失、字节寻址、空闲能耗低等优势,可以作为外存、内存或存储级内存(Storage Class Memory,SCM),为未来存储系统的变革提供了新选择,但同时也存在一些安全问题。NVM器件本身的耐久性有限,频繁对某一位置进行写操作时会造成该位置磨损,从而缩短设备的寿命;同时,由于具有非易失性,NVM被用作内存时,断电后数据不会丢失,攻击者可以通过窃取数据来提取敏感信息或对数据进行篡改;当NVM与DRAM构成混合内存时,可能会产生指针指向不明等问题;NVM作为SCM时,应用程序通过存取(load/store)接口直接对其进行访问,绕过了文件系统等权限管理和一致性管理机制。针对这些问题,文中总结了磨损均衡、减少写操作、减少写入量、内存加密、设计一致性机制、设计权限管理机制等解决办法;最后从硬件、操作系统以及编程模型层面探讨了仍须关注的NVM安全问题。

可配置及历史信息感知的多级缓存策略

传统磁盘存储设备因其固有的机械特性,已不能满足当前的数据密集型应用程序的需求。基于闪存的固态存储设备(solid state drive,SSD)的出现改善了这种情况,并被广泛用作缓存以降低内存与磁盘之间的性能差距。针对由DRAM和SSD构成的多级缓存,提出了一种可配置的历史信息感知的多级缓存替换策略Charm.Charm允许用户配置应用的访问模式、读写模式等多项内容,并且还可以根据应用对文件的历史访问信息来判断访问模式,从而能够适应访问模式的变化.此外,Charm过滤掉那些只访问一次的数据,将多次访问的热数据缓存至SSD,减少对SSD的写入次数,提升SSD寿命.使用MCsim对Charm与现有的多级缓存替换算法进行了对比测试,在实际的工作负载下,Charm优于其它多级缓存算法.

固态盘测试系统的设计与实现

固态盘(solid-state disk,SSD)以其高性能、高可靠性等优点在存储系统中快速发展,与此同时人们对固态盘性能的关注度也大大提高,如何准确地测试和评估固态盘开始成为固态盘制造厂商和消费人群共同关心的问题.在这种需求环境下,设计并实现了一个高效、可靠、自动化、操作方便的固态盘测试系统.测试系统分为测试机和服务器2部分,测试人员通过登录服务器来操作测试机并对测试机上批量的固态盘进行测试.测试系统支持对固态盘进行4种类型的测试:性能测试、MBI测试、掉电测试、功耗测试,全面评估固态盘性能,并生成评估报告.

动态内存分配器研究综述

通用动态内存分配器自出现以来一直是系统软件的基本组件.伴随着近些年来多核处理器的发展和新型非易失存储器的出现,关于动态内存分配器的研究也随之聚焦于不同的优化方向,比如多线程环境下的性能优化和针对新型非易失内存介质特性的优化.该文在归纳整理近三十年动态内存分配器的发展和研究状况的同时,对推动内存分配器发展的历史原因进行了分析.此外,作者整理了现有动态内存分配器测试可采用的工作负载和标准测试集,并提出了一套全面、多维度评价内存分配器的指标体系.最后,作者指出了现有工作的优势和面临的缺陷,并探讨了未来内存分配器相关的研究方向,为该领域在今后的发展提供了一定的参考.

全程优化的固态硬盘垃圾回收方法

由于NAND闪存的固有限制,写前擦除和擦除粒度较大,基于NAND Flash的固态硬盘(SSD)需要执行垃圾回收以重用失效页。然而垃圾回收带来的高开销会显著降低SSD的性能,也会直接影响SSD的寿命。特别是对于频繁使用的有数据碎片的SSD,垃圾回收带来的性能下降问题将更为严重,现有的垃圾回收(GC)算法各自侧重垃圾回收操作的某个步骤,并没有给出全面考虑各步骤对整体影响的综合方案。针对该问题,在详细剖析垃圾回收过程的基础上,提出了一种全程优化的垃圾回收方法 WPO-GC,在数据初始放置、垃圾回收目标块的选择、有效数据的迁移、触发回收的时间点以及中断处理方式上,尽可能全面地考虑各步骤对SSD正常读写请求和寿命的影响。通过开源模拟器SSDsim上的WPO-GC的有效性验证表明,同典型GC算法相比,WPO-GC可以减少SSD读请求延迟20%~40%和写请求延迟17%~40%,均衡磨损近30%。