基于Zookeeper的分布式锁服务及性能优化

在分布式系统中,资源可能同时被多个客户端申请访问,协调控制客户端和服务器的操作,保证数据访问的正确性和性能是资源的一致性控制要考虑的问题.常用方法是采用定制开发实现其功能或利用现有平台如Hadoop Zookeeper加以实现.Zookeeper是Hadoop的正式子项目,用于提供高效和稳定的一致性服务接口,基于它可以实现分布式锁、配置维护等服务.基于Zookeeper的一致性服务设计实现了分布式锁服务;分析锁服务器端请求处理过程,明确了上锁操作的性能瓶颈在于Zookeeper磁盘IO操作,提出了替换存储介质的方法,Zookeeper上锁性能提高90%;为了进一步减少网络开销,提出分布式锁逻辑移植方法,上锁性能提高20%以上.

115MHz频段雷电波形特征分析

在云闪雷电定位系统中,根据雷电信号的时域特征设计检测概率高、虚警率低的雷电检测算法至关重要。研制了一套中心频率为115MHz、带宽为10MHz的甚高频(very high frequency,VHF)频段雷电信号接收、采集与实时流盘存储系统,基于短时能量参数法对大量实采数据进行了统计分析,初步获得了雷电发生至结束过程中,其VHF频段电磁辐射信号的时域分布规律。以雷电脉冲持续时间、雷电脉冲时间间隔以及相对能量大小为统计特征,雷电信号可分为单峰能量脉冲和多峰能量脉冲群。上述结论可为确定雷电信号检测门限和数据缓存深度、处理吞吐率提供指导。

基于加锁机制的静态手势识别方法

基于RGB-D(RGB-Depth)的静态手势识别的速度高于其动态手势识别,但是存在冗余手势和重复手势而导致识别准确性不高的问题。针对该问题,提出了一种基于加锁机制的静态手势识别方法来识别运动中的手势。首先,将通过Kinect设备获取RGB数据流和Depth数据流融合成人体骨骼数据流;然后,在静态手势方法中引入加锁机制,并与之前建立好的骨骼点特征模型手势库进行比对计算;最后,设计一款"程序员进阶之路"益智类网页游戏进行应用与实验。实验验证在6种不同运动手势情况下,该方法与纯静态手势识别方法相比,平均识别准确率提高了14.4%;与动态手势识别相比,识别速度提高了14%。实验结果表明,提出的基于加锁机制的静态手势识别方法,既保留了静态识别的速率,实现了实时识别;又能很好地剔除冗余手势和重复手势,提高了识别正确性。

面向纠删码存储集群的节点并发重构

纠删码存储集群的一个关键设计目标是降低重构I/O所引起的网络流量,因为降低网络流量有助于缩短重构时间,进而提高可靠性.针对2个或多个失效节点并发重构这一研究话题,提出一种交叉式重构方案(interleaved reconstruction scheme,IRS).所有替换节点能协同、并行地重构所有失效分块.通过对现有集中式重构方案(centralized reconstruction scheme,CRec)和分散式重构方案(decentralizedreconstruction scheme,DRec)的I/O流进行分析,分析发现CRec中存储管理器和DRec中替换节点是重构性能的瓶颈.针对此,IRS从2个方面进行改进:1)替换节点充当重构节点进行并行式重构,消除CRec中管理器这一重构瓶颈;2)利用纠删码的编码结构特性,所有替换节点协同地重构所有失效分块,确保重构时只传输一次所需存活分块.在Reed-Solomon码存储集群上实现了上述3个重构方案,并用真实I/O trace进行对比测试.实验结果表明:当纠删码存储集群的编码参数为k=9和r=3时,IRS方案的双节点重构性能是其他2种重构方案的1.63倍;而3节点重构性能是其他2种重构方案的2.14倍.

面向纠删码存储集群的弹性I/O调度机制研究

纠删码存储集群已经成为适应大规模数据中心的典型容错存储方案.纠删码存储研究主要从新型编码和存取过程优化2个方面展开,从存取过程角度来优化纠删码存储集群的可靠性和能效性.具体地,结合系统运行状态,建立一种与运行状态相匹配的弹性I/O调度策略,即,节点正常运行时,在保证用户性能的前提下,将一部分节点切换到休眠状态,以降低存储系统的当前功率;节点失效时,以提升系统可靠性为目标,对失效数据进行流水线高速重构,最小化数据恢复时间.分别设计了具有节能特性的正常模式方案ECS2和能够加速恢复的Pipe-Rec方案,并在Reed-Solomon码存储集群(其中,编码参数k=6,r=3)中实现了原型.能耗对比测试表明:ECS2在读密集型和写密集型负载下分别能节约29.8%和28%的能耗;而重构对比测试表明:Pipe-Rec方案的重构性能是传统同步式重构方案的5.76倍.

基于群组的连续数据保护服务关键技术研究

连续数据保护(CDP)已成为业界备受关注的数据保护方式.提出了一种基于群组的CDP服务架构,通过组副本管理提供高效的块数据存取;采用B+树实现对元数据的快速查找;结合恢复分支文件以及增量、全量恢复算法找到最短恢复路径,并通过协同恢复以最少的资源快速完成恢复请求;通过资源分配器的调度提供及时响应、公平的CDP服务.基于群组的CDP服务架构充分利用单机存储和局域网的优势,较好地解决了现有的大多数CDP或是将数据保存到专用存储库,或是依靠受保护的主机使用远程存储空间所造成的成本较高、效率较低、扩展不方便等问题,大大提高了CDP的服务效率.

一种MRAM仿真系统的设计实现

计算机科学技术日新月异的发展,对存储器的集成度、读写速度、可靠性等方面提出了更高的要求.在这种形势下,一些传统存储器的缺陷逐步暴露出来,需要新一代存储器适应技术的发展和要求.与传统的存储器相比,磁阻式随机访问存储器(magnetic random access memory,MRAM)具有更好的性能,它同时具备静态随机访问存储器(static random access memory,SRAM)的高速读写性能、动态随机访问存储器(dynamic random access memory,DRAM)的高集成度与Flash存储器的非易失性等优点.为了研究MRAM用作主存时的各项性能,进一步探究MRAM作为DRAM主存替代品的可能性,根据MRAM的原理以及特点,设计并实现了一个MRAM仿真系统,由trace发生器、MRAM控制器和MRAM存储体3部分组成.MRAM仿真系统接收来自处理器(CPU)对主存的读写请求,并根据设计的地址映射算法,对请求进行调度,完成对MRAM存储器的读写请求.仿真结果表明,用MRAM做主存能够发挥出MRAM的优势,获得良好的请求响应时间、请求带宽等性能.

基于FPGA的MRAM特性测试系统

由于传统的磁盘甚至已广泛应用的Flash固态盘已无法很好地满足当前对存储器在集成度、读写速度、可靠性方面的需求,故须积极寻找新一代存储介质尝试与当前存储器混合使用甚至替代之.而磁阻随机存储器(magnetic random access memory,MRAM)作为一种非易失性存储器,拥有静态随机存储器(satic random access memory,SRAM)的高速读取写入能力,以及动态随机存储器(dynamic random access memory,DRAM)的高集成度,同时比DRAM更低的能耗,并具有无限的读写次数,这些优秀的特性使得MRAM拥有很好的潜力成为下一代主流存储介质.为了对MRAM的读写性能、功耗等有深入的理解,设计并实现了一个MRAM测试平台,完成对MRAM读写性能测试和特性数据采集.该测试平台主要由MRAM控制器设计、MRAM特性数据采集、读写性能测试3个方面组成,由MRAM控制器对MRAM芯片进行读写完成读写性能测试,采集MRAM在读、写、空闲等状态下的特性数据.实验表明,MRAM具有良好的读写性能和低功耗,有条件成为下一代主流存储介质.

面向海量高清视频数据的高性能分布式存储系统

通过对视频监控数据的特点和传统存储方案进行分析,提出一种高性能分布式存储系统解决方案.不同于传统的基于文件存储的方式,设计了一种逻辑卷结构,将非结构化的视频流数据以此结构进行组织并直接写入RAW磁盘设备,解决了传统存储方案中随机磁盘读写和磁盘碎片导致存储性能下降的问题.该方案将元数据组织为两级索引结构,分别由状态管理器和存储服务器管理,极大地减少了状态管理器需要管理元数据的数量,消除了性能瓶颈,并提供了精确到秒级的检索精度.此外,该方案灵活的存储服务器分组策略和组内互备关系使得存储系统具备容错能力和线性扩展能力.系统测试结果表明,该方案在成本低廉的PC服务器上实现了单台服务器可同时记录400路1080P视频流,写入速度是本地文件系统的2.5倍.

一种灵活高效的虚拟CPU调度算法

目前,虚拟化已经广泛应用于数据中心,但主流的虚拟CPU调度策略并没有实现对I/O性能的保障,尤其是当延时敏感型负载的虚拟机和计算敏感型负载的虚拟机竞争CPU资源时,其性能显著下降.针对上述问题,提出了一种灵活、高效的虚拟CPU调度算法FLMS(flexible I/O latency and multi-processor sensitive scheduler).FLMS通过采用虚拟机分类、虚拟CPU绑定、多类时间片等技术降低了虚拟机的响应延时,同时基于多处理器架构重新设计了负载均衡策略,优化了虚拟CPU迁移.FLMS通用于目前主流的虚拟化方案,在软件虚拟化方式下,与最新的优化方案相比,延时降低了30%,带宽有10%的提升;在使用硬件辅助虚拟化的系统中,通过FLMS能够获得接近原生系统的I/O性能,并且保证了整个系统的公平性.

全程优化的固态硬盘垃圾回收方法

由于NAND闪存的固有限制,写前擦除和擦除粒度较大,基于NAND Flash的固态硬盘(SSD)需要执行垃圾回收以重用失效页。然而垃圾回收带来的高开销会显著降低SSD的性能,也会直接影响SSD的寿命。特别是对于频繁使用的有数据碎片的SSD,垃圾回收带来的性能下降问题将更为严重,现有的垃圾回收(GC)算法各自侧重垃圾回收操作的某个步骤,并没有给出全面考虑各步骤对整体影响的综合方案。针对该问题,在详细剖析垃圾回收过程的基础上,提出了一种全程优化的垃圾回收方法 WPO-GC,在数据初始放置、垃圾回收目标块的选择、有效数据的迁移、触发回收的时间点以及中断处理方式上,尽可能全面地考虑各步骤对SSD正常读写请求和寿命的影响。通过开源模拟器SSDsim上的WPO-GC的有效性验证表明,同典型GC算法相比,WPO-GC可以减少SSD读请求延迟20%~40%和写请求延迟17%~40%,均衡磨损近30%。

基于频繁序列挖掘的预取算法研究与实现

预取作为一种提升存储系统性能的有效手段被广泛使用,然而传统的预取算法大多基于顺序性访问特征的探测,这使得它们在非顺序数据访问环境下很难奏效,甚至可能因为预取准确率较低而对存储系统的性能带来负面影响.而基于频繁序列挖掘的预取算法则能够通过分析数据的访问行为找出潜在规律,从而能在非顺序访问模式下也取得一定的性能提升.同时,为了应对某些缓存受限的应用场景,如嵌入式系统,预取算法通过提高分析的准确率减少预取可能对缓存带来的不利影响.新提出的预取算法基于频繁序列挖掘技术,并使用字典树组织预取规则,通过多步匹配和子树分割技术精细地控制规则的使用,提升预取的准确率,从而使得预取算法能够有效提升存储系统的性能.

一种面向大容量光盘库的新型文件系统

数字信息长久化保存一直以来都是现代社会面临的一个重要问题,而传统的以磁带和磁盘作为存储介质的存储系统很难满足数据长久稳定保存的需求.人们需要一种专门面向归档的存储系统来减少存储成本和提高数据稳定性.光盘作为一种介质与读取驱动分离的存储介质,易保存,适合用在归档存储中.提出了一种基于光盘的大容量光盘库文件系统,其基本思想是将归档数据存放在较为廉价的光盘上,针对单张光盘容量小的缺陷,将大量的光盘虚拟成整个容量池,文件可以跨越光盘边界存储,光盘的刻录和读取完全实现自动化,并提供给用户通用文件访问接口.通过一系列读写测试,文件系统可以自动化读取和写入数据.

一种高性能高可靠的混合客户端缓存系统

现代数据中心普遍使用网络存储系统提供共享存储服务.存储服务端通常使用独立冗余磁盘阵列(RAID)技术保障数据可靠性,如可以容单/双盘错的RAID5/6.相比于传统磁盘,固态盘具有更低的访问时延和更高的价格,因此将固态盘作为存储客户端缓存成为一种流行的方案.写回法可以充分发挥固态盘的优势加速存储读写性能,然而一旦固态盘发生故障,写回法无法保证数据的一致性和持久性.写直达法简化了一致性模型,但是无法减小写时延.设计并实现一种新的混合客户端缓存(hybrid host cache,HHC),HHC通过使用廉价的日志磁盘镜像存放固态盘上的脏数据来提高可靠性,并且利用写屏障语义保证数据的可靠性和一致性.分析表明,HHC的平均无故障时间远远高于后端存储系统.最后实现了一个原型系统并使用Filebench进行性能评估,结果表明在不同负载下,HHC性能与传统的写回法接近,远远超过写直达法.

采用扩展公钥的云存储广播加密优化方法

基于广播加密的云存储系统受到研究者的关注.然而,基本的广播加密方案不能适应云存储环境中用户和权限的动态变更情况.针对广播加密中密钥管理分发开销大的问题,提出一种扩展公钥的广播加密优化方法,通过保留初始产生公钥时使用的部分私有参数,当用户加入或撤离系统时,使用保留的私有参数产生新的公钥来加密数据.这样,合法用户仍可以使用之前已分发的私钥解密新公钥加密的数据,从而避免了用户动态变化时公钥的频繁变化和密钥的重复分发.通过引入懒惰回收机制,降低了权限变更和密钥定期更新带来的开销.测试结果表明:采用优化方案后,增加用户数量和权限撤销时,系统性能得到较大提高.

可配置及历史信息感知的多级缓存策略

传统磁盘存储设备因其固有的机械特性,已不能满足当前的数据密集型应用程序的需求。基于闪存的固态存储设备(solid state drive,SSD)的出现改善了这种情况,并被广泛用作缓存以降低内存与磁盘之间的性能差距。针对由DRAM和SSD构成的多级缓存,提出了一种可配置的历史信息感知的多级缓存替换策略Charm.Charm允许用户配置应用的访问模式、读写模式等多项内容,并且还可以根据应用对文件的历史访问信息来判断访问模式,从而能够适应访问模式的变化.此外,Charm过滤掉那些只访问一次的数据,将多次访问的热数据缓存至SSD,减少对SSD的写入次数,提升SSD寿命.使用MCsim对Charm与现有的多级缓存替换算法进行了对比测试,在实际的工作负载下,Charm优于其它多级缓存算法.

Hydra:高能效的异构服务器融合方法

考虑当前数据中心服务器面临日常工作负载强度从0%~90%的大幅波动,但很多时间服务器处于低利用率或者空闲状态.即使在空闲状态,典型服务器仍然需要消耗50%左右峰值电力来维持其活动状态.然而简单地关闭空闲服务器的策略很难实施,因为不可预测的用户请求和突发事件可能导致频繁开关机,进而产生严重的性能和可靠性降级.提出了一种新颖异构服务器级融合的节能解决方案Hydra.Hydra提出了一种新架构,该架构把多台异构(功率/性能/成本)特性的服务器整合成虚拟服务器,并根据负载变化进行自动切换.为此Hydra提供了2个关键机制:1)Hydra监听机制,监控传入的负载强度来决定何时进行服务器切换;2)Hydra切换机制,能够融合各服务器的空闲和忙碌时间段,为系统级深度睡眠创造机会;Hydra是基于2个概念设计的:1)在轻负载条件下,优化能源利用效率;2)保证响应时间上界.最后实验证明,Hydra降低服务器70%的平均能耗.同时通过成本模型,发现Hydra能够提升18%的每TCO(total cost of ownership)美元的性能.

为基于XOR的RAID-6码设计的并行编解码算法

RAID-6被广泛应用于存储系统中对数据进行保护.其中基于XOR的RAID-6码具有计算复杂度低的优点,因而受到广泛的关注和应用.但是,这类编码的潜在并行能力还没有被充分地挖掘和发挥.分析了基于XOR的RAID-6码的编解码过程,把校验方程的计算分解为预计算和递归求解2个阶段,其中预计算阶段可以被并行执行.此外,还观察到多种RAID-6码具有z-turn性质——只要失效情况在该RAID-6码的容错能力范围内,就至少有1个校验方程只包含1个不可用的数据块.基于此,设计了一个并行的编解码算法EOPC(equation-oriented parallel coding),用以实现具有z-turn性质的基于XOR的RAID-6码的编解码过程.在RDP码和P-Code上的编解码实验表明,使用EOPC实现的编解码过程与传统串行实现方法相比,在编解码吞吐率上有超过50%的性能提升.

用户态RPC协议分析及其多线程优化

RPC(Remote Procedure Call)协议有多个版本,分为内核态RPC与用户态RPC两类.开发人员根据设计需求选用合适的RPC版本,很多情况下会涉及跨内核态和用户态的通信.用户态RPC不如内核态RPC完善,缺少多线程机制、RDMA(Remote Direct Memory Access)机制等,需要优化以提高性能.结合此类需求,分析了用户态TI-RPC(Transport Independent Remote Procedure Call)运行机制,提出分层多线程的优化方法;利用TI-RPC底层接口重构RPC端口创建与服务启动;增加线程池机制,使TI-RPC在RPC层实现多线程并发服务.性能对比测试表明RPC内部多线程优化可将网络的利用率提高到网络满带宽的93%.