基于Infiniband技术构建高性能分布式文件系统-Lustre

介绍了基于对象的分布式文件系统Lustre,分析了其通信机制,重点介绍了Infiniband以及IPOIB技术。基于Infiniband技术构建了高性能Lustre文件系统。通过对该系统进行性能测试并将其与千兆以太网条件下的Lustre进行了比较,可以看出Infiniband技术极大地提高了Lustre的性能,具有很大的潜力。最后介绍了下一步的工作。

高能物理计算环境中存储系统的设计与优化

高能物理是典型的数据密集型计算,数据访问性能对整个系统至关重要并与应用的计算模式密切相关。从剖析高能物理的典型计算模式入手,总结出其数据访问的特点,提出针对操作系统I/O调度、分布式文件系统缓存等多个因素的优化措施,优化后数据访问性能和CPU利用率明显提高。大规模存储系统对于元数据管理、数据可靠性、扩容等可管理性等功能也有较高要求,结合现有Lustre并行文件系统的不足,提出了Gluster的高能物理存储系统设计,在进行数据管理以及扩容等方面的优化后,系统已经正式投入使用,数据访问性能能够满足高能物理计算的需求,同时具有更好的可扩展性和可靠性。

可扩展的分布式元数据管理系统设计

为解决高能物理海量存储系统由于存储规模不断扩大所面临的问题,设计一种分布式元数据管理系统,包括元数据管理、元数据服务、缓存服务以及监控信息采集4个部分,在此基础上提出自适应目录子树划分算法,以目录为粒度进行元数据划分,根据集群负载情况调整目录子树,实现元数据信息在元数据集群中的合理存储和分布。实验结果证明,该算法能提高元数据的访问和检索性能,提供可扩展及动态负载均衡的元数据服务,以保证该元数据管理系统的可用性、扩展性及I/O性能不会因存储规模扩大而受到影响,满足高能物理实验日益增长的存储需求。

基于Lustre文件系统的MPI检查点系统实现技术与性能测试

基于协同式检查点的回卷恢复是在大规模并行计算机系统中得到采用的一项重要容错技术,其性能开销主要为协同协议和检查点映像存储所决定.描述了一个在MPICH2中实现的应用透明的并行检查点系统,相比已有的技术,该系统有以下特点:1)协同协议操作利用了并行应用的近邻通信特性,通过虚连接方法减少协议的处理开销;2)采用Lustre文件系统简化检查点映像文件管理的复杂性;3)通过并行I/O操作提高性能,优化检查点映像的存储过程.实际应用的测试表明,该检查点系统具有较小的运行时间开销和良好的可扩展性.

Lustre文件系统I/O锁的应用与优化

分布式文件系统需要有一种机制对来自各个客户端的并发访问进行控制,维护文件数据的一致性。锁是实现并发控制最流行的机制。研究了Lustre文件系统的分布式I/O范围锁的模型,并对它的各种应用进行了优化。介绍了Lustre分布式锁的基本概念,对基于锁实现数据客户端写回缓冲以及多写者文件大小的动态获取的算法进行了分析;提出自适应I/O锁策略,基于区间树的范围锁冲突检测优化策略以及客户端锁淘汰策略来增强Lustre锁服务的性能和扩展性。

NFS over Lustre性能评测与分析

传统的网络文件系统难以满足高性能计算系统的I/O需求,基于对象存储的全局并行文件系统Lustre可以有效地解决传统文件系统在可扩展性、可用性和性能上存在的问题。该文介绍了Lustre文件系统的结构及其优势,对NFS over Lustre进行了性能测试,并将测试结果与Lustre文件系统、NFS网络文件系统及本地磁盘Ext3文件系统的性能进行了比较分析,给出了性能差异的原因,提出了一种可行的解决方法。

Lustre文件系统中范围锁机制的应用研究

分布式锁机制是分布式文件系统的重要机制,Lustre是一种高性能的分布式文件系统,针对现有的范围锁机制,在处理多客户端大量并发的密集型共享文件访问时,存在操作延迟、文件数据一致性管理复杂的问题,为了解决这类问题采用了可伸的锁范围划定、对范围锁赋予周期、范围锁版本控制相结合的改进机制。实验结果表明,采用改进后的范围锁机制,不仅保证了文件数据的一致性,一定程度上降低了并发文件访问延迟,从而保证了分布式文件系统的I/O性能。

面向搜索引擎的分布式文件系统性能分析

搜索引擎是一种数据密集型应用,其性能极大依赖于底层文件系统的性能.文中主要讨论分布式文件系统在搜索引擎应用环境下的性能评估和性能优化问题.首先概述了分布式文件系统的性能影响因素及相关研究进展;在此基础上提出基于Hadoop的开放架构,系统地评估HDFS和Lustre在搜索引擎应用场景下的性能;最后针对实验评估发现的HDFS在写性能及小文件数据处理方面的不足,提出改进方案,为搜索引擎的分布式文件系统优化提供参考.

面向并行文件系统的性能评估及相对预测模型

基于Lustre文件系统，对并行文件系统的性能评估和性能建模进行了研究．通过对性能因子的调研，进行了一系列性能评估实验，并提出性能相关性模~（PRModel）．在实验评估和PRModel分析中发现，在不同的性能因子之间存在着紧密的性能相关性，为了挖掘并利用这种相关性信息，提出了一种相对性能预测模（RPPModel）来预测不同性能因子条件下的性能．为了验证RPPModel的有效性，设计了大量实验用例．结果表明，预测结果的平均相对误差能够控制在170／o---28％的范围内，易于使用且具有较好的预测准确度．

面向对象存储的文件系统Lustre

针对Lustre文件系统主要运用在高性能计算集群系统上的情况,分析Lustre文件系统的系统结构及其内部实现机制,测试系统在不同参数影响下的性能,认为Lustre可以运用在高性能集群系统上,也能运用在由普通计算机和TCP/IP网络构建的集群系统上。实验结果表明,在TCP/IP协议和千兆交换机下,Lustre的并发性很难发挥,但设置合适的客户端数和系统参数可以优化其性能,相对本地磁盘系统,Lustre系统仍有较大的性能提高和实用价值。

并行文件系统Lustre细粒度I/O性能优化

并行文件系统Lustre粗粒度I/O性能良好,细粒度I/O性能相对粗粒度I/O比较低下,因此优化细粒度I/O性能成为提高系统整体I/O性能的关键问题。在研究和分析了Lustre的I/O访问模式、细粒度I/O服务流程和页面替换算法等方面后,提出了细粒度优先(Fine Grained First,FGF)LRU算法。在OST端及Client端的页高速缓存中最大程度地保留细粒度I/O的页面,降低细粒度I/O引起的页面下沉速度,延长细粒度I/O页面在主存中的时间,进而减少对磁盘的访问次数,降低磁盘访问开销。通过对实验数据的对比和分析,验证了FGF-LRU算法的有效性。在不影响粗粒度I/O性能的情况下,提高了细粒度I/O性能,最终实现提高系统整体I/O性能。

基于Lustre文件系统的海量暂存COMTRADE数据分布存储模式

研究了一种基于Lustre分布式并行文件系统的高性能I/O流式数据存储模式,能够满足当前行波暂态采集装置海量暂态数据的高速并发读写访问的需求。通过采用多客户端工作模式,并且将多个暂态数据文件聚合成大文件,可以进一步提高访问带宽和使用效率。实验数据表明该模式具有较高的I/O性能,能够满足目前和未来海量电力数据的高速存储管理需求。

新疆天文台Taurus高性能计算系统

新疆天文台Taurus高性能计算系统由1个登陆节点、16个计算节点、2个I/O节点、100 TB高速存储组成。其中央处理器理论双精浮点计算能力6.758 4 Tflops,通过Linpack测试实际峰值为6.289 Tflops,可提供计算能力为理论值的93.06%;图形处理器理论计算能力18.72 Tflops,实际测试计算峰值为14.882 Tflops,计算效率为理论值的79.5%。系统计算与存储节点均采用56 Gb Infiniband交换互连,通过IOZone测试存储系统,单节点写速度可达460 MB/s,多节点写速度可达800 MB/s。系统已在多相滤波及消干扰图形处理器算法加速、蒙特卡罗模拟等领域得到了应用。

Lustre分布式锁管理器的分析与改进

分布式文件系统一般使用分布式锁管理器技术为系统中的共享资源提供协同访问和一致性视图,并且保证数据并发访问的安全性,避免潜在的数据破坏的危险。本文首先分析了分布式文件系统Lustre分布式锁管理器的基本原理和实现,并针对发生冲突时锁请求的延迟存在的问题提出了改进的方案,它不仅提高了I/O性能,降低访问延迟,而且提高了文件锁服务的可靠性。

基于Lustre的BES集群存储系统

满足BES计算庞大的I/O访问需求,需要先进的存储体系结构和合理的配置。描述了基于Lustre的BES集群存储系统的设计和实现。介绍了Lustre的组成和作为PetaScale级分布式文件系统的设计特点,描述了BES集群存储系统的具体实现,分析了系统的负载特征。分析了硬件级、操作系统级和文件系统级的性能影响因素,并针对关键因素的不同配置做了测试,提出性能优化方案。

面向高性能计算的混合存储系统设计与实现

提出了一种采用RAM-disk的混合存储系统,在计算节点的并行文件系统的元数据服务器和对象存储服务器组件中设置不同用途的RAM-disk,用于缓存各种访问模式的文件并提高系统的读写性能.结果表明,采用RAM-disk的混合存储系统可以明显提高系统的读写性能,同时可提高系统的可用性和可维性.

一种改进的基于缓存池机制的小文件I/O策略

Lustre文件系统对大文件的I/O性能较好,但对小文件不佳。针对这个问题,提出建立一个基于MDS节点的小文件缓存池机制,在缓存池里缓存经常被访问的小文件。在该机制中,小文件缓存池与OST使用全相联映射方式对应,并且使用贯穿读出式和直写式策略保持文件的一致性;缓存池更新策略综合考虑了文件的访问时间和次数等因素,使用改进的近期最少使用算法(LRU)更新替换。实验结果表明,改进后的Lustre文件系统减少了小文件的网络传输开销和访问时间,对小文件的I/O性能有较明显的提高。虽然它对大文件的I/O性能有所降低,但在可接受范围之内,仍具有一定的实用价值。

基于策略的对象存储文件系统管理模型研究

基于对象存储文件系统结构特点和策略管理思想,提出了对象存储文件系统管理的一般模型。定义了两种策略结构,并通过分析对象存储文件系统节点状态转换逻辑关系,给出了管理策略订制的理论依据。模型及其管理策略订制方法在Lustre对象存储文件系统中得到应用,效果良好。

栅格地理数据并行格式转换引擎

如今大规模地理数据正在社会各个部门和组织中迅速积累,但是由于部门利益和历史沿袭等原因,大规模地理数据共享仍然极具挑战,相应共享技术需求仍然极其旺盛。作为地理数据共享的基础方式之一,传统单机地理数据格式转换技术,一方面受限于磁盘读写及带宽瓶颈,另一方面面对日趋庞大的数据规模,已很难满足实际应用需求。因此提出一种针对栅格地理数据的并行格式转换引擎,采用高性能计算集群环境支持大规模栅格地理数据转换共享,大幅降低了大规模栅格地理数据转换过程的时间成本。栅格地理数据并行格式转换引擎采用基于公共接口的设计理念,框架灵活、具有良好的扩展性,支持地理数据格式的读写自定义以及新数据格式添加,能够实现接入数据格式间的任意两两转换。为验证引擎框架及其处理效率,在Lustre并行集群环境下以格网数据交换格式(国家地理空间数据交换格式)向常见栅格地理格式的转换为示例进行了测试实验。结果表明,栅格地理数据并行格式转换引擎能够在8个节点Lustre集群中达到7.54的良好并行加速比。

Lustre文件系统元数据服务恢复机制的改进

Lustre的重启恢复算法需要集群中所有客户端在指定的恢复时间窗口内与服务器重新建立连接,客户端重传未提交的事务请求,服务器严格按照事务序列号重放所有未提交的事务,要求过于严格。针对Lustre可恢复性不强的缺点,提出了基于版本的恢复和共享时提交算法,它们分别对Lustre现有的元数据更新和恢复机制进行了改进和扩展,根据事务之间的依赖关系,允许客户端在更为宽松的条件下进行恢复并加入到集群而不被驱逐,提高了Lustre文件系统的可用性和可恢复性。最后通过一系列实验对改进后的算法的性能进行了评估。