基于Infiniband技术构建高性能分布式文件系统-Lustre

介绍了基于对象的分布式文件系统Lustre,分析了其通信机制,重点介绍了Infiniband以及IPOIB技术。基于Infiniband技术构建了高性能Lustre文件系统。通过对该系统进行性能测试并将其与千兆以太网条件下的Lustre进行了比较,可以看出Infiniband技术极大地提高了Lustre的性能,具有很大的潜力。最后介绍了下一步的工作。

基于Lustre文件系统的MPI检查点系统实现技术与性能测试

基于协同式检查点的回卷恢复是在大规模并行计算机系统中得到采用的一项重要容错技术,其性能开销主要为协同协议和检查点映像存储所决定.描述了一个在MPICH2中实现的应用透明的并行检查点系统,相比已有的技术,该系统有以下特点:1)协同协议操作利用了并行应用的近邻通信特性,通过虚连接方法减少协议的处理开销;2)采用Lustre文件系统简化检查点映像文件管理的复杂性;3)通过并行I/O操作提高性能,优化检查点映像的存储过程.实际应用的测试表明,该检查点系统具有较小的运行时间开销和良好的可扩展性.

Lustre文件系统I/O锁的应用与优化

分布式文件系统需要有一种机制对来自各个客户端的并发访问进行控制,维护文件数据的一致性。锁是实现并发控制最流行的机制。研究了Lustre文件系统的分布式I/O范围锁的模型,并对它的各种应用进行了优化。介绍了Lustre分布式锁的基本概念,对基于锁实现数据客户端写回缓冲以及多写者文件大小的动态获取的算法进行了分析;提出自适应I/O锁策略,基于区间树的范围锁冲突检测优化策略以及客户端锁淘汰策略来增强Lustre锁服务的性能和扩展性。

NFS over Lustre性能评测与分析

传统的网络文件系统难以满足高性能计算系统的I/O需求,基于对象存储的全局并行文件系统Lustre可以有效地解决传统文件系统在可扩展性、可用性和性能上存在的问题。该文介绍了Lustre文件系统的结构及其优势,对NFS over Lustre进行了性能测试,并将测试结果与Lustre文件系统、NFS网络文件系统及本地磁盘Ext3文件系统的性能进行了比较分析,给出了性能差异的原因,提出了一种可行的解决方法。

Lustre文件系统中范围锁机制的应用研究

分布式锁机制是分布式文件系统的重要机制,Lustre是一种高性能的分布式文件系统,针对现有的范围锁机制,在处理多客户端大量并发的密集型共享文件访问时,存在操作延迟、文件数据一致性管理复杂的问题,为了解决这类问题采用了可伸的锁范围划定、对范围锁赋予周期、范围锁版本控制相结合的改进机制。实验结果表明,采用改进后的范围锁机制,不仅保证了文件数据的一致性,一定程度上降低了并发文件访问延迟,从而保证了分布式文件系统的I/O性能。

面向对象存储的文件系统Lustre

针对Lustre文件系统主要运用在高性能计算集群系统上的情况,分析Lustre文件系统的系统结构及其内部实现机制,测试系统在不同参数影响下的性能,认为Lustre可以运用在高性能集群系统上,也能运用在由普通计算机和TCP/IP网络构建的集群系统上。实验结果表明,在TCP/IP协议和千兆交换机下,Lustre的并发性很难发挥,但设置合适的客户端数和系统参数可以优化其性能,相对本地磁盘系统,Lustre系统仍有较大的性能提高和实用价值。

并行文件系统Lustre细粒度I/O性能优化

并行文件系统Lustre粗粒度I/O性能良好,细粒度I/O性能相对粗粒度I/O比较低下,因此优化细粒度I/O性能成为提高系统整体I/O性能的关键问题。在研究和分析了Lustre的I/O访问模式、细粒度I/O服务流程和页面替换算法等方面后,提出了细粒度优先(Fine Grained First,FGF)LRU算法。在OST端及Client端的页高速缓存中最大程度地保留细粒度I/O的页面,降低细粒度I/O引起的页面下沉速度,延长细粒度I/O页面在主存中的时间,进而减少对磁盘的访问次数,降低磁盘访问开销。通过对实验数据的对比和分析,验证了FGF-LRU算法的有效性。在不影响粗粒度I/O性能的情况下,提高了细粒度I/O性能,最终实现提高系统整体I/O性能。

基于Lustre文件系统的海量暂存COMTRADE数据分布存储模式

研究了一种基于Lustre分布式并行文件系统的高性能I/O流式数据存储模式,能够满足当前行波暂态采集装置海量暂态数据的高速并发读写访问的需求。通过采用多客户端工作模式,并且将多个暂态数据文件聚合成大文件,可以进一步提高访问带宽和使用效率。实验数据表明该模式具有较高的I/O性能,能够满足目前和未来海量电力数据的高速存储管理需求。

Lustre分布式锁管理器的分析与改进

分布式文件系统一般使用分布式锁管理器技术为系统中的共享资源提供协同访问和一致性视图,并且保证数据并发访问的安全性,避免潜在的数据破坏的危险。本文首先分析了分布式文件系统Lustre分布式锁管理器的基本原理和实现,并针对发生冲突时锁请求的延迟存在的问题提出了改进的方案,它不仅提高了I/O性能,降低访问延迟,而且提高了文件锁服务的可靠性。

基于Lustre的BES集群存储系统

满足BES计算庞大的I/O访问需求,需要先进的存储体系结构和合理的配置。描述了基于Lustre的BES集群存储系统的设计和实现。介绍了Lustre的组成和作为PetaScale级分布式文件系统的设计特点,描述了BES集群存储系统的具体实现,分析了系统的负载特征。分析了硬件级、操作系统级和文件系统级的性能影响因素,并针对关键因素的不同配置做了测试,提出性能优化方案。

Lustre文件系统元数据服务恢复机制的改进

Lustre的重启恢复算法需要集群中所有客户端在指定的恢复时间窗口内与服务器重新建立连接,客户端重传未提交的事务请求,服务器严格按照事务序列号重放所有未提交的事务,要求过于严格。针对Lustre可恢复性不强的缺点,提出了基于版本的恢复和共享时提交算法,它们分别对Lustre现有的元数据更新和恢复机制进行了改进和扩展,根据事务之间的依赖关系,允许客户端在更为宽松的条件下进行恢复并加入到集群而不被驱逐,提高了Lustre文件系统的可用性和可恢复性。最后通过一系列实验对改进后的算法的性能进行了评估。

Lustre文件系统的性能优化研究

为了进一步推动Lustre在海量存储系统中的应用,在分析其系统结构和数据存储分发机制的基础上,研究如何更全面的优化配置Lustre。结合具体实验环境,首先对比不同网络传输性能对Lustre文件系统的影响;其次深入剖析Lustre自身结构的特点,制定优化策略,同时针对不同的客户端配置也进行了测试优化研究。最后,根据实验结果进一步明确并扩充了影响Lustre文件系统性能的因素,提出一种整体优化Lustre的方案。

基于Lustre文件系统的MPI-IO编程接口改进

针对传统MPI集群并行I/O效率不高的问题,通过分析Lustre并行文件系统的特点和MPI-IO集中式I/O操作的算法,提出了一种基于MPI-IO编程接口的改进方案,用以改善集群I/O瓶颈,提高I/O并行效率,并通过实验验证了该方案的可行性。

基于对象存储的Lustre文件系统的研究

随着高性能计算网络集群系统的高速发展,传统的网络存储架构——网络附加存储NAS和存储区域网SAN已越来越不能够满足系统对存储性能的要求。针对SAN和NAS的不足,新一代的网络存储技术——基于对象存储OBS成为了研究的热点。重点论述了基于对象存储的架构和特点,并针对基于对象存储的Luster文件系统进行了初步测试,通过和传统的NFS文件系统对比,分析了对象存储文件系统在可扩展性、性能、易用性和安全性等方面的优越性能。

基于公开密钥基础设施的Lustre安全模型设计

在分析并行文件系统Lustre存在的安全隐患的基础上,根据其存储特点,利用公开密钥基础设施(PK I)安全机制设计相应的安全模型。该模型包括证书管理和用户访问两部分,证书管理部分采用PK I本身的证书管理机制,用户访问部分采用双向身份认证和数字签名方式,且在认证过程中加入对随机数的检验。在传输请求信息和认证信息时,采用非对称加密机制;在传输大量数据时,采用对称加密机制。该模型能较好地解决存储系统存在的身份冒充、数据窃取、数据篡改以及重放攻击等安全隐患,提高Lustre的安全性。

分布式文件系统Lustre的研究

随着高性能技术的不断发展,传统存储系统在可扩展性、可用性和性能上已不再满足高性能计算的I/O要求,分布式文件系统Lustre可以有效地解决这些问题。探讨了分布式文件系统和Lustre体系结构,通过实验在普通PC机群上搭建了Lustre文件系统,并对机群I/O性能进行了测试。

基于Lustre的大规模文件系统拥塞控制算法的研究

在高性能计算中,基于对象存储的分布式文件系统Lustre文件系统具有极为广泛的应用,并取得了较好的效果.随着存储规模的不断扩大,Lustre文件系统内部的请求数量呈线性增长趋势,拥塞随之发生.通过分析发生拥塞的Lustre文件系统,针对其拥塞原因提出了一种大规模存储下的拥塞控制算法——状态感知拥塞控制算法.对比拥塞控制前后Lustre文件系统的测试结果可以发现,该算法极大地提高了Lustre文件系统在大规模存储情况下的性能,提高了Lustre文件系统的扩展性.

Lustre设置优化分析

在影响Lustre文件系统读写性能的因素中,Lustre文件系统的自身设置是非常重要的,所以研究Lustre文件系统的性能就需要在这个方面进行详细的实验测试,并根据实验结果进行分析,才能提出更符合应用需求的Lustre文件系统读写优化方案。

同步语言Lustre的编译前端的设计与实现

同步语言Lustre所描述的反应系统通常应用在航空航天、国防建设等领域,对系统的正确性和安全性都要求很高。如果系统在运行时出现了正确性问题,很可能会导致系统崩溃,产生非常严重的后果。系统中的任何一个词法错误或者语法错误都应该受到重视,而且应该被及时纠正。因此,对Lustre语言进行正确的编译是十分重要的。传统的Lustre语言的编译器都采用OCaml语言描述,无法保证所有人员都能够很容易地理解和使用,而且,需要耗费开发人员大量的时间和精力。基于上述问题,提出了一种新型的Lustre语言编译器。新型的Lustre语言编译器前端主要采用C++语言进行描述,并对生成的抽象语法树的结构进行重新定义,简化了编译的过程。该编译前端会对一个经典的Lustre语言模型进行检测,通过对检测的结果进行分析,验证了该编译前端的可行性。

面向Lustre集群存储的应用日志分析及系统自动优化框架

在科学计算、大数据处理和人工智能等领域,对相关应用负载进行研究,分析负载I/O模式,揭示应用负载变迁规律等,对指导集群存储系统性能优化十分重要。当前应用种类繁多并且应用快速迭代更新,复杂的环境使得对应用负载的特性挖掘充满挑战。针对以上问题,在生产环境中收集了5个Lustre集群存储共计326天的应用日志信息,对应用负载的访问、负载特性进行了深入的探究与分析,并对已有观察进行了验证和补充。通过对应用日志信息横向、纵向和多维度对比分析与信息挖掘,总结了4个发现,并研究相关发现与以往工作的关联性,结合实际生产环境,给出了相应的系统优化策略与切实可行的实施方案,为用户、维护人员、上层应用开发者和多层存储系统设计等人员提供了相关参考与建议。同时,针对实际应用环境复杂、系统优化工作耗时费力等问题,设计并实现了一种系统自动优化框架(SAOF),SAOF可为指定应用负载提供资源预留、带宽限定等功能,初步测试表明,SAOF能根据系统资源与任务负载需求为不同任务提供自动化的QoS保障。