并行文件系统研究综述

对于运行在机群上的一类I/O密集型应用,I/O成为整个系统的瓶颈,并行文件系统是解决I/O瓶颈问题的重要方法.但如何实现高性价比且高可用的并行文件系统,目前还没有一个成形完整的解决方案.本文阐述了并行文件系统的功能和模型,对现存的并行文件系统从三个不同的角度进行了分类,详细分析了设计并行文件系统的5个关键技术,分析评价了具有代表性的并行文件系统优缺点,最后讨论了进一步的研究工作.

并行文件系统中适度贪婪的Cache预取一体化算法

传统文件系统中的Ｃａｃｈｅ和预取技术是两种降低访问延迟的有效方法．在并行科学计算应用的Ｉ／Ｏ访问模式下，简单的Ｃａｃｈｅ和预取技术已无法提供较高的Ｃａｃｈｅ 命中率．该文在分析该Ｉ／Ｏ模式的基础上提出了适度贪婪的Ｃａｃｈｅ 和预取一体化算法（ＰＧＩ）．该算法充分利用了并行文件系统环境的特点，采用了适度贪婪的动态滑窗技术，可以有效地消除预取时的抖动，降低系统处理开销；并同时采用了Ｃａｃｈｅ 和预取一体化的淘汰损失估计算法，使淘汰的损失降到最低点，在整体上提供了较短的Ｉ／Ｏ

并行文件系统集中式元数据管理高可用系统设计

本文针对并行文件系统集中式元数据管理存在单一失效点的问题,设计了一种双元服务器高可用系统。通过元数据镜像生成冗余副本,保证了元数据的可靠性;通过故障屏蔽,实现了对客户端的连续服务。所有功能都是用内核模块来实现,因此对用户是完全透明的。最后,本文阐述了各个模块的实现,并对该系统进行了可靠性分析。

高可用并行文件系统的分布式元数据管理

提出一种分布式元数据管理方式,实现了HANDY并行文件系统元数据的高可用,并且使元数据服务器具有动态可扩展性.

面向并行文件系统的性能评估及相对预测模型

基于Lustre文件系统，对并行文件系统的性能评估和性能建模进行了研究．通过对性能因子的调研，进行了一系列性能评估实验，并提出性能相关性模~（PRModel）．在实验评估和PRModel分析中发现，在不同的性能因子之间存在着紧密的性能相关性，为了挖掘并利用这种相关性信息，提出了一种相对性能预测模（RPPModel）来预测不同性能因子条件下的性能．为了验证RPPModel的有效性，设计了大量实验用例．结果表明，预测结果的平均相对误差能够控制在170／o---28％的范围内，易于使用且具有较好的预测准确度．

并行文件系统自适应的文件条带化技术

研究并行文件系统自适应的文件条带(Striping)策略对改进文件访问性能的影响,并开发动态的文件条带分析模型,利用自动访问模式分类和实时文件系统性能数据为文件条带策略选择模糊逻辑规则库,来优化文件访问性能。研究结果表明:当文件系统负载低时,可以尽量将文件分布到所有磁盘上来最小化I/O的反馈时间;反之,在系统负载高时,使文件分布的范围小一些以便最大化文件系统整体的吞吐量。并通过实验给出了请求大小、请求宽度、请求到达率与系统性能的相互关系,实证了自适应规则库的正确性。

并行文件系统的关键技术与框架设计

论述并行文件系统的工作负载特征——基于空间和时间的文件访问模式,并对非连续数据访问技术进行比较研究;给出并行文件系统设计的原则与目标,最后提出并行文件系统的框架。

基于机器学习的并行文件系统性能预测

并行文件系统能有效解决高性能计算系统的海量数据存储和I/O瓶颈问题.由于影响系统性能的因素十分复杂,如何有效地评估系统性能并对性能进行预测成为一个潜在的挑战和热点.以并行文件系统的性能评估和预测作为研究目标,在研究文件系统的架构和性能因子后,设计了一个基于机器学习的并行文件系统预测模型,运用特征选择算法对性能因子数量进行约简,挖掘出系统性能和影响因子之间的特定的关系进行性能预测.通过设计大量实验用例,对特定的Lustre文件系统进行性能评估和预测.评估和实验结果表明:threads/OST、对象存储器(OSS)的数量、磁盘数目和RAID的组织方式是4个调整系统性能最重要因子,预测结果的平均相对误差能控制在25.1%～32.1%之间,具有较好预准确度.

并行文件系统Lustre细粒度I/O性能优化

并行文件系统Lustre粗粒度I/O性能良好,细粒度I/O性能相对粗粒度I/O比较低下,因此优化细粒度I/O性能成为提高系统整体I/O性能的关键问题。在研究和分析了Lustre的I/O访问模式、细粒度I/O服务流程和页面替换算法等方面后,提出了细粒度优先(Fine Grained First,FGF)LRU算法。在OST端及Client端的页高速缓存中最大程度地保留细粒度I/O的页面,降低细粒度I/O引起的页面下沉速度,延长细粒度I/O页面在主存中的时间,进而减少对磁盘的访问次数,降低磁盘访问开销。通过对实验数据的对比和分析,验证了FGF-LRU算法的有效性。在不影响粗粒度I/O性能的情况下,提高了细粒度I/O性能,最终实现提高系统整体I/O性能。

BeeGFS并行文件系统性能优化技术研究

大数据和人工智能时代,超级计算中心或数据中心的存储需求从PB级向Exabyte级扩展,许多大数据和智能应用程序在高性能计算(HPC)系统上运行,新兴的深度学习应用程序具有批量小文件随机输入特点,使HPC系统的I/O模式更趋复杂,存储管理和I/O瓶颈问题日益突出。并行文件系统是管理超级计算机数据存储的有效手段,但传统并行文件系统主要面向高带宽需求的科学计算任务,难以满足智能应用程序存储需求。针对上述问题,以新兴的BeeGFS文件系统为基础,研究并行文件系统性能优化的关键技术。设计实现了基于键值存储的元数据管理模块以优化元数据IOPS,基于异步I/O和多线程技术的并行I/O处理模型以提升I/O处理并发度,并采用多轨通信机制以提高网络通信带宽。构建了IO500性能评测环境,在相同的配置环境下,I/O带宽和元数据2类基准测试结果表明,改进后的并行文件系统在元数据、数据读写性能上大幅提升,IO500测分是原有系统的2倍以上。

并行文件系统客户端缓存对系统I/O性能的影响

对浪潮天梭并行文件系统(LCTS-PFS)客户端缓存性能进行了测试,提出了多客户端访问、带客户端缓存的并行文件系统排队模型.分析了不同缓存命中率、不同缓存空间大小和不同文件长度情况下,客户端缓存对I/O响应时间的影响.分析结果表明:I/O响应时间随缓存命中率提高而减少且在有/无缓存情况下的I/O响应时间曲线存在唯一交点,在此交点之前无缓存情况下I/O响应时间小于有缓存情况,而交点之后结果相反;缓存命中率不发生变化时,缓存空间越大I/O响应时间越长;相比无缓存情况下I/O响应时间,若客户端请求生成率固定,则访问文件越大,缓存对I/O响应时间提升越少;若请求生成率发生变化,则相同缓存命中率情况下,访问的文件越大缓存对I/O响应时间提升越多.性能测试和理论分析一致.

基于工作站网络的并行文件系统

为平衡输入输出子系统与处理机计算机及网络传输速率，本文提出了一个基于工作站网络环境下的并行文件系统Ｐａｒｆｓｎｏｗ并简要介绍了该系统组成，文件操作等，最后给出了性能评测。

对象存储并行文件系统小文件性能优化研究

对象存储并行文件系统在高性能计算领域被广泛采用,虽然大文件访问性能优异,但其小文件访问存在局限性。通过分析典型对象存储并行文件系统下的小文件的访问开销,采用服务端小文件专用缓存和基于对象命名关联性预取的方法提高小文件的缓存命中率,降低对象存储架构下小文件的读取延迟。基于Lustre并行文件系统实现了该方法。实际系统测试表明,该方法可显著提高小文件访问性能,其中小文件打包性能提升最大可达88%。

并行文件系统WPFS

介绍在 Windows NT平台上研制的并行文件系统

并行文件系统的设计

随着处理机速度和网络传输速度越来越快,外部1/0设备的速度却相对落后了三、四个数量级,已经成为影响整个系统速度的瓶颈.另一方面,诸如多媒体、图像处理这些应用所需要的数据传输率越来越大,因而有必要支持高速的I/O子系统以弥补磁盘与处理机之间速度的差异,支持I/0密集的应用之高数据传输率。为了提高1/0速率,提供大的I/O带宽,在硬件结构上可以并行使用磁盘来解决。对于一个MIMD系统中使用多磁盘输入/输出子系统,

并行文件系统中高效遥感数据分布技术之研究

本文简要回顾了并行文件系统领域方面的研究,介绍了一种高效的基于大数据量遥感信息的并行文件系统PIPFS(ParallelRemoteSensingImageProcessingFileSystem)中的数据分布机制和元数据格式,说明了该并行文件系统设计中数据分布的主要特点,并对系统特有的数据分布方式和元数据格式进行了详细说明,进行了相关数据测试,用以说明该并行文件系统利用数据分布策略来提高效率的独特特点。

并行文件系统管理工具的设计与实现

通过对常用并行文件系统体系结构的分析,提出了一种适用于某一大类并行文件系统的管理框架。以该管理框架为基础,实现了PVFS并行文件系统的管理工具,并为用户提供了单一映像的管理控制台。功能测试结果表明,该管理工具的引入降低了并行文件系统管理的复杂性。

一种适用于并行文件系统的高可用机制

针对并行文件系统文件数据分布存储的特性所带来的系统可靠性和可用性降低的问题,提出了一种提高并行文件系统可靠性与可用性的机制.该机制采用数据镜像技术,应用逻辑镜像环来指定存储节点间的镜像关系,使得一个存储节点既存储自身的数据,也作为其他节点的数据备份节点.该机制还可以通过调整镜像深度,以满足用户对文件系统不同级别的可靠性和可用性要求.同时,建立了马尔可夫链模型,以评估所提机制的可靠性和可用性.数学求解表明,在镜像深度为2时,应用该机制的并行文件系统发生数据丢失的平均时间大大提高,约为原系统的32倍.

一个基于NOW的跨平台并行文件系统的设计和实现

1.引言近年来,国内外对并行文件系统做了很多的研究,著名的有:一些商用的并行文件系统,如Intel为iPSC/2和iPSC/860而设计的CFS,以及IntelParagon的并行文件系统PPFS。还有HPF的运行支撑系统PASSION。研究性的则有PIOUS等。它们通常是针对并行机设计的,应用范围较为狭窄。随着对NOW(Network of Workstations,工作站网络)的研究深入。

并行文件系统PARFSNOW^(++)中的协作式缓冲技术研究

1 引言近年来,国内外对并行文件系统做了很多的研究,提出了许多有特色的并行文件系统,如xFS,ParfiSys,Galley,Scotch,Zebra,许多系统采用了协作式高速缓冲机制。使用这种机制,所有节点都提供自己的部分内存供共享,并通过协同机制统一调度这些分布式的共享内存,为并行文件系统提供一个虚拟的高速全局共享缓冲区。这种协作式缓冲扩大了数据缓冲区的容量,能有效提高文件数据在缓存中的访问命中率,减少磁盘的访问次数,以便提高系统性能。但是,协作式高速缓冲在带来性能提升的同时也带来了一些非常难以解决的问题:如何维持共享数据的一致性。通常情况下,使用协作式高速缓冲机制的文件系统往往需要实现一套非常复杂的数据一致性维护机制,但该机制的运行开销十分高昂,无形中又降低了系统运行的效率。