PVFS元数据服务器的并行化设计与实现

PVFS并行文件系统采用集中式的元数据服务器,这使得元数据服务器在大量的文件操作情况下成为I/O瓶颈。该文通过增强PVFS的客户端和元数据服务器的相关功能,使得客户的文件请求按照文件名的Hash变换转向不同的元数据服务器,在保留原来的用户访问方式和系统配置不变的情况下实现元数据服务器的并行化,达到明显提高元数据服务器的总吞吐量和可扩展性。

PVFS代码结构及并行Meta服务研究

PVFS(ParallelVirtualFileSystem)广泛应用于PC集群并行计算环境中,通过ROMIO形式的MPI-IO接口与MPICH结合,用于提高数据文件的访问性能,通过对PVFS的源代码分析,得出PVFS的系统架构、运行机制与采用的策略,并在这个基础上找出元数据服务器并行化的可行性,以设计出并行元数据服务方案来提高元数据访问的吞吐率。

PVFS客户端目录缓存设计与实现

缓存技术是提高并行文件系统性能的关键性技术。在并行文件系统中实现客户端目录缓存,不仅可以减轻目录服务器的压力,避免目录服务器成为系统瓶颈,而且可以简化客户端操作过程,提高并行文件系统的性能。该文对PVFS并行文件系统进行了分析,建立了客户端目录缓存模型;就客户端目录缓存实现的一些关键性问题,如缓存池开辟位置、一致性等问题进行了研究,给出了解决方法,并在此基础上实现了一个客户端目录缓存的原型系统。测试结果表明,加入缓存后,PVFS系统性能有所提高。

并行文件系统PVFS

介绍了Linux集群上的并行文件系统PVFS(ParallelVirtualFileSystem)系统的特点、设计原理及实现。该系统有开放的源代码,并支持多种应用程序接口(API)。

PVFS在Linux集群上的应用研究

分析了并行虚拟文件系统PVFS(Parallel Virtual File System)在可靠性方面存在的不足,设计并实现了PVFS 的高可用方案以及备份／恢复技术,增强了PVFS文件系统的容错能力和扩展能力。通过实例对PVFS在Linux集群上运行的性能进行了测试分析,探讨了PVFS在Linux集群上的应用部署方案。

并行文件系统管理工具的设计与实现

通过对常用并行文件系统体系结构的分析,提出了一种适用于某一大类并行文件系统的管理框架。以该管理框架为基础,实现了PVFS并行文件系统的管理工具,并为用户提供了单一映像的管理控制台。功能测试结果表明,该管理工具的引入降低了并行文件系统管理的复杂性。

高性能计算存储关键技术研究

存储技术是影响高性能计算机发展的一个十分重要的关键技术,由其构成的系统是高性能计算机系统中的重要组成部分,其决定了计算机I/O的处理能力,进而决定了计算机的整体性能以及应用环境.为缓解I/O能力与计算能力不匹配而存在的I/O瓶颈问题,需要进一步研究计算、网络以及外围存储系统的平衡设计与系统平滑匹配,研究应用系统I/O负荷的智能设备和动态透明调整系统的资源配置,以适应计算密集型、通信密集型和I/O密集型等不同应用与服务.重点研究面向高性能计算存储系统关键技术,在高性能计算、信息处理和信息服务等应用领域对外围存储系统的I/O能力提出了很高的要求,需要支持成千上万个客户端访问高可靠、能够支持PB、EB乃至ZB级的超大规模外围存储系统,支持TBps的聚合I/O带宽能力,这对下一代HPC存储系统结构、高性能存储载体部件、I/O通路、高性能存储网络、网络存储技术等都提出了新的挑战.

并行虚拟文件系统客户端缓存技术研究与实现

缓存技术是一种提高文件系统性能的关键性技术.在并行文件系统中实现客户端缓存,既能够减轻集群服务器系统的通信负载,又能有效地提高文件系统的性能.对PVFS并行文件系统进行了分析,建立了客户端缓存模型;就客户端缓存实现的一些关键性问题,如一致性、查找、替换等进行了研究,给出了解决方案,并在此基础上实现了一个客户端缓存的原型系统.测试结果表明,加入缓存后,PVFS整体性能有明显的提高.

虚拟机快速全系统在线迁移

虚拟机全系统在线迁移对于广域网或者没有共享存储的局域网中的虚拟化平台非常重要.然而,全系统映像一般在几十吉字节(gigabyte,GB)量级,迁移这些数据需占用大量I/O带宽且时间开销很大.快速全系统在线迁移方法具有如下特点:文件系统感知的磁盘同步,利用文件系统的磁盘块分配位图,只拷贝实际使用的磁盘块,显著减少了第1阶段同步的磁盘映像数据量;异或压缩,利用映像数据的自相似性,快速有效地减少了迁移最后两个阶段拷贝的数据量;流水迁移,流水化迁移各个阶段,使得读写映像、压缩解压映像、网络收发各阶段充分并行.实验表明,与传统压缩迁移相比,快速迁移可以减少50%的迁移时间,最好情况和平均情况下,能分别降低21.68%和14.48%的停机时间.在网络带宽受限或虚拟机负载过重等极限条件下,快速迁移同样有效.

分布式地震数据文件系统

在地震资料处理系统中,对TB级的海量地震数据文件的存取存在严重的I/O瓶颈。针对地震数据文件操作的特点,提出了一个基于集群环境的分布式地震数据文件系统(DSFS)。该系统由数据库节点、地震数据文件节点、计算节点组成。设计了面向地震道集数据的分布式文件架构,该架构以地震道头信息索引数据库为中心,将一个大的地震数据文件分解为多个可独立操作的子文件,建立基于道头字的索引数据表,根据索引表可快速定位道数据所在的子文件及数据块。设计了一组DSFS文件操作和道集数据读写操作,提供了针对虚拟文件按道头字值进行数据查询和输入输出,屏蔽了分布式文件的细节,并提出了文件分布及并行存取策略。DSFS在地震资料处理系统得到应用并具有很高的数据存取效率。