面向算力网络的跨域数据管理方法

跨域算力网络希望整合多个算力中心的计算和数据资源,但现有的方案对跨域文件和数据管理关注不够。提出了一种轻量级的跨域算力网络数据管理方案:通过文件系统协议转换,接入远程算力中心的并行文件系统存储资源;算力中心内部的存储资源作为一种补充,应对高IOPS应用;通过容器绑定技术,将远程存储挂载并绑定到指定目录。基于该方案的原型系统已经在高校校级计算平台部署运行。实测数据和用户体验显示,该方案能够满足常见高性能计算应用需求。

并行网络文件系统PNFS性能评测与分析

传统的网络文件系统难以满足高性能计算系统的I/O需求,并行网络文件系统——PNFS可以有效地解决传统网络文件系统在可扩展性、可用性和性能上存在的问题。首先对PNFS的体系结构进行了设计,实现了元数据服务器与存储服务器的分离,消除了由于集中服务器结构引发的I/O瓶颈问题。然后,对PNFS的原型系统进行了性能测试,并与相同环境下NFS的测试结果进行比较与分析,结果表明PNFS能够为客户端提供并行访问文件数据的能力,有着较高的I/O读写带宽和较低的访问延迟,同时实现了客户端I/O带宽与存储服务器规模之间的线性可扩展关系,能较好地满足高性能计算中的I/O需求。

Readdir++:一种并行网络文件系统中海量小文件读优化技术

高效管理海量小文件,提供低延时的小文件访问服务,是并行网络文件系统的研究热点.p NFS采用数据带外访问模式,元数据的访问频率高,对海量小文件的访问性能造成了很大影响.本文扩展了p NFS中的读目录授权机制,并在其框架下提出了一种Readdir++技术,用于批量预取layout等元数据,并确保预取元数据的有效性.Readdir++技术避免了小文件读取过程中同步的元数据获取开销,有效降低了访问延迟,提升了海量小文件的读取访问性能.典型应用环境实测表明,对比p NFS系统,Readdir++技术可将海量小文件读取访问过程中元数据性能提升到14.27倍,总体性能提升到1.78倍.

基于pNFS的小文件间数据预读机制研究

随着信息技术飞速发展,小文件的数量越来越多.高效管理海量小文件、提供低延时的小文件访问服务,是并行网络文件系统的研究热点.小文件数据读取访问中,由于数据读取粒度小并且不同小文件之间的数据访问空间连续性差,难以发挥数据存储设备的大粒度顺序访问的性能优势,导致小文件的访问性能远远低于大文件的访问性能.在扩展只读目录授权机制框架下,提出一种小文件间数据预读机制,充分发挥了数据存储设备大粒度顺序访问性能的优势,大幅降低了小文件数据读取访问延迟.典型应用环境实测表明,对比pNFS系统,小文件数据顺序读取访问性能最高可提升8.92倍,随机读取性能最高可提升11.82倍.

一种基于光纤通道存域网的存储管理系统的设计与实现

存储局域网 (Storage Area Network)的管理问题是目前学术界和业界的一个热点 .本文首先分析了 SAN管理中面临的主要问题及解决途径 ,进而提出了一套按分层思想设计的存储网络管理系统 (SNMS) ,详细介绍了每层的定义、功能。

并行文件系统简介及主流产品对比

对并行文件的主要功能及作用进行了描述,并对各类并行文件系统的技术原理进行了分析;通过对不同产品的元数据管理及锁管理的实现机制的分析,给出了相应技术指标的比较,同时分析不同机制下的优缺点,并结合中国联通BSS系统的特性,给出了各类共享文件系统的适用场景。

Parfsnow++:一个充分使用内存的并行文件系统

本文介绍了一个在工作站网络环境下实现的加入了分布式共享存储器机制的并行文件系统Ｐａｒｆｓｎｏｗ＋＋，它充分使用工作站的内存资源进行数据共享和替换．本文介绍了此文件系统的系统组成、文件操作．最后给出了性能评价．

集群Web服务器系统及负载平衡技术在情报信息网中的应用

随着集群的广泛应用 ,集群管理的重要性显得越来越明显。分析了负载平衡集群服务器的结构和特点。探讨了基于情报信息网络负载平衡的主要技术。网络负载平衡提高了诸如 Web服务器、FTP服务器和其它关键任务服务器上的服务程序的可用性和可伸缩性。

基于合并控制消息的分布式文件系统优化机制

目前将控制消息通信与数据通信分离能大大提高分布式文件系统的性能,但大量的控制消息通信仍然是影响分布式文件系统性能的重要因素.在分析pNFS中控制消息通信协议的基础上,基于操作语义,提出一种基于合并RPC的控制消息通信协议,通过减少控制消息通信的数量,达到提高分布式文件系统读写性能的目的;并在pNFS-2.6.33的基础上实现一个原型系统,使用Filebench以及多种负载数据集进行了测试与分析,实验结果显示在文件大小达到2GB以上时读写性能比之前提高了约5%.

Redbud并行文件系统文件布局的设计与实现

文件布局是文件系统的重要组成部分,维护了文件的逻辑位置到物理位置的映射关系.Redbud并行文件系统(RFS)舍弃了分布式文件系统常用的基于块的文件布局,提出一种基于扩展区间的文件布局方法,提高对大文件的顺序访问读写速度.RFS遵循"满足应用请求最低要求"的原则,即元数据服务器仅返回文件Layout中与应用请求对应的文件区间给客户端,能有效减少了客户端获取Layout的网络传输开销,提高系统的性能,并用空间连续分配策略及扩展区间实时合并策略,有效地提高了文件布局操作的速度.对比测试了RFS、EXT3和NFS对16GB大文件的操作性能,RFS随机读、随机写、顺序读、顺序写文件的吞吐率分别比NFS高47.5%、51.8%、65.6%和75.1%,RFS读文件的吞吐率略高于EXT3,RFS顺序写和随机写的吞吐率分别比EXT3高21.2%和15.4%,同时,RFS总的吞吐率呈线性增长,逼近实验环境的极限值200MB/s,结果表明,基于扩展区间文件布局的Redbud并行文件系统具有高性能.

基于OSD的pNFS性能评测与分析

传统高性能存储服务如存储局域网(SAN)和网络附加存储(NAS)在性能和扩展性上难以满足海量数据的处理要求。基于对象存储设备(OSD)的并行网络文件系统(pNFS)通过元数据和数据的分离,有效弥补网络文件系统(NFS)性能和扩展性上的不足。为了解其实际性能,文章对基于OSD的pNFS与传统NFS进行了对比测试。首先介绍了pNFS的结构和特点,然后从吞吐率、小文件事务处理性能等方面对其进行测试,并与NFS的性能进行了对比分析,结果表明pNFS在同等硬件条件下可提供较高的吞吐率和扩展性。最后,针对现有原型系统的不足,提出改进方案。

地震处理叠前时间偏移并行作业运行效能研究

文章围绕运行在惠普集群Omega地震处理软件平台上的"常家围子西部大连片深层叠前偏移处理"重点项目,研究了Omega软件叠前时间偏移并行作业运行机制,改进了系统运行环境,提高了系统运行的稳定性,保障了西部大连片深层5158.73平方千米叠前偏移处理任务的顺利进行,提高了叠前时间偏移作业并行运行效率,使得惠普集群运行效能得到了整体发挥。

存储区域网络技术在数据处理中心的应用

随着高性能计算技术的发展,实现对大规模数据的高效存取已成为行业中提高系统整体性能的关键。传统的NFS存储架构,由于其I/O存取带宽低,容易造成TCP/IP局域网络的瓶颈,因此制约了系统整体性能的发挥。为了有效地缓解TCP/IP网络瓶颈,提高海量数据的访问效率,实现网络中各服务器节点对地震数据的共享,我中心自2004年起先后两次进行了存储区域网络的构建,并安装了ADIC公司的SNFS存储共享软件。本文重点介绍了存储区域网的构建、整合方法,并对存储共享软件SNFS的安装与配置做了简单介绍,对其它数据处理中心的存储区域网络构建和应用具有一定的借鉴作用。