期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息

高强度I/O的应用对并行存储系统的挑战和解决方法研究 被引量：2

Challenges and Solutions of Parallel Storage Systems for I/O-Intensive Applications
下载PDF
导出
摘要 具有高I/O密集特性的高性能计算应用对高性能计算机存储系统综合性能的要求越来越高.以石油地震勘探数据处理为代表的一类重要应用表现出I/O数据量巨大、I/O访问密度大,对单个磁盘阵列存储部件的读写带宽要求高的特征.在Lustre文件系统中,充当对象存储服务功能的磁盘阵列设备输出带宽的不足将成为阻碍存储系统整体性能发挥的重要因素.针对此类问题,提出了一种缓存管理方法,分别在客户端添加VDISK模块,在OST端添加Cache模块,二者协同提高并行文件系统I/O的输出带宽的使用效率;另外,充分利用客户端空闲内存以及客户端之间的通信带宽,降低应用程序对磁盘阵列设备输出带宽的要求.通过大规模并行模型的验证表明,VDISK提高了实际可用的输出带宽,提高了外部存储系统的I/O效率. 具有高I/O密集特性的高性能计算应用对高性能计算机存储系统综合性能的要求越来越高.以石油地震勘探数据处理为代表的一类重要应用表现出I/O数据量巨大、I/O访问密度大,对单个磁盘阵列存储部件的读写带宽要求高的特征.在Lustre文件系统中,充当对象存储服务功能的磁盘阵列设备输出带宽的不足将成为阻碍存储系统整体性能发挥的重要因素.针对此类问题,提出了一种缓存管理方法,分别在客户端添加VDISK模块,在OST端添加Cache模块,二者协同提高并行文件系统I/O的输出带宽的使用效率;另外,充分利用客户端空闲内存以及客户端之间的通信带宽,降低应用程序对磁盘阵列设备输出带宽的要求.通过大规模并行模型的验证表明,VDISK提高了实际可用的输出带宽,提高了外部存储系统的I/O效率.
作者 董文睿 刘光明 刘欣
机构地区 国防科学技术大学计算机学院
出处 《计算机研究与发展》 EI CSCD 北大核心 2012年第S1期47-52,共6页 Journal of Computer Research and Development
关键词 并行文件系统 缓存 输出带宽 parallel file system cache output bandwidth
分类号 TP3 [自动化与计算机技术—计算机科学与技术]
  • 相关文献

参考文献8

  • 1Dahlin M D,Wang R Y,Anderson T E,et al.Cooperative caching:Using remote client Memory to improve file system performance. Proc of USENIX Symp . 1994
  • 2Piernas J,Nieplocha J,Felix E J.Evaluation of active storage strategies for the lustre parallel file system. Proc of the2007ACM/IEEE Conf on Supercomputing . 2007
  • 3David Leong.Collaborative Object Caching for Heterogeneous OSD Clusters. Proc of the 2007 Computer Science and IT Education Conf . 2007
  • 4谭成辉,杨磊,文建国,李肯立.基于分级Cache的透明计算系统[J].计算机工程,2011,37(5):270-272. 被引量：3
  • 5Felix E J,Fox K,Regimbal K,et al.Active storage processing in a parallel file system. LCI Conf on Linux Clusters.The HPC Revolution . 2005
  • 6Son S W,Lang S,Carns P,et al.Enabling active storage on parallel I/O software stacks. Proc of the IEEE16th Symp on Mass Storage Systems and Technologies . 2010
  • 7Top500Supercomputer Sites. http://www.top500.org . 2011
  • 8R. Wickremesinghe,,J.S.Chase,,J.S. Vitter.Distributed computing with load-managed active storage. Proceedings of the 11th IEEE International Symposium on High Performance Distributed Computing . 2002

二级参考文献6

共引文献2

同被引文献19

  • 1朱平,朱建涛,高剑刚,蒋金虎.高性能计算存储关键技术研究[J].计算机研究与发展,2011,48(S1):354-364. 被引量：6
  • 2有限单元法[M].北京:清华大学出版社,2003.
  • 3徐秉业,刘信声.应用弹浆性力学[M].北京:清华大学出版社.1995:1-3.
  • 4Bathe K J. Finite Element Procedures in Engineering Analysis[M]. Englewood Cliffs. NJ: Prentice-Hall, 1982: 179-193.
  • 5Zienkiewicz O C. The Finite Element Melhod in Engineering Science[M]. 3rd ed. New York: McGraw Hill, 1977:1-8.
  • 6宗欣,莫军.结构非线性静力学高效算法研究[C]//第2届中国CAET程分析技术年会论文集.北京:中国力学学会,2006:79-83.
  • 7Fialko S. Parallel finite element solver for multi-core computers [C] //Proe of 2012 Federated Conf on Computer Science and Information Systems. Piscataway, NJ: IEEE, 2012, 525-532.
  • 8Sergey C. Parallel Computing technologies in the finite element method [C/OL] //Proc of the 3rd Int Conf on High Performance Computing. 2013: 85-91. [ 2014-06-08 ]. http://hpc-ua, org/hpc-ua-13/files/proceedings/16, pdf.
  • 9Bader D A. Petascale Computing: Algorithms and Applications [M]. Boca Raton: CRC Press, 2007:97-106.
  • 10Dongarra J, Foster I, Geoffrey C, et al. Source Book of Parallel Computing [M]. San Francisco: Morgan KaUfmann, 2003:49-56.

引证文献2

二级引证文献2

计算机研究与发展
2012年 第S1期

相关作者

内容加载中请稍等...

相关机构

内容加载中请稍等...

相关主题

内容加载中请稍等...

浏览历史

内容加载中请稍等...
;
使用帮助 返回顶部