期刊文献+

分布式文件系统中元数据操作的优化 被引量:6

Metadata processing optimization in distributed file systems
下载PDF
导出
摘要 分析了PVFS2中的元数据操作流程,以remove操作为例,通过测试发现其瓶颈之处,提出一种将判断过程放置到服务器端来减少通信次数的优化方法,这些方法同样可以应用于其他元数据操作。在PVFS2中实现了该优化方法,并将其同原来的remove操作耗时进行了对比,结果表明,该元数据操作的性能提高了10%左右。 This paper analyzed the metadata processing in PVFS2,and took the remove operation as an example.To find out the bottlenecks in the remove operation,the time of each step was tested.And an optimization method to reduce the communication number by placing judgmental process on the server side was proposed,which is also suitable for other metadata operations.The optimization method was implemented in PVFS2.Compared with the original remove operation,this proposed method shows about 10% improvement in performance.
出处 《计算机应用》 CSCD 北大核心 2012年第12期3271-3273,共3页 journal of Computer Applications
基金 国家重大科技专项(2010ZX03004-003-03) 国家自然科学基金资助项目(61100020) 武汉大学自主科研项目(274066)
关键词 分布式文件系统 元数据操作 优化处理 PVFS2 distributed file system metadata operation processing optimization PVFS2
  • 相关文献

参考文献15

  • 1MENON J, PEASE D A, REES R, et al. IBM storage tank: A het- erogeneous scalable SAN file system[ J]. IBM Systems Journal, 2003,42(2) : 250 - 267.
  • 2KARAMANOLIS C, LIU L, MAHALINGAM M, et al. An architec- ture for scalable and manageable file services[ R]. Palo Alto: Hew- lett-Packard Labs, 2001.
  • 3李晖,范志华,熊劲,马捷.机群文件系统DCFS2的高可用性研究与实现[J].计算机工程,2006,32(7):69-71. 被引量:1
  • 4WEIL S A, POLLACK K T, BRANDT S A, et al. Dynamic meta- data management for petabyte-scale file systems[ C]/! IEEE Com- puter Society 2004 Conference-Bridging Communities. New York: IEEE, 2004:523 - 534.
  • 5杨德志,许鲁,张建刚.蓝鲸分布式文件系统元数据服务[J].计算机工程,2008,34(7):4-6. 被引量:9
  • 6ROSELLI D, LORCH J R, ANDERSON T E. A comparison of file system workloads[ C]// Proceedings of 2000 USENIX Annual Tech- nical Conference. Berkeley: USENIX Association, 2000:4.
  • 7陈欢,范志华,熊劲,孙凝晖.影响文件系统性能的若干因素的实验[J].计算机工程,2007,33(8):74-76. 被引量:3
  • 8- PVFS2 Development Team. Parallel virtual file system, version2 [ EB/OL]. [ 2012- 05- 20]. http://www, pvfs. org/cvs/pvfs-2-7- branch, build/doc/pvfs2-guide/pvfs2-guide, php.
  • 9KUHN M, KUNKEL J, LUDWIG T. Directory-based metadata op- timizations for small files in PVFS[ C]//Proceedings of 14th Inter- national Euro-Par Conference on Parallel Processing. Berlin: Springer, 2005:90-99.
  • 10赵铁柱.分布式文件系统性能建模及应用研究[D].广州:华南理工大学,2011.

二级参考文献17

  • 1杨德志,黄华,张建刚,许鲁.大容量、高性能、高扩展能力的蓝鲸分布式文件系统[J].计算机研究与发展,2005,42(6):1028-1033. 被引量:28
  • 2黄华,张建刚,许鲁.蓝鲸分布式文件系统的分布式分层资源管理模型[J].计算机研究与发展,2005,42(6):1034-1038. 被引量:12
  • 3全茜,郑雪峰,黄克颖,李国庆.并行文件系统中高效遥感数据分布技术之研究[J].微计算机信息,2005,21(09X):126-128. 被引量:6
  • 4熊劲.DCFS2文件系统总统设计报告(内部)[R].中科院计算所国家智能中心,2003.
  • 5Presla N K W.Implementing Journaling in a Linux Shared Disk File System[C].The Seventeenth IEEE Symposium on Mass Storage Systems,2000.
  • 6Fan Zhihua,Xiong Jin,Ma Jie.A Failure Recovery Mechanism for Distributed Metadata Servers in DCFS2[C].High Performance Computing Asia2004,Japan,2004.
  • 7Robert B R, Philip H C, Waiter B L III, et, al,. Using the Parallel Virtual File System [EB/OL]. http://www.parl.clemson.edu/pvfs/. 2006
  • 8Cao Mingming. State of the Art, Where We Are with the EXT3 File System[C]//Proc. of Linux Symposium, Ottawa, Canada. 2005.
  • 9Sweeney A. Scalability in the XFS File System[C]//Proceedings of the Winter 1996 USENIX Conference, San Diego, CA. 1996-01: 33-44.
  • 10Iozone Filesystem Benchmark[Z]. 1998. http://www.iozone.org.

共引文献10

同被引文献25

  • 1戴超凡,陈文伟,邓苏,陆昌辉,唐九阳.数据仓库中元数据技术研究[J].计算机工程与应用,2001,37(14):85-87. 被引量:12
  • 2刘爱贵.分布式文件系统元数据服务模型.
  • 3Wikipedia. Google file system[EB/OL].http://en.wi-kipedia.org/wiki/Google_File_System,2013.
  • 4The Apache Software Foundation. HDFS architecture guide[EB/OL].http://hadoop.apache.org/common/docs/current/hdfs_design.html,2011.
  • 5Oracle. Lustre internals documentation[EB/OL].http://wiki.lustre.org/lid/index.html,2010.
  • 6刘爱贵.GlusterFS集群文件系统研究.
  • 7董西成.HDFS Federation 设计动机与基本原理.
  • 8Zaharia M,Chowdhury M,Das T. Resilient distributed datasets,a fault-tolerant abstraction for in-memory duster computing[R].San Francisco:University of California at Berkeley,Technical Report No.UCB/EECS-2011-82,2011.
  • 9毕强,朱亚玲.元数据标准及其互操作研究[J].信息系统,2008(5):23-25.
  • 10卫佳蕴,孙莉,朱吉翔.基于元数据的目录服务体系研究与实现[J].计算机技术与发展,2008,18(4):42-44. 被引量:6

引证文献6

二级引证文献16

相关作者

内容加载中请稍等...

相关机构

内容加载中请稍等...

相关主题

内容加载中请稍等...

浏览历史

内容加载中请稍等...
;
使用帮助 返回顶部