-
题名一种性能优化的小文件存储访问策略的研究
被引量:20
- 1
-
-
作者
赵跃龙
谢晓玲
蔡咏才
王国华
刘霖
-
机构
华南理工大学计算机科学与工程学院
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2012年第7期1579-1586,共8页
-
基金
国家自然科学基金项目(60573145)
教育部高等学校博士学科点专项科研基金项目(200805610019)
广州市科技计划应用基础资助基金项目(2010Y1-C681)
-
文摘
在分布式文件系统中,小文件的管理一般存在访问性能较差和存储空间浪费较大等缺点.为了解决这些问题,提出了一种性能优化的小文件存储访问(SFSA)策略.SFSA将逻辑上连续的数据尽可能存储在物理磁盘的连续空间,使用Cache充当元数据服务器的角色并通过简化的文件信息节点提高Cache利用率,提高了小文件访问性能;写数据时聚合更新数据及其文件夹域中的相关数据为一次I/O请求写入,减少了文件碎片数量,提高了存储空间利用率;文件传输时利用局部性原理,提前发送批量的高访问率的小文件,降低了建立网络连接开销,提升了文件传输性能.理论分析和实验证明,SFSA的设计思想和方法能有效地优化小文件的存储访问性能.
-
关键词
分布式文件系统
小文件存储
小文件存储访问
块
优化
访问性能
-
Keywords
distributed file system
small file storage
small file storage access (SFSA)
block
optimization
access performance
-
分类号
TP333
[自动化与计算机技术—计算机系统结构]
-
-
题名曙光星云分布式文件系统:海量小文件存取
被引量:9
- 2
-
-
作者
马灿
孟丹
熊劲
-
机构
中国科学院计算技术研究所智能中心
中国科学院研究生院
中国科学院信息工程研究所
-
出处
《小型微型计算机系统》
CSCD
北大核心
2012年第7期1481-1488,共8页
-
基金
国家"八六三"高技术研究发展计划项目(2009AA01A129)资助
国家"九七三"重点基础研究发展计划项目(2011CB302502
2011AA01A203)资助
-
文摘
随着互联网应用的发展和云计算的兴起,在线图片、音频、视频以及微博等服务逐渐广泛发展,这些应用展示了与传统应用截然不同的数据访问和存储模式.数据中心内每秒钟都有大量较小文件的生成、分析和返回,这些应用对高并发海量文件的高吞吐、低延迟读写提出了新的挑战.提出基于分布式表存储的全新的分布式文件系统HVFS来管理数以十亿计的文件,并同时支持高吞吐和低延迟的文件访问.HVFS通过改进分布式可扩展哈希来管理元数据、日志结构的格式和列存储来利用时空局部性.本文描述了HVFS的设计和实现并进行了中等规模的实验.实验显示HVFS的表存储结构能够线性的扩展,并在82个结点上提供超过240,000次/秒、100,000次/秒的数据(<1KB)写和读;基于FUSE的实现在32个节点上提供超过180,000个/秒的文件创建速度.
-
关键词
分布式文件系统
全局名字空间
海量文件
小文件访问
表存储
-
Keywords
distributed file system
global namespace
large scale file access
small file access
tabular storage
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-