一种性能优化的小文件存储访问策略的研究

在分布式文件系统中,小文件的管理一般存在访问性能较差和存储空间浪费较大等缺点.为了解决这些问题,提出了一种性能优化的小文件存储访问(SFSA)策略.SFSA将逻辑上连续的数据尽可能存储在物理磁盘的连续空间,使用Cache充当元数据服务器的角色并通过简化的文件信息节点提高Cache利用率,提高了小文件访问性能;写数据时聚合更新数据及其文件夹域中的相关数据为一次I/O请求写入,减少了文件碎片数量,提高了存储空间利用率;文件传输时利用局部性原理,提前发送批量的高访问率的小文件,降低了建立网络连接开销,提升了文件传输性能.理论分析和实验证明,SFSA的设计思想和方法能有效地优化小文件的存储访问性能.

曙光星云分布式文件系统:海量小文件存取

随着互联网应用的发展和云计算的兴起,在线图片、音频、视频以及微博等服务逐渐广泛发展,这些应用展示了与传统应用截然不同的数据访问和存储模式.数据中心内每秒钟都有大量较小文件的生成、分析和返回,这些应用对高并发海量文件的高吞吐、低延迟读写提出了新的挑战.提出基于分布式表存储的全新的分布式文件系统HVFS来管理数以十亿计的文件,并同时支持高吞吐和低延迟的文件访问.HVFS通过改进分布式可扩展哈希来管理元数据、日志结构的格式和列存储来利用时空局部性.本文描述了HVFS的设计和实现并进行了中等规模的实验.实验显示HVFS的表存储结构能够线性的扩展,并在82个结点上提供超过240,000次/秒、100,000次/秒的数据(<1KB)写和读;基于FUSE的实现在32个节点上提供超过180,000个/秒的文件创建速度.

海量小文件存储文件系统研究综述

随着互联网的发展,存储的小文件数量也呈几何级的增长。传统文件系统已不能满足存储性能的需求,对于小文件存储,尤其是海量小文件存储的优化已变得越来越重要。首先提出对小文件存储的系统进行优化的必要性,然后对小文件存储中存在的问题进行分析并阐述优化的方式,并介绍三种具有代表性的适合小文件存储的文件系统,最后总结归纳。

基于Hadoop的海量学习资源云存储模型设计研究

由于多媒体技术不断发展,学习资源呈爆炸式增长,给资源存储提出了新的挑战。Hadoop平台对小文件的存储和访问存在内存消耗高、存储空间浪费等问题。针对这种情况,分析学习资源的特点,设计两级Hadoop模式,优化学习资源存储策略,提出基于多层次Hadoop的学习资源云存储模型。并在实验室环境下搭建存储模型,对多类型的学习资源文件进行存储测试分析。分析结果表明,模型在存储空间、内存消耗和存储效率上较传统Hadoop模型有着明显的改善,适合海量学习资源的存储需求。

面向城轨线网的海量小文件存储方法

城轨线网小文件数据量巨大,传统的分布式文件系统很难为海量小文件存储提供符合需求的高吞吐、低延迟读写过程。根据城轨线网级业务的数据特点和以天为周期的数据访问方式,提出基于FastDFS分布式文件系统和Redis键值数据库的城轨线网海量小文件存储方法,将具有相关性的城轨小文件合并成大文件进行聚合写操作;根据FastDFS返回的大文件索引、小文件存储起始偏移量和小文件长度建立全局索引,利用Redis存储小文件名和全局索引的键值对;采用数据预取机制,预取创建时间相邻的数据。实验结果表明,相较于FastDFS系统,FastDFS-Redis系统的小文件读写吞吐量分别提高了9.35%和4.45%,达到明显改善城轨线网海量小文件的访问效率的目的。

面向健康大数据快速读写的存储系统设计

通过分析海量数据快速读写的特点,提出海量数据的快速访问机制,研究并设计健康大数据快速读写存储系统。通过提供专有应用程序接口解决大规模小文件的高效存储,提升小文件存储访问性能;通过向大文件提供高速并行访问接口,提升大文件存储性能。实验结果表明,该系统在处理大文件读写方面性能稳定、性能良好。

CarrierFS:基于虚拟内存的分布式文件系统

针对由于磁盘I/O的性能瓶颈,基于磁盘的分布式文件系统无法为海量小文件存储提供高数据吞吐率和低访问延迟这一问题,设计并实现了一个基于虚拟内存的分布式文件系统——CarrierFS,它将数据存储于虚拟内存中,利用磁盘备份数据.在实现元数据和数据可扩展存储的基础上,CarrierFS设计了监管者模块来保证系统的可靠性.对CarrierFS和HDFS进行了性能测试,实验结果表明,CarrierFS对大文件和小文件的读写速度都具有明显的性能优势.当文件大小为256 Mbyte时,CarrierFS的写入速度大约是HDFS的1.30倍,读取速度大约是HDFS的1.95倍.当文件大小为32 Kbyte时,CarrierFS的写入速度大约是HDFS的3.0倍,读取速度大约是HDFS的3.4倍.