一种性能优化的小文件存储访问策略的研究

在分布式文件系统中,小文件的管理一般存在访问性能较差和存储空间浪费较大等缺点.为了解决这些问题,提出了一种性能优化的小文件存储访问(SFSA)策略.SFSA将逻辑上连续的数据尽可能存储在物理磁盘的连续空间,使用Cache充当元数据服务器的角色并通过简化的文件信息节点提高Cache利用率,提高了小文件访问性能;写数据时聚合更新数据及其文件夹域中的相关数据为一次I/O请求写入,减少了文件碎片数量,提高了存储空间利用率;文件传输时利用局部性原理,提前发送批量的高访问率的小文件,降低了建立网络连接开销,提升了文件传输性能.理论分析和实验证明,SFSA的设计思想和方法能有效地优化小文件的存储访问性能.

基于Hadoop的小文件存储优化方案

Hadoop作为成熟的分布式云平台,对较大的文件提供了可靠高效的存储服务,但在处理海量小文件时效率显著降低。该文提出了基于Hadoop的海量教育资源小文件的存储优化方案,利用教育资源小文件间的关联关系,将小文件进行合并成大文件以减少文件数量,并索引机制访问小文件、元数据缓存和关联小文件预取机制来提高文件的读取效率。实验结果表明,该方法提高了Hadoop文件系统存储小文件的存取效率。

面向城轨线网的海量小文件存储方法

城轨线网小文件数据量巨大,传统的分布式文件系统很难为海量小文件存储提供符合需求的高吞吐、低延迟读写过程。根据城轨线网级业务的数据特点和以天为周期的数据访问方式,提出基于FastDFS分布式文件系统和Redis键值数据库的城轨线网海量小文件存储方法,将具有相关性的城轨小文件合并成大文件进行聚合写操作;根据FastDFS返回的大文件索引、小文件存储起始偏移量和小文件长度建立全局索引,利用Redis存储小文件名和全局索引的键值对;采用数据预取机制,预取创建时间相邻的数据。实验结果表明,相较于FastDFS系统,FastDFS-Redis系统的小文件读写吞吐量分别提高了9.35%和4.45%,达到明显改善城轨线网海量小文件的访问效率的目的。

一种Hadoop小文件存储优化策略研究

随着"大数据"时代的到来,Hadoop等大数据处理平台也应运而生。但其存储载体——Hadoop分布式文件系统却在海量小文件存储方面存在着很大缺陷,存储海量小文件会导致整个集群的负载增高、运行效率下降。为了解决这一针对小文件的存储缺陷,通常的方法是将小文件进行合并,将合并后的大文件进行存储,但以往方法并未将文件体积大小分布加以利用,未能进一步提升小文件合并效果。本文提出一种基于数据块平衡的小文件合并算法,优化合并后的大文件体积分布,有效降低HDFS数据分块,从而减少集群主节点内存消耗、降低负载,使数据处理过程可以更高效的运行。

基于Hadoop的海量小文件存储优化方法

对基于Hadoop的海量小文件存储进行优化,利用小文件内部存在的相互联系,进行小文件的归并操作;通过索引机制访问小文件及元数据缓存,并利用相关性强的小文件预取机制提高文件的读取效率。实验发现,优化后的方法降低了Hadoop名字节点的内存消耗,减少了查询时耗,提高了系统性能。

基于Ceph存储系统的小文件存储优化方案

针对Ceph存储系统面对小文件存储时存在元数据服务器性能瓶颈、文件读取效率低等问题.本文从小文件之间固有的数据关联性出发,通过轻量级模式匹配算法,提取出关联特征并以此为依据对小文件进行合并,提高了合并文件之间的合理性,并在文件读取时将同一合并文件内的小文件存入客户端缓存来提高缓存读取命中率,经过实验验证本文的方案有效的提高了小文件的访问效率.

基于HBase的小文件高效存储方法

基于Hadoop平台的相关系统得到了广泛应用。Hadoop分布式文件系统(Hadoop distributed file system,HDFS)通过分布式的工作方式,负责处理海量文件数据。对HDFS而言,海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况,提出一种基于HBase(Hadoop database)的海量小文件高效存储方法,利用HBase的存储优势,将小文件直接存储于HBase,从而有效减少元数据节点服务器(NameNode)的负载,并对上层应用系统提供透明的访问接口。实验结果表明,该方法可以实现海量小文件的高效存储,提高HDFS环境下小文件的读写效率。

HDFS在智慧博物馆文件存储系统中的应用

随着对智慧型博物馆的建设,各种文物藏品信息不断地丰富,形成的海量多媒体数据信息也越来越多,这对文物数据存储管理系统提出了更高要求.针对数字博物馆中海量多媒体下多维元小文件资源的特点,基于Hadoop File System(HDFS)分布式文件系统,将大量小文件合并成大文件,并对元数据的读写过程进行优化;根据不同海量小文件存储策略,从打包小文件、减少文件个数、集中缓存管理等方面优化存储效果.

基于Alluxio的新闻文本存储优化方法

新闻数据的指数级增长对新闻的高效存储和管理提出了重大挑战。为解决存储与计算分离模式下新闻文本的存储与读访问瓶颈问题,提出了一种基于数据编排平台Alluxio的新闻文本存储优化方法。首先,利用Alluxio对不同存储系统中的新闻文本进行缓存并提供统一命名空间,加速了计算应用的数据访问。其次,为了解决新闻文本存储在远程场景下所面临的读访问性能瓶颈问题,对新闻文本进行了基于目录聚合的合并,并利用最小完美哈希算法对新闻文本元数据构建索引,实现了新闻文本的快速检索。

基于HDFS的创新知识云平台存储架构的研究与设计

针对现有存储结构无法满足海量创新知识带来的存储及服务需求的问题,提出一种改进的HDFS(Hadoop Distributed File System)分布式存储系统并应用到创新知识云平台。首先引入包文件及分布式索引服务,改进HDFS小文件存储的效率问题,然后通过优化HDFS的命名空间备份及故障恢复服务,实现可用性更强、资源利用率更高的HDFS高可用架构。通过系统的设计和实现证明优化工作大大降低了命名节点的内存压力,提高了集群的可用性,并且改进的HDFS存储系统可以满足创新知识云平台的存储需求。

基于Hadoop的地质矿产大数据分布式存储方法

随着TB级乃至PB级地质矿产大数据时代的到来,地质大数据的存储难题一直困扰着地质界,传统的地质数据存储与服务模式面临诸多难题。结合Hadoop提出了一种新的基于云计算环境的地质矿产数据存储方法,将该方法与传统Oracle数据库存储方法进行了数据存储实验对比。实验结果表明,该存储方法比传统方法更高效,同时有效地解决了Hhadoop存储中出现的小文件存储问题。研究成果为地质矿产数据的存储与管理提供了一种新的管理方法。

Hadoop环境下医学影像存储的设计

目的医学影像在临床诊断、科学教研中发挥着越来越重要的作用,本文探讨通过云平台解决医学影像数据量剧增、检索效率低等问题的可行性。方法将传统的光纤存储局域网络集中式存储和分布式文件系统(Hadoop Distributed File System,HDFS)存储相结合,形成一种混合式存储架构。其中通过文件序列化的方式解决HDFS不适合医学影像小文件存储的问题,通过集中式存储解决医学影像实时性访问的问题。结果随着客户端数量增加,在混合式存储方式下,医学影像数据的读、写速度较传统的集中式存储都有明显的提高。结论采用Hadoop平台的混合式存储方式可以满足剧增的医学影像数据的存储要求,并且可以提高数据的读写速度。

基于Hadoop的存储资源调度机制研究

随着信息时代的迅速发展,海量数据在各个领域中产生。但在对数据运算过程中,其载体——Hadoop分布式文件系统在存储机制上存在一定缺陷,小文件过多将导致集群因负载增高而产生运行率下降的问题。针对因小文件而产生的存储缺陷,提出一种基于云计算的优化策略:通过数据平衡算法将小文件合并为合理的大文件,再将LZO无损压缩编码融入计算任务中,实现对大数据运算的效率提高。

基于Hadoop的UGC网络视频关键技术

随着智能便携终端的快速普及和网络传输速度的大幅度提升,UGC视频网站飞速发展。网络视频的数据存储和传输优化等技术等在视频网站中占有很重要的地位。本文介绍了UGC网络视频的发展与现状,以及基于Hadoop海量视频小文件存储和网络视频的传输优化技术。