-
题名基于小文件的内存云存储优化策略
被引量:6
- 1
-
-
作者
英昌甜
于炯
鲁亮
刘建矿
-
机构
新疆大学信息科学与工程学院
-
出处
《计算机应用》
CSCD
北大核心
2014年第11期3104-3108,共5页
-
基金
国家自然科学基金资助项目(61262088
61063042)
新疆维吾尔自治区自然科学基金资助项目(2011211A011)
-
文摘
由于内存云RAMCloud采用日志段的方式存储数据,因此当大量小文件存储于RAMCloud集群时,每个小文件独占整个段,会产生较多的段内碎片,从而导致内存的有效利用率较低以及大量的内存空间浪费。为了解决这个问题,提出基于文件分类的RAMCloud小文件存储优化策略。该策略首先根据文件的相关特性将小文件分为结构相关文件、逻辑相关文件以及相互独立文件三类;然后在存储时对结构相关的文件使用文件合并算法,逻辑相关和相互独立的小文件则使用分组算法。实验结果表明:同未进行优化的RAMCloud存储策略相比,该策略能有效提高集群内存利用率。
-
关键词
内存云
小文件问题
存储策略
结构相关文件
逻辑相关文件
-
Keywords
RAMCloud
small file problem
storing strategy
structural related file
logical related file
-
分类号
TP393.02
[自动化与计算机技术—计算机应用技术]
-
-
题名基于Hadoop的小文件量化方法研究
- 2
-
-
作者
谭跃生
赵玉龙
王静宇
-
机构
内蒙古科技大学信息工程学院
-
出处
《微型机与应用》
2014年第13期42-44,48,共4页
-
基金
国家自然科学基金资助项目(61163025)
内蒙古自然科学基金资助项目(2012MS0912)
-
文摘
针对目前Hadoop平台不能高效处理海量小文件而出现的小文件问题,提出一种基于曲线拟合最小二乘法的确定Hadoop平台下何为小文件的方法。该方法首先确定小文件访问时间的量化方法,然后采用访问时间作为确立何为小文件的影响因子,通过对不同数据集大小的不同访问时间的实验,最终结合线性拟合的相关知识找到了小文件大小的量化方法。
-
关键词
HADOOP
小文件问题
曲线拟合的最小二乘法
线性拟合
-
Keywords
Hadoop
the small file problem
least squares curve fitting
linear fitting
-
分类号
TP316.4
[自动化与计算机技术—计算机软件与理论]
-
-
题名基于Hadoop的海量气象雷达小文件存储研究
被引量:4
- 3
-
-
作者
杨芙容
王永丽
王文明
-
机构
成都信息工程大学信息安全工程学院
-
出处
《成都信息工程学院学报》
2015年第3期254-258,共5页
-
基金
四川省科技厅应用基础资助项目(2014JY0093)
-
文摘
针对气象雷达观测产生的文件多、数据量大、计算复杂等特点,通过研究分布式存储计算平台Hadoop,提出将雷达观测中实时生成的一次产品文件直接存储在HBase中;而对立体扫描文件和计算生成的二次产品文件,采用Sequence File技术合并处理后存储在Hadoop分布式文件系统中。根据雷达文件的标识特点,将HBase的行主键设计成时间+产品参数,利用随机散列与预分区保证HBase中regionserver的负载均衡;通过与直接存储在Hadoop分布式文件系统的方案进行比较,从Name Node的内存占用和文件读取时间两个方面进行测试和方案评估。实验证明该方案节省约60%的Name Node的内存空间,同时提高近18%的文件读取速率。
-
关键词
计算机应用
大数据
雷达数据
小文件问题
分布式存储
HADOOP
HBASE
SEQUENCE
file
-
Keywords
computer application
big data
radar data
small files problem
distributed storage
Hadoop
HBase
Se-quencefile
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-