-
题名基于HBase数据分类的压缩策略选择方法
被引量:8
- 1
-
-
作者
王海艳
伏彩航
-
机构
南京邮电大学计算机学院
南京邮电大学江苏省无线传感网高技术研究重点实验室
-
出处
《通信学报》
EI
CSCD
北大核心
2016年第4期12-22,共11页
-
基金
国家自然科学基金资助项目(No.61201163)~~
-
文摘
为解决现有的HBase数据压缩策略选择方法未考虑数据的冷热性,以及在选择过程中存在片面性和不可靠性的缺陷,提出了基于HBase数据分类的压缩策略选择方法。依据数据文件的访问频度将HBase数据划分为冷热数据,并限定具体的访问级别;在此基础上增加评估层,综合考虑基于相邻区和统计列的选择方法,提出基于数据访问级别的压缩策略选择方法。仿真实验及结果表明,提出的压缩策略选择方法不仅节省了存储空间,还大大提高了数据查询的性能。
-
关键词
数据压缩
HBASE
压缩策略选择方法
冷热数据
-
Keywords
data compression
HBase
compression strategies selection method
cold and hot data
-
分类号
TP301.6
[自动化与计算机技术—计算机系统结构]
-
-
题名基于HBase的列存储压缩策略的选择优化
被引量:4
- 2
-
-
作者
孙靖超
芦天亮
-
机构
中国人民公安大学信息技术与网络安全学院
-
出处
《计算机应用研究》
CSCD
北大核心
2019年第5期1419-1423,共5页
-
基金
国家重点研发计划"网络空间安全"重点专项资助项目(2017YFB0802804)
国家自然科学基金资助项目(61602489)
赛尔网络下一代网络技术创新项目(NGII20160405)
-
文摘
为解决现有列存储数据库压缩策略在压缩过程中遇到的数据离散程度大、分类粒度小、配套分类算法缺陷导致的学习成本高、压缩效率难以保证的问题,提出了一种基于排序的列区混合压缩策略。首先根据HBase特点设计了一种对各列数据进行排序的方法加强数据紧密度,然后根据数据特点分别使用混级区压缩策略和混级列压缩策略进行压缩策略推荐,在TPC-DS标准数据集上与前人策略进行比较。实验结果显示,该方法在压缩率、压缩/解压时间方面均有优异的表现,从而证明了其有效性。
-
关键词
列存储
数据压缩
HBASE
压缩策略选择方法
-
Keywords
column-oriented storage
data compression
HBase
selection method of compression strategy
-
分类号
TP274
[自动化与计算机技术—检测技术与自动化装置]
-