基于HBase数据分类的压缩策略选择方法

为解决现有的HBase数据压缩策略选择方法未考虑数据的冷热性,以及在选择过程中存在片面性和不可靠性的缺陷,提出了基于HBase数据分类的压缩策略选择方法。依据数据文件的访问频度将HBase数据划分为冷热数据,并限定具体的访问级别;在此基础上增加评估层,综合考虑基于相邻区和统计列的选择方法,提出基于数据访问级别的压缩策略选择方法。仿真实验及结果表明,提出的压缩策略选择方法不仅节省了存储空间,还大大提高了数据查询的性能。

基于HBase的列存储压缩策略的选择优化

为解决现有列存储数据库压缩策略在压缩过程中遇到的数据离散程度大、分类粒度小、配套分类算法缺陷导致的学习成本高、压缩效率难以保证的问题,提出了一种基于排序的列区混合压缩策略。首先根据HBase特点设计了一种对各列数据进行排序的方法加强数据紧密度,然后根据数据特点分别使用混级区压缩策略和混级列压缩策略进行压缩策略推荐,在TPC-DS标准数据集上与前人策略进行比较。实验结果显示,该方法在压缩率、压缩/解压时间方面均有优异的表现,从而证明了其有效性。