基于MapReduce的封闭立方体并行计算方法

封闭立方体是一种非常有效而重要的数据立方体压缩技术,目前还缺乏对其并行算法的研究.为此,文中提出一种采用C-Cubing方法并通过MapReduce并行模型进行并行化的新方法.该方法首先在Map过程中对各个数据分块计算出数据单元的代表元组和封闭掩码,然后在Reduce过程中进行聚合以获得封闭单元.实验结果表明,文中方法能有效地提高在大数据集上计算封闭立方体的速度.

在PC集群上的封闭立方体计算

封闭立方体是联机分析处理中一种有效的数据立方体压缩技术,但封闭立方体的并行算法目前很少有相关文献研究。提出了一种简单而实用的解决方案,即基于MapReduce计算框架,在非共享内存的PC集群上对封闭立方体进行分布式的预计算和查询。相关实验表明,本方法能快速处理千万级的数据,具有较好的线性加速比,而且能够更大地压缩数据立方体存储空间。

一种新的封闭立方体查询算法

提出了一种新的封闭立方体查询算法,缩小了查询时需搜索的记录的范围,提高了查询效率。给出了相关的理论分析和证明,并给出相关的封闭掩码集生成算法。实验结果和理论分析证明了新算法是有效的,在75%的情况下能将需查询范围包含的记录数减少到传统方法的92%左右,提高了对封闭立方体的查询效率。

集合上封闭立方体的计算

随着原始数据记录数的增多,数据立方体在存储空间和计算时间上的消耗都越来越大,封闭立方体是减少数据立方体的存储空间的有效手段。提出一种新的封闭数据立方体的生成算法,针对大量的原始数据集,通过预处理,采用类似BUC算法的计算顺序自上而下递归输出封闭单元,使用实际数据做了相关研究的实验,实验结果表明该算法能有效提高生成速度。

封闭立方体反转索引查询优化技术

处理用户复杂查询请求的速度是数据仓库关键性能之一。论述了在QC算法产生的聚集表上建立反转索引和查询并还原出立方体上界的方法,查询算法包括位图查询算法和反转列表查询算法。最后进行了性能测试,结果表明这两种算法均能够提高查询的速度。

PHCC:一种处理稀疏变化的封闭数据立方体算法

完全数据立方体是一种需要在数据集上对属性列进行上卷聚集运算的复杂模型,而封闭数据立方体是一种对应的高效压缩模型.近年来海量数据管理系统的发展使得在大数据上进行数据立方体的计算成为可能,但是大数据环境中的数据可能稀疏也可能密集,因此,要求在不同的数据稀疏程度下算法都要有稳定的表现.面对这样的要求,提出了一种基于大数据环境的封闭数据立方体并行化方法,首先通过构造2种树结构进行本地封闭数据子立方体的构造,然后利用位运算的方式在遍历树结构的同时进行封闭数据立方体的判断和聚集运算,最后经过合并得到查询的最终结果.并且通过在大数据中进行对比实验证明混合并行封闭数据立方体(parallel hybrid closed cubing,PHCC)算法能够满足在稀疏数据变化的数据中进行稳定聚集运算的条件.

一种生成封闭数据立方体的新算法

以武器装备故障维修数据为基础,研究了武器装备故障维修数据立方体,重点分析了封闭数据立方体与基本元组集之间的关系,提出一种建立武器装备故障维修封闭数据立方体模型的新算法,并针对冰山封闭数据立方体进行算法改进。最后利用近十年武器装备故障维修数据对算法进行验证,结果表明文中算法较之基本的封闭数据立方体算法具有更好的时空效率,为分析武器装备故障原因提供了一种更有效的手段。

缓存敏感的封闭冰山立方体计算

数据立方体计算通常会产生大量的输出结果,冰山立方体和封闭立方体是解决这个问题的比较流行的两种策略,二者可以结合使用.鉴于封闭冰山立方体(closed iceberg cube)的重要性和实用性,如何高效地计算封闭冰山立方体是一个值得研究的问题.提出一种缓存敏感(cache-conscious)的计算封闭冰山立方体的方法,在自底向上对数据进行聚集的同时,寻找覆盖聚集单元的封闭单元,将其输出,使用两种策略进行剪枝,去掉不必要的递归,同时使用Apriori剪枝技术,支持冰山立方体(iceberg cube)的计算.为了减少与内存相关的延迟,快速得到聚集结果,对多个维进行预排序,并将软件预取技术引入到数据扫描中.在模拟数据和真实数据上进行了详细而全面的实验研究,结果表明,封闭冰山立方体的计算方法是快速、有效的.

Spark环境下的分布式OLAP查询

数据立方体是数据仓库的核心数据模型,其元组可以划分为封闭元组和非封闭元组,通过去掉非封闭单元进行压缩并分层形成了分层封闭立方体.以Hadoop为主的云计算环境通常以离线批量计算为主,查询分析有一定的延迟,不能达到OLAP的在线性和交互性.Spark是一个基于内存的快速通用的大数据并行计算框架,对此本文基于分层封闭立方体,利用Spark,设计和实现了两种有效的分布式OLAP查询算法:SLCCQuery及其优化算法SLCC_Layered Query.不同参数的数据集上的实验验证了本文提出的Spark环境下的分布式OLAP查询算法的有效性及其优化算法的相对高效性.