商立方体分布式查询研究

传统数据库处理分析大量历史数据的性能有限,无法达到满意效果。针对该问题,通过对商立方体的研究,提出等价区间的概念,并利用区间之间的独立性,使商立方体能更好地适应分布式环境下的查询。同时,提出了商立方体在Spark集群上的并行查询算法,充分利用等价区间点查询面命中的特性,使在保证查询有效的情况下尽可能并行化。最后,通过实验验证了算法高效性。

一种新的商覆盖立方体生成算法

提出一种的新的商覆盖立方体生成算法GroupDFS,将待计算的基本表先依据各维属性进行Group By运算,再对得到的结果集采用DFS算法计算其上界集,所得结果即为原待计算基本表的商覆盖立方体。GroupDFS算法结合了2N算法和DFS算法的优点,相对于DFS算法缩短了计算所需的时间。采用weather数据集进行的实验结果表明,采用GroupDFS计算商覆盖立方体所需时间仅为采用DFS算法时的45%。

商覆盖立方体的一种增量维护策略

通过建立一种新的商覆盖立方体增量维护策略,将商覆盖立方体分成多个子集,在判断是否需要进行新增或修改操作时,不再需遍历整个商覆盖立方体而只需遍历部分子集,从而缩短了进行增量维护所需的时间。在实现这种策略中提出了基本表中新增记录时的算法Up-dateAddNew。实验结果表明,采用该算法时,需要访问的记录数仅为传统方法的85%。

浓缩商覆盖立方体技术研究

提出一种新的浓缩商覆盖立方体的数据立方体压缩技术,在商覆盖立方体中省略了部分只依据基本表即可快速应答查询的基本单元组,从而缩小其体积。给出浓缩商覆盖立方体的生成算法和查询算法。实验结果表明,浓缩商覆盖立方体的元组数量仅为原商覆盖立方体的62%,验证了浓缩商覆盖立方体技术的有效性。

函数依赖对商覆盖立方体生成效率的影响

提出一种新的商覆盖立方体生成算法DDFS。指出在基本表维属性之间可能存在函数依赖;分析了这种函数依赖对DFS算法的影响;按照决定子在前的原则调整了DFS算法对基本表进行水平分割时所依据的维属性的顺序;对于存在函数依赖的维属性对,节省了判断是否存在类函数依赖的操作。采用weather数据集进行的实验结果表明,采用DDFS计算商覆盖立方体所需时间仅为采用DFS算法时的76%。得出DDFS较之DFS可以缩短商覆盖立方体生成时间。

商覆盖立方体中下掘与上卷操作的查询算法设计

在商覆盖立方体中实现下掘与上卷操作时,需要从当前单元格开始查询其更细节的数据或汇总数据的格,为实现这种查询,分析了商覆盖立方体的有关性质,指出了查询时从源单元格到目的单元格的路径的特征,并基于此提出了两种新的查询算法。查找代价分析表明这两种算法是有效的。

一种新的封闭立方体查询算法

提出了一种新的封闭立方体查询算法,缩小了查询时需搜索的记录的范围,提高了查询效率。给出了相关的理论分析和证明,并给出相关的封闭掩码集生成算法。实验结果和理论分析证明了新算法是有效的,在75%的情况下能将需查询范围包含的记录数减少到传统方法的92%左右,提高了对封闭立方体的查询效率。

语义OLAP缓存技术研究

针对页面缓存,元组缓存,语义缓存等查询缓存技术不能充分利用OLAP较一般SQL查询所具有更强的语义和上下文相关性的特性,提出一种新的OLAP查询缓存技术语义OLAP缓存.该缓存模型只存储等价类所代表的集合信息,而不是大量单个数据单元或数据元组信息.随着查询过程的深入,缓存项的等价类范围动态更新,可在保持缓存大小不变的情况下,扩展等价类范围,从而回答更多查询并提高命中率.此外还提出根据缓存项间的上卷、下钻关系将缓存项连接在一起形成代数格结构,以方便剪枝,从而进一步缩小查找范围.实验结果充分证明了该缓存模型和算法的有效性.

基于QC树的数据仓库增量维护和查询算法

为使通过QC树对数据仓库进行常规的增删改操作和查询操作变得更加方便和高效,提出了QC树增量维护和有效查询的详细实现算法。该实现算法以QC树的结构为基础,结合深度优先算法和等价类的覆盖关系对QC树进行维护和查询。实现算法通过只观察等价类的上界值和考虑所有可能出现的类状态的变化情况,以确保算法的高效性和正确性。与传统的数据立方体维护和查询方法比较,新方法只需要观察等价类上界值的变化情况,较大地减少了需要考虑的数据量,有效地解决了数据量过大导致维护查询效率太低的问题。理论分析与实验结果证明了该实现算法的有效性。