一种构建StreamCube的超大维表连接算法

表连接是关系数据库中最重要的操作之一,在数据流管理系统中同样重要.构建StreamCube的聚集查询时,数据流与超大维表(如IPaddress维表)作表连接将耗费大量有限的计算资源和内存.超大维表需划分为多个块,分块读入内存,造成磁盘I/O频繁.根据维表及其连接键层的特性,降低维表与数据流连接的连接键冗余,将维表无损压缩为可装入内存的连接键范围维表(RJ-DT),引出数据流上非等值连接问题;并提出一种超大维表多表连接算法——多动态索引嵌套循环连接算法(multi dynamicindex nested-loopjoin),该算法实现数据流与压缩维表高效的非等值连接,并拓展为多表连接.理论分析及实验结果表明,该算法可使超大维表连接性能明显改善,最高可达到一个数量级的加速并具有很强的实用性.

一种大时间窗口StreamCube体系结构

目前,在大时间窗口的实时Cube查询中,若大时间窗口数据方切片容量超过DSMS的内存限制,则无法在DSMS保存的StreamCube中得到完整正确结果。提出一种采用混合数据库模式(DSMS和DBMS)存储StreamCube体系结构HDS-Cube(Hybrid Database Stream Cube),即时间片流数据方将StreamCube切分为按时间等分的数据方切片,并按时间规则分别存放在两种数据库中。StreamCube查询过程中读取两种数据库中的数据方时间切片,得到正确结果。实验结果表明,该体系结构能够高效的支持实时联机在线分析。

面向决策支持的CUBE物化选择方案

现有数据方(Cube)物化选择算法中,一般采用查询频率分布和物化成本模型来指导物化选择,忽视了查询结果最终是为系统决策支持使用。实际系统中,Cube查询结果的子集就可以满足决策支持需要,这使得查询结果集的部分决策冗余;据此,将完全Cube约简为D-Cube。该文提出面向决策支持的物化Cube选择方案,将系统决策支持需求分解为查询序列集,定义查询的决策贡献度;根据查询决策贡献度、物化成本和查询频率来选择物化Cube。通过理论分析和实验结果表明,该方案在海量数据仓库及数据流Cube中优于其他选择方案。