面向大规模机群的可扩展OLAP查询技术

大数据时代,由中低端硬件组成的大规模机群逐渐成为海量数据处理的主流平台之一.然而传统基于高端硬件平台设计的并行OLAP查询算法并不适应这种由不可靠计算单元组成的大规模并行计算的环境.为改善其在新计算环境下的的扩展性和容错性,该文对传统数据仓库的数据组织模式及处理模式进行改造,提出了全新的无连接雪花模型和TRM执行模型.无连接雪花模型基于层次编码技术,将维表层次等关键信息压缩进事实表,使得事实表可以独立处理数据,从数据模型层保证了数据计算的独立性;TRM执行模型将OLAP查询的处理抽象为Transform、Reduce、Merge 3个操作,使得OLAP查询可被划分为众多可并行执行的独立子任务,从执行层保证了系统的高度可扩展特性.在性能优化方面,该文提出了Scan-index扫描和跳跃式扫描算法,以尽可能地减少I/O访问操作;设计了并行谓词判断、批量谓词判断等优化算法,以加速本地计算速度.实验表明:LaScOLAP原型可以获得较好的扩展性和容错性,其性能比HadoopDB高出一个数量级.

基于OLAP查询的数据仓库视图的水平分割

选择数据仓库视图进行有效的水平分割,使OLAP查询通过访问较少的分割裂片以及较少的元组就可以完成,从而加快查询响应时间,削减维护费用.提出根据OLAP查询中的选择谓词构造其最小项谓词,选择数据仓库立方体视图,进行水平分割和实体化,来提高OLAP查询效率.

连续属性上的OLAP查询建模方法研究

本文以支持管理者决策为出发点,为OLAP查询建立统计模型。文章首次将数理统计学中的核密度估计方法及Copula理论相结合引入到OLAP查询建模的研究中,有效地抽取数据立方体的概要知识,在减少数据存储空间的同时,以近似查询的方法实现查询精度与查询时间之间的折衷。该方法的优势在于对连续属性的查询处理,模型的建立使得在连续属性上的查询降低了对物化方体的依赖性,极大地提高了OLAP查询的灵活性。实验分析表明使用该方法可以在保证较高查询精度的条件下大大减少数据立方体的存储空间,加快OLAP查询速度,从而为管理决策提供快速和高效的指导。

基于变量选择的OLAP查询推荐仿真模型

由于高维OLAP数据集包含的信息量过大并且质量参差不齐,导致用户在查询时难以选取合适的维度集合进行操作,从而影响了决策的效率和准确性。为此,提出将变量选择方法应用于OLAP查询推荐的过程中。为了在包含海量高维信息的OLAP仿真数据集合中识别与度量属性无关的噪声属性及彼此之间存在相关性的维度属性,从而缩小查询范围,同时保持度量属性空间划分结果的准确性,基于非参数方法设计了一种用于支持OLAP查询推荐的变量选择算法FFTB,构建了基于变量选择的OLAP查询推荐仿真模型,通过启发式方法发现与查询目标密切相关的维度,并对OLAP查询的数据环境及查询推荐过程进行了详细的仿真实验,验证了方法的可用性与有效性。仿真实验显示,变量选择方法能够在保证准确性的前提下有效地缩小OLAP查询空间,从而有效辅助决策者从大量数据中选取关键维度,达到OLAP查询推荐的目的,进而提高决策效率。

Spark环境下的分布式OLAP查询

数据立方体是数据仓库的核心数据模型,其元组可以划分为封闭元组和非封闭元组,通过去掉非封闭单元进行压缩并分层形成了分层封闭立方体.以Hadoop为主的云计算环境通常以离线批量计算为主,查询分析有一定的延迟,不能达到OLAP的在线性和交互性.Spark是一个基于内存的快速通用的大数据并行计算框架,对此本文基于分层封闭立方体,利用Spark,设计和实现了两种有效的分布式OLAP查询算法:SLCCQuery及其优化算法SLCC_Layered Query.不同参数的数据集上的实验验证了本文提出的Spark环境下的分布式OLAP查询算法的有效性及其优化算法的相对高效性.

一种基于实时语义维层次链的OLAP查询算法

目前,P2P环境下的OLAP查询策略都是基于从客户端获取查询结果集,如DSCD算法和DQDC算法等主要是研究怎样快速地从客户端获取查询结果集,由于客户端的DataCube的实时数据更新效率低,易导致查询结果失真,从而影响OLAP的查询效率。为了提高P2P网络中OLAP的实时查询效率,提出了一种RTOS(Real-time Semantic OLAP Search,实时语义的OLAP查询)算法,并结合查询速度和失真率两方面的实验证明,该算法能有效地提高P2P环境下OLAP的决策分析性能。

基于“C藤”Pair Copula的高维OLAP查询建模方法研究

信息爆炸造成的数据仓库维度的急剧增加,大大影响了OLAP查询模型的精度和效率。首次将数理统计学中的"C藤"Pair Copula引入到OLAP查询建模的研究中,有效地解决了高维OLAP查询建模时的"维数灾难"问题,并设计了针对该模型的参数估计方法以提取数据概要知识。实验分析表明与传统方法相比,基于Pair Copula方法的模型可以在保证OLAP的查询精度的基础上减少数据立方体的存储空间,并且在高维数据环境下具有更高的查询效率。

GPU数据库实现技术发展演进

爆炸式增长的数据对存储和处理数据提出了更高的需求,GPU数据库作为新硬件数据库的一个重要分支,在大容量和高性能处理方面有其独特的优势.GPU数据库作为高性能数据库的代表,在最近几年受到学术界和产业界的关注,一批具有代表性的研究成果和标志性的实际产品已经出现.GPU数据库的技术发展按照GPU加速型和GPU内存型两种技术路线展开.两种技术路线都有相应的原型系统或产品出现.虽然两种GPU数据库的发展路线在实现上有所不同,但GPU数据库最基本的功能部分和核心技术是相似的,都有查询编译、查询优化、查询执行以及存储管理等功能.当前主流的数据传输方案除了PCIe之外,NVLink、RDMA和CXL等传输方案也为不同处理器之间的数据传输提供了更多的可能性.大多数GPU数据库使用列存储模型来存储数据,少数GPU数据库(如PG-Strom)对两种存储模型都支持.在列存储模型上利用压缩技术能减少数据的存储空间和传输时延.在GPU数据库上进行的压缩和解压的时间应该在整个数据处理的过程中占比很少.在GPU数据库上建立和维护索引不应该有很大的系统开销.JIT编译时间短、编译效率高,是GPU数据库编译的主流.操作符对数据库查询性能的影响非常明显,连接操作、分组聚集和OLAP运算符是目前研究最多的三个类型.目前大多数的研究中,连接和分组聚集算子通常结合在一起研究.在连接算子执行的过程中还和表的连接顺序结合在一起进行考虑.OLAP算子是GPU数据库中的又一个被大量研究的算子,GPU数据库在OLAP算子和模型方面持续受到研究者的关注.GPU数据库有三种查询处理模型,即行处理、列处理和向量化处理.向量化处理和列处理在实际系统中应用较多.由于GPU加速型数据库技术的发展,CPU-GPU协同处理模型上的查询方案与查询引擎也有一定数量的研究成果出现.当前GPU数据库的查询优化研究主要有三部分:多表连接顺序、查询重写和代价模型.然而,GPU数据库的代价评估模型在目前还没有很好的解决方案,GPU数据库的查询优化在未来仍有很大的研究空间.事务在GPU数据库中没有得到很好的研究,尽管有单独的原型系统,但目前的研究还没有取得重大进展.本文总结了GPU数据库各种关键技术已有的研究成果,指出GPU数据库当前存在的问题和面临的挑战,对未来的研究方向进行了展望.

数据仓库视图一致性维护与下查研究

数据仓库是存储供查询和决策分析用的集成化信息仓库。实体化视图作为数据仓库中存储的主要信息实体,是由对上一级或外部数据源进行抽取、转化、传输和上载的数据构成的。当源数据发生变化时,如何进行数据仓库实体化视图的一致性维护以及OLAP查询,是一个有着实际意义的研究课题。论文提出的算法Glide采用版本控制、补偿思想和应答机制来协调源数据库与数据仓库间的数据更新,保证了数据仓库视图维护与下查的一致性,提高了算法的健壮程度和对源数据库端CPU的利用率,是以往同类算法的一个本质改进。论文指出算法Glide是完全一致的,并给出了严格的数学证明。文章还通过一个示例说明了该算法在实际中的具体运用。

多数据源数据仓库实体化视图维护与下查

研究了多源单视图下数据仓库实体化视图联机维护与下查一致性问题,并提出普适性强一致收敛维护算法M Glide。算法引入动作列表来控制数据仓库收到的信息顺序,采用版本控制、补偿思想和应答机制来协调源数据库与数据仓库间的数据更新,从而保证了数据仓库视图维护与下查的一致性,并通过一个示例说明了该算法在实际中的具体运用。

数据仓库中实体化视图的一致性维护问题的研究

实现实体化视图是提高系统响应时间的一个关键技术和有效的解决方案,但在具体的实现过程中面临着实体化视图的一致性维护问题。由于源数据的不稳定性,其结构和数据的变化必须及时传播到实体化视图中,以保持实体化视图与源数据的变化一致性,否则会降低实体化视图中数据的新鲜度,并影响OLAP查询结果的真实性和有效性。为此本文针对视图的一致性维护问题,介绍了视图中数据的维护方法,同时还就实体化视图结构的维护,提出了使视图重计算代价最小化的解决方案和基本算法。

数据仓库实体化视图一致性维护与下查研究

实体化视图作为数据仓库中存储的主要信息实体是由对上一级或外部数据源进行抽取、转化、传输和上载的数据构成的.当源数据发生变化时,如何进行数据仓库实体化视图的一致性维护以及0LAP查询,是一个有着实际意义的研究课题.本文提出一个改进性算法Glide*,该算法采用补偿思想来协调源数据库及实体化视图的一致性,从而对系统内存开销及维护工作量方面都有很大的改进.文章还通过一个示例说明了该算法在实际中的具体运用.