OLAP查询基数预估能力评估

查询优化可以显著提升联机分析处理(online analytical processing,OLAP)数据库系统对海量教育数据的分析效率,为智能教学系统提供快速、精准的数据支持.优化器主要包含基数预估、空间枚举和代价模型3个模块.其中,基数预估决定代价模型的结果,并指导查询计划的选择.因此,优化器的基数预估模块评估对OLAP数据库系统优化起到积极的推动作用.本文设计并实现了一套基于主键驱动的、构造多样化数据分布和数据关联关系的有效负载生成工具,包含自定义关联关系的数据生成技术、基于有限状态机的负载模版生成技术和目标基数驱动的参数实例化技术.并在3个数据库OceanBase、TiDB和PostgreSQL上进行了实验,分析了3个数据库优化器存在的问题,并给出了建议.

基于OLAP的煤矿通风数据分析研究

矿井通风系统数据量庞大复杂,简单的统计形式及分析方法很难有效利用隐含信息对通风系统进行安全管理。本文首先提出了基于OLAP的煤矿通风系统数据分析方法,引入OLAP机制对煤矿通风数据进行管理,建立了通风系统数据管理模型,然后将OLAP与CNN有机融合,提出了基于OLAP的通风系统数据预测模型,最后通过大宁矿通风机风量预测加以实证分析,验证了模型的有效性和准确度,实现了大数据情境下煤矿通风系统数据的高效管理,提高了矿井通风系统管理水平。

GPU数据库OLAP优化技术研究

GPU数据库近年来在学术界和工业界吸引了大量的关注.尽管一些原型系统和商业系统(包括开源系统)开发了作为下一代的数据库系统,但基于GPU的OLAP引擎性能是否真的超过CPU系统仍然存有疑问,如果能够超越,那什么样的负载/数据/查询处理模型更加适合,则需要更深入的研究.基于GPU的OLAP引擎有两个主要的技术路线:GPU内存处理模式和GPU加速模式.前者将所有的数据集存储在GPU显存来充分利用GPU的计算性能和高带宽内存性能,不足之处在于GPU容量有限的显存制约了数据集大小以及稀疏访问模式的数据存储降低GPU显存的存储效率.后者只在GPU显存中存储部分数据集并通过GPU加速计算密集型负载来支持大数据集,主要的挑战在于如何为GPU显存选择优化的数据分布和负载分布模型来最小化PCIe传输代价和最大化GPU计算效率.致力于将两种技术路线集成到OLAP加速引擎中,研究一个定制化的混合CPU-GPU平台上的OLAP框架OLAP Accelerator,设计CPU内存计算、GPU内存计算和GPU加速3种OLAP计算模型,实现GPU平台向量化查询处理技术,优化显存利用率和查询性能,探索GPU数据库的不同的技术路线和性能特征.实验结果显示GPU内存向量化查询处理模型在性能和内存利用率两方面获得最佳性能,与OmniSciDB和Hyper数据库相比性能达到3.1和4.2倍加速.基于分区的GPU加速模式仅加速了连接负载来平衡CPU和GPU端的负载,能够比GPU内存模式支持更大的数据集.

基于Kylin实现大数据OLAP应用

医疗数据经过多年的发展,存量数据越来越多,在此基础上做的统计分析越发困难。传统的关系型数据库ETL计算过程复杂,而MPP数据库的查询速度并不理想,为了应对未来大规模的数据增长,提出采用基于Kylin实现大数据OLAP应用,实现医疗统计分析查询的快速响应。

基于图结构索引的分布式OLAP加速方法

随着业务数据的规模增大,一些重要的应用场景需要使用分布式在线分析处理(OLAP)支持大规模数据的分析,例如商务智能(BI),企业资源计划(ERP),用户行为分析等.同时,分布式OLAP打破单机存储的限制,可以将数据放在内存中以提升OLAP的处理性能.然而,基于内存的分布式OLAP在消除磁盘I/O后,性能瓶颈转移到了连接操作.连接操作是OLAP中的一种常用操作,会进行大量的数据读取与计算操作.通过对现有的几种连接操作方式进行分析,提出了一种能够加速连接操作的图结构索引以及基于图结构索引的连接操作方式LinkJoin.图结构索引通过用户所指定的连接关系,将数据在内存中的位置以图结构的形式进行存储.基于图结构索引的连接方式,不仅能够有等同于哈希连接的较低复杂度,而且在执行过程中能减少数据读取与计算操作次数.将目前先进的开源内存OLAP系统MonetDB从单机系统扩展成分布式系统,并且在该系统上设计与实现了基于图结构索引的连接操作方式.针对该系统的图索引结构,列式存储以及分布式执行引擎这3个重要方面,进行一系列设计与优化,以提升系统的分布式OLAP处理性能.测试结果表明,在TPC-H标准测试中,基于图结构索引的连接操作对于有连接操作的查询的平均性能提升达1.64倍(最多达4.1倍).对于这些查询中的连接操作,性能提升达9.8–22.1倍.

基于Spatial OLAP的城市交通综合管理系统设计与实现

空间联机分析处理技术将GIS与联机分析处理技术OLAP相结合,提供在空间维度上进行不同尺度钻取的解决方案——SOLAP。该文基于SOLAP技术,构建一个城市交通的综合管理系统,并在电子地图上展示不同区域、路段、时段的交通流信息,为交通管理者进行决策提供技术支持。

GPU数据库实现技术发展演进

爆炸式增长的数据对存储和处理数据提出了更高的需求,GPU数据库作为新硬件数据库的一个重要分支,在大容量和高性能处理方面有其独特的优势.GPU数据库作为高性能数据库的代表,在最近几年受到学术界和产业界的关注,一批具有代表性的研究成果和标志性的实际产品已经出现.GPU数据库的技术发展按照GPU加速型和GPU内存型两种技术路线展开.两种技术路线都有相应的原型系统或产品出现.虽然两种GPU数据库的发展路线在实现上有所不同,但GPU数据库最基本的功能部分和核心技术是相似的,都有查询编译、查询优化、查询执行以及存储管理等功能.当前主流的数据传输方案除了PCIe之外,NVLink、RDMA和CXL等传输方案也为不同处理器之间的数据传输提供了更多的可能性.大多数GPU数据库使用列存储模型来存储数据,少数GPU数据库(如PG-Strom)对两种存储模型都支持.在列存储模型上利用压缩技术能减少数据的存储空间和传输时延.在GPU数据库上进行的压缩和解压的时间应该在整个数据处理的过程中占比很少.在GPU数据库上建立和维护索引不应该有很大的系统开销.JIT编译时间短、编译效率高,是GPU数据库编译的主流.操作符对数据库查询性能的影响非常明显,连接操作、分组聚集和OLAP运算符是目前研究最多的三个类型.目前大多数的研究中,连接和分组聚集算子通常结合在一起研究.在连接算子执行的过程中还和表的连接顺序结合在一起进行考虑.OLAP算子是GPU数据库中的又一个被大量研究的算子,GPU数据库在OLAP算子和模型方面持续受到研究者的关注.GPU数据库有三种查询处理模型,即行处理、列处理和向量化处理.向量化处理和列处理在实际系统中应用较多.由于GPU加速型数据库技术的发展,CPU-GPU协同处理模型上的查询方案与查询引擎也有一定数量的研究成果出现.当前GPU数据库的查询优化研究主要有三部分:多表连接顺序、查询重写和代价模型.然而,GPU数据库的代价评估模型在目前还没有很好的解决方案,GPU数据库的查询优化在未来仍有很大的研究空间.事务在GPU数据库中没有得到很好的研究,尽管有单独的原型系统,但目前的研究还没有取得重大进展.本文总结了GPU数据库各种关键技术已有的研究成果,指出GPU数据库当前存在的问题和面临的挑战,对未来的研究方向进行了展望.

海量数据分析的One-size-fits-all OLAP技术

传统的OLAP被迅速膨胀的海量数据推动进入了大规模数据分析时代,其主要特点是存储密度大,计算强度大,需要大规模并行存储和处理能力.无论是传统的并行数据库技术还是热点的MapReduce技术都不得不面对海量数据在大规模并行处理环境下的性能和并行处理效率的问题.以星型模型上复杂多表连接为基础的OLAP算法的复杂度和并行处理过程中的数据网络传输代价都成为制约性能的重要因素.通过深入分析OLAP存储模型和查询负载特征,提出了对OLAP查询中最基础的SPJGA-OLAP子集在存储、查询处理、数据分布、网络传输和分布式缓存等方面面向海量数据大规模并行处理框架的优化策略和实现技术.通过对TPC-H和SSB两个工业界和学术界公认的测试标准的分析,评估了技术的可行性.提出了以内存predicate-vector DDTA-JOIN算法为核心的并行内存OLAP架构,以维表上规范化的谓词向量操作替代了多样的连接执行计划,实现以一种查询处理模型同时满足集中式处理和大规模并行OLAP处理的需求,充分利用现代计算机的硬件优势,最小化网络传输和OLAP查询处理代价.实验中分析了在1TB和100TB数据集中数据分布策略的存储代价和传输代价,通过并行OLAP代价模型和实际数据的实验测试验证了技术的可行性和并行处理效率.

大数据分析的分布式MOLAP技术

大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,学界和业界广泛采用分布式文件系统和MapReduce编程模型来应对这一挑战.提出了大数据环境中一种基于Hadoop分布式文件系统(HDFS)和MapReduce编程模型的分布式MOLAP技术,称为DOLAP(distributed OLAP).DOLAP采用一种特殊的多维模型完成维和度量的映射;采用维编码和遍历算法实现维层次上的上卷下钻操作;采用数据分块和线性化算法将维和度量保存在分布式文件系统中;采用数据块选择算法优化OLAP的性能;采用MapReduce编程模型实现OLAP操作.描述了DOLAP在科学数据分析的应用案例,并与主流的非关系数据库系统进行性能对比.实验结果表明,尽管数据装载性能略显不足,但DOLAP的性能要优于基于HBase,Hive,HadoopDB,OLAP4Cloud等主流非关系数据库系统实现的OLAP性能.

Graph OLAPing的建模、设计与实现

提出了一系列Graph的OLAP模型和算法,实现了以Graph数据为中心度量的OLAP操作.主要贡献包括:(1)提出了面向Graph的数据仓库概念模型——双星模型;(2)提出了Graph的数据立方概念和创建过程;(3)设计了信息维聚集算法I-OLAPing;(4)设计了拓扑维聚集算法T-OLAPing;(5)实现了Graph OLAP的原型系统Graph OLAPer1.0.实验结果表明,设计和实现的Graph OLAPing算法及原型系统Graph OLAPer1.0能够有效地进行科研合作网分析.

基于OLAP与数据挖掘的高考招生数据分析

如何从海量的高考招生数据中发现有用信息,是招生主管部门迫切关心的问题,也是家长、考生以及社会各界都十分关注的问题。围绕这一问题,依据某省多年来累积的高考招生数据,建立数据仓库和多维数据集,进行OLAP分析与数据挖掘分析,得到了一些潜在的有用信息。研究分析表明,这些信息可以为招生主管部门提供决策支持,也可作为指导考生合理填报志愿的重要依据。介绍了数据仓库和多维数据集的建立过程、录取相关数据的OLAP分析及其结果的解读过程以及利用决策树算法和关联规则算法进行数据挖掘的过程。

基于数据仓库和OLAP的商务决策系统

文章首先给出数据仓库以及OLAP的一些相关概念,建立了基于数据仓库的联机分析处理系统的结构框架,并详细介绍了联机分析处理系统中数据仓库的设计方法。

一种适应GPU的混合OLAP查询处理模型

通用GPU因其强大的并行计算能力成为新兴的高性能计算平台,并逐渐成为近年来学术界在高性能数据库实现技术领域的研究热点.但当前GPU数据库领域的研究沿袭的是ROLAP(relational OLAP)多维分析模型,研究主要集中在关系操作符在GPU平台上的算法实现和性能优化技术,以哈希连接的GPU并行算法研究为中心.GPU拥有数千个并行计算单元,但其逻辑控制单元较少,相对于CPU具有更强的并行计算能力,但逻辑控制和复杂内存管理能力较弱,因此并不适合需要复杂数据结构和复杂内存管理机制的内存数据库查询处理算法直接移植到GPU平台.提出了面向GPU向量计算特性的混合OLAP多维分析模型semi-MOLAP,将MOLAP(multidimensional OLAP)模型的直接数组访问和计算特性与ROLAP模型的存储效率结合在一起,实现了一个基于完全数组结构的GPU semi-MOLAP多维分析模型,简化了GPU数据管理,降低了GPU semi-MOLAP算法复杂度,提高了GPU semiMOLAP算法的代码执行率.同时,基于GPU和CPU计算的特点,将semi-MOLAP操作符拆分为CPU和GPU平台的协同计算,提高了CPU和GPU的利用率以及OLAP的查询整体性能.

基于OLAP的电力营销管理决策支持系统的研究

提出一种基于OLAP的电力营销管理决策支持系统的设计思路和实现方法,利用OLAP技术中的多维数据分析,采用非全连接的前馈神经网络技术对供电行业的营销数据进行多层次、多角度、全方位的分析,从而科学、快速地指出电力营销存在的问题、隐患。该研究对于电价的针对性调整以及合理地安排电力生产具有重要的参考价值。

一种超市OLAP系统的设计与实现

在简要分析OLAP和数据仓库的关系的基础上,介绍了某超市OLAP系统的一种体系结构、数据组织模式及其有关实现的关键技术,提出了一种建立在MSAnalysisServices上的OLAP系统的设计与实现方法。它采用MicrosoftSQLServer2000作为后台数据库服务器,使用MicrosoftSQLServer2000的AnalysisServices作为OLAP服务器,使用决策支持对象来管理OLAPServer中的各种对象,使用ADO/MD及MDX等技术实现多维分析。

基于OLAP查询的数据仓库视图的水平分割

选择数据仓库视图进行有效的水平分割,使OLAP查询通过访问较少的分割裂片以及较少的元组就可以完成,从而加快查询响应时间,削减维护费用.提出根据OLAP查询中的选择谓词构造其最小项谓词,选择数据仓库立方体视图,进行水平分割和实体化,来提高OLAP查询效率.

一种基于维层次编码的OLAP聚集查询算法

联机分析处理 (OLAP)查询往往需在海量数据上进行即席的复杂分组聚集查询 ,在其SQL语句中通常包含多表连接和分组聚集操作 ,因而减少多表连接和压缩关键字 ,以及对查询数据进行有效地分组聚集操作 ,成为ROLAP查询处理的关键问题 提出了一种基于维层次编码的新型预分组聚集算法DHEPGA DHEPGA算法充分利用了编码长度较小的维层次编码及其前缀 ,来快速检索出与查询关键字相匹配的维层次编码 ,求得维层次属性的查询范围 ,减少了I/O开销 ,提高了OLAP查询效率 理论分析和实验结果表明 。

OLAP数据仓库在电网调度决策中的研究与应用

以某电力系统为研究背景,在对原有的数据源进行分析和重新组织的基础上,构建电网调度数据仓库,并建立多维雪花模式的数据立方体。运用OLAP和数据挖掘技术,从多角度、多层次快速地分析和查询数据仓库的数据,实现负荷预估和调度的科学化,并说明OLAP数据仓库能够为电网调度管理人员提供有效的决策信息。

数据仓库与OLAP技术在高考志愿数据分析中的应用

如何填报高考志愿,增加考生被自己心仪院校录取的几率,是每一位高考考生和家长密切关注的问题。以某省近9年积累的高考历史数据建立数据仓库,利用OLAP技术对这些数据进行多维分析,得到了一些广大考生可资借鉴的结果。重点介绍了考生志愿多维数据集的建立与分析的整个过程,以及涉及到的一些技术难点。

面向大规模机群的可扩展OLAP查询技术

大数据时代,由中低端硬件组成的大规模机群逐渐成为海量数据处理的主流平台之一.然而传统基于高端硬件平台设计的并行OLAP查询算法并不适应这种由不可靠计算单元组成的大规模并行计算的环境.为改善其在新计算环境下的的扩展性和容错性,该文对传统数据仓库的数据组织模式及处理模式进行改造,提出了全新的无连接雪花模型和TRM执行模型.无连接雪花模型基于层次编码技术,将维表层次等关键信息压缩进事实表,使得事实表可以独立处理数据,从数据模型层保证了数据计算的独立性;TRM执行模型将OLAP查询的处理抽象为Transform、Reduce、Merge 3个操作,使得OLAP查询可被划分为众多可并行执行的独立子任务,从执行层保证了系统的高度可扩展特性.在性能优化方面,该文提出了Scan-index扫描和跳跃式扫描算法,以尽可能地减少I/O访问操作;设计了并行谓词判断、批量谓词判断等优化算法,以加速本地计算速度.实验表明:LaScOLAP原型可以获得较好的扩展性和容错性,其性能比HadoopDB高出一个数量级.