基于OLAP的煤矿通风数据分析研究

矿井通风系统数据量庞大复杂,简单的统计形式及分析方法很难有效利用隐含信息对通风系统进行安全管理。本文首先提出了基于OLAP的煤矿通风系统数据分析方法,引入OLAP机制对煤矿通风数据进行管理,建立了通风系统数据管理模型,然后将OLAP与CNN有机融合,提出了基于OLAP的通风系统数据预测模型,最后通过大宁矿通风机风量预测加以实证分析,验证了模型的有效性和准确度,实现了大数据情境下煤矿通风系统数据的高效管理,提高了矿井通风系统管理水平。

GPU数据库OLAP优化技术研究

GPU数据库近年来在学术界和工业界吸引了大量的关注.尽管一些原型系统和商业系统(包括开源系统)开发了作为下一代的数据库系统,但基于GPU的OLAP引擎性能是否真的超过CPU系统仍然存有疑问,如果能够超越,那什么样的负载/数据/查询处理模型更加适合,则需要更深入的研究.基于GPU的OLAP引擎有两个主要的技术路线:GPU内存处理模式和GPU加速模式.前者将所有的数据集存储在GPU显存来充分利用GPU的计算性能和高带宽内存性能,不足之处在于GPU容量有限的显存制约了数据集大小以及稀疏访问模式的数据存储降低GPU显存的存储效率.后者只在GPU显存中存储部分数据集并通过GPU加速计算密集型负载来支持大数据集,主要的挑战在于如何为GPU显存选择优化的数据分布和负载分布模型来最小化PCIe传输代价和最大化GPU计算效率.致力于将两种技术路线集成到OLAP加速引擎中,研究一个定制化的混合CPU-GPU平台上的OLAP框架OLAP Accelerator,设计CPU内存计算、GPU内存计算和GPU加速3种OLAP计算模型,实现GPU平台向量化查询处理技术,优化显存利用率和查询性能,探索GPU数据库的不同的技术路线和性能特征.实验结果显示GPU内存向量化查询处理模型在性能和内存利用率两方面获得最佳性能,与OmniSciDB和Hyper数据库相比性能达到3.1和4.2倍加速.基于分区的GPU加速模式仅加速了连接负载来平衡CPU和GPU端的负载,能够比GPU内存模式支持更大的数据集.

OLAP查询基数预估能力评估

查询优化可以显著提升联机分析处理(online analytical processing,OLAP)数据库系统对海量教育数据的分析效率,为智能教学系统提供快速、精准的数据支持.优化器主要包含基数预估、空间枚举和代价模型3个模块.其中,基数预估决定代价模型的结果,并指导查询计划的选择.因此,优化器的基数预估模块评估对OLAP数据库系统优化起到积极的推动作用.本文设计并实现了一套基于主键驱动的、构造多样化数据分布和数据关联关系的有效负载生成工具,包含自定义关联关系的数据生成技术、基于有限状态机的负载模版生成技术和目标基数驱动的参数实例化技术.并在3个数据库OceanBase、TiDB和PostgreSQL上进行了实验,分析了3个数据库优化器存在的问题,并给出了建议.

基于Kylin实现大数据OLAP应用

医疗数据经过多年的发展,存量数据越来越多,在此基础上做的统计分析越发困难。传统的关系型数据库ETL计算过程复杂,而MPP数据库的查询速度并不理想,为了应对未来大规模的数据增长,提出采用基于Kylin实现大数据OLAP应用,实现医疗统计分析查询的快速响应。

数据仓库技术和OLAP的研究

文章介绍了数据仓库和联机分析处理技术的基本概念,分析了数据仓库的WHIPS体系结构和现行的几种联机分析处理模型,在此基础上提出了一种新型联机分析处理模型———对象-关系型联机分析处理模型。

基于图结构索引的分布式OLAP加速方法

随着业务数据的规模增大,一些重要的应用场景需要使用分布式在线分析处理(OLAP)支持大规模数据的分析,例如商务智能(BI),企业资源计划(ERP),用户行为分析等.同时,分布式OLAP打破单机存储的限制,可以将数据放在内存中以提升OLAP的处理性能.然而,基于内存的分布式OLAP在消除磁盘I/O后,性能瓶颈转移到了连接操作.连接操作是OLAP中的一种常用操作,会进行大量的数据读取与计算操作.通过对现有的几种连接操作方式进行分析,提出了一种能够加速连接操作的图结构索引以及基于图结构索引的连接操作方式LinkJoin.图结构索引通过用户所指定的连接关系,将数据在内存中的位置以图结构的形式进行存储.基于图结构索引的连接方式,不仅能够有等同于哈希连接的较低复杂度,而且在执行过程中能减少数据读取与计算操作次数.将目前先进的开源内存OLAP系统MonetDB从单机系统扩展成分布式系统,并且在该系统上设计与实现了基于图结构索引的连接操作方式.针对该系统的图索引结构,列式存储以及分布式执行引擎这3个重要方面,进行一系列设计与优化,以提升系统的分布式OLAP处理性能.测试结果表明,在TPC-H标准测试中,基于图结构索引的连接操作对于有连接操作的查询的平均性能提升达1.64倍(最多达4.1倍).对于这些查询中的连接操作,性能提升达9.8–22.1倍.

OLAP多维数据分析与应用研究

在OLAP多维数据概念、分类、及多维数据存储的基础上,着重对 OLAP的两种模型及OLAP完成多维数据分析功能时的凡种技术方案进行比较。经过综合的分析与实践,总结出自行开发方案与借助OLAP具软件开发应用系统各自的主要方法与适用环境,从而可以将业务数据转化为对决策有用的信息,使分析人员和管理人员能更有效地依靠事实作出科学决策。

基于Spatial OLAP的城市交通综合管理系统设计与实现

空间联机分析处理技术将GIS与联机分析处理技术OLAP相结合,提供在空间维度上进行不同尺度钻取的解决方案——SOLAP。该文基于SOLAP技术,构建一个城市交通的综合管理系统,并在电子地图上展示不同区域、路段、时段的交通流信息,为交通管理者进行决策提供技术支持。

数据仓库与OLAP在营销决策系统中应用

以纺织公司营销决策支持系统为例探讨了利用基于数据仓库的 OLAP 进行联机分析的方法,首先介绍了数据仓库的基本特征和结构模型,以及 OLAP 技术的功能和实现方式,然后以基于数据仓库的阜新市经纬纺织公司营销决策系统原型为实例,把抽象的理论具体化,最后探讨了数据仓库发展的必然趋势和最终目的,并提出了关于 OLAP 研究方向的观点。

XML在OLAP系统中的应用

将XML技术应用于一个实际的OLAP系统中,针对传统的用数据库方式保存OLAP元数据的不足,利用XML管理OLAP元数据,从而为OLAP元数据管理提供了一致的数据模型和描述语言,使得从语法上规范化地表示OLAP元数据成为可能,同时,XML的语义特性也能更好地体现OLAP系统元数据的语义性与层次性.

ROLAP和MOLAP的研究

如今许多企业已构建了数据仓库,并且通过使用联机分析处理OLAP技术可以使决策人员从数据仓库中获取有用信息。然而应用OLAP时,人们遇到的问题是,到底采用ROLAP还是MOLAP。本文将对这两种模式做相应的比较分析。

基于关系数据库的OLAP的研究

文中概述了OLAP的特征,明确了OLAP与数据仓库间的联系,并从多个方面就基于关系数据库的OLAP进行研究,意在对ROLAP的相关内容进一步明确,为其实践应用提供相应的借鉴与支持。

Co-OLAP:CPU&GPU混合平台上面向星形模型基准的协同OLAP（英文）

当前GPU(图形处理器),即使是中端服务器配置的中端GPU也拥有强大的并行计算能力.不同于近期的研究成果,中端服务器可能配置有几块高端CPU和一块中端GPU,GPU能够提供额外的计算能力而不是提供比CPU更加强大的计算能力.本文以中端工作站上的CoOLAP(协同OLAP)为中心,描述如何使中端GPU与强大的CPU协同以及如何在计算均衡的异构平台上分布数据和计算以使Co-OLAP模型简单而高效.根据实际的配置,基于内存容量,GPU显存容量,数据集模式和订制的AIR(数组地址引用)算法提出了最大高性能数据分布模型.CoOLAP模型将数据划分为驻留于内存和GPU显存的数据集,OLAP计算也划分为CPU和GPU端的自适应计算负载来最小化CPU和GPU内存之间的数据传输代价.实验结果显示,在SF=20的SSB(星形模型基准)测试中,两块至强六核处理器的性能略优于一块NVIDA Quadra 5 000GPU(352个cuda核心)的处理性能,Co-OLAP模型可以将负载均衡分布在异构计算平台并使每个平台简单而高效.

OLAP性能分析及优化

数据仓库存储大量历史数据,OLAP应用涉及到对大面积历史数据的复杂查询,查询优化是提高OLAP响应速度的关键。目前最有效的方法是增加综合数据存储及查询方式的优化,但存储空间的有限限制了综合数据的存储量。常规优化数据库的方法不能满足OLAP的要求,针对以上出现的问题分别从数据仓库存储优化、OLAP实现方式的选择等工作出发,基于OLAP性能优化的查询优化策略等多角度实现对OLAP响应速度及提高查询优化。对这个问题进行了深入的研究。

数据仓库与联机分析处理(OLAP)技术

数据仓库(Data warehouse)可以提炼和整理有效数据,提高处理速度,并且增加OLAP分析功能,为业务的分析和管理提供必要的手段。本文对数据仓库及联机分析处理技术作详尽阐述。

数据仓库与OLAP

本文就近年来快速发展起来的数据仓库技术和ＯＬＡＰ技术进行了讨论，比较总结了数据仓库和传统数据库的定义及功能，着重剖析了联机分析处理ＯＬＡＰ的三种结构及特征。

OLAP中的多维数组的压缩算法

OLAP作为数据仓库的前端分析工具，直接面对用户，因此，其灵活性，效率非常重要，而OLAP工具是否灵活高效，很大程度上取决于数据的组织结构，基于多维数组的OLAP，对于分析的灵活性无疑是最好的实现方式，但其缺点是空间浪费过大，介绍了基于多维数组的MOLAP的实现技术，并提出了一种MOLAP的压缩算法，结合铁道部货运数据仓库及数据挖掘系统，深入地研究了这一技术。

一种基于朴素贝叶斯算法的OLAP缓存机制

大数据时代,缓存作为一种提高数据处理性能的有效技术而被广泛研究。目前大多数缓存机制将查询结果以文件的形式保存了下来,命中率较低,造成了缓存资源的浪费。以国内外的缓存技术为基础,结合用户的查询习惯,借助增量朴素贝叶斯算法设计了一种新的数据仓库缓存机制,此缓存机制可根据用户的操作习惯判断每次查询的结果是否需要被缓存,以此提高缓存命中率。并通过实验从平均查询时间以及缓存命中率两方面验证了该缓存机制的有效性。

基于HIS决策支持的OLAP多维数据模型的设计研究

本文结合HIS决策支持系统数据模型的建立,阐述OLAP和多维数据模型的概念、OLAP的特点以及三种实现方式,并且分别以ROLAP(系联系分析处理)AP(维联机分析处理)种方式分析HIS系统中建立基于OLAP的数据模型和两种方式的对比。

海量数据分析的One-size-fits-all OLAP技术

传统的OLAP被迅速膨胀的海量数据推动进入了大规模数据分析时代,其主要特点是存储密度大,计算强度大,需要大规模并行存储和处理能力.无论是传统的并行数据库技术还是热点的MapReduce技术都不得不面对海量数据在大规模并行处理环境下的性能和并行处理效率的问题.以星型模型上复杂多表连接为基础的OLAP算法的复杂度和并行处理过程中的数据网络传输代价都成为制约性能的重要因素.通过深入分析OLAP存储模型和查询负载特征,提出了对OLAP查询中最基础的SPJGA-OLAP子集在存储、查询处理、数据分布、网络传输和分布式缓存等方面面向海量数据大规模并行处理框架的优化策略和实现技术.通过对TPC-H和SSB两个工业界和学术界公认的测试标准的分析,评估了技术的可行性.提出了以内存predicate-vector DDTA-JOIN算法为核心的并行内存OLAP架构,以维表上规范化的谓词向量操作替代了多样的连接执行计划,实现以一种查询处理模型同时满足集中式处理和大规模并行OLAP处理的需求,充分利用现代计算机的硬件优势,最小化网络传输和OLAP查询处理代价.实验中分析了在1TB和100TB数据集中数据分布策略的存储代价和传输代价,通过并行OLAP代价模型和实际数据的实验测试验证了技术的可行性和并行处理效率.