基于图结构索引的分布式OLAP加速方法

随着业务数据的规模增大,一些重要的应用场景需要使用分布式在线分析处理(OLAP)支持大规模数据的分析,例如商务智能(BI),企业资源计划(ERP),用户行为分析等.同时,分布式OLAP打破单机存储的限制,可以将数据放在内存中以提升OLAP的处理性能.然而,基于内存的分布式OLAP在消除磁盘I/O后,性能瓶颈转移到了连接操作.连接操作是OLAP中的一种常用操作,会进行大量的数据读取与计算操作.通过对现有的几种连接操作方式进行分析,提出了一种能够加速连接操作的图结构索引以及基于图结构索引的连接操作方式LinkJoin.图结构索引通过用户所指定的连接关系,将数据在内存中的位置以图结构的形式进行存储.基于图结构索引的连接方式,不仅能够有等同于哈希连接的较低复杂度,而且在执行过程中能减少数据读取与计算操作次数.将目前先进的开源内存OLAP系统MonetDB从单机系统扩展成分布式系统,并且在该系统上设计与实现了基于图结构索引的连接操作方式.针对该系统的图索引结构,列式存储以及分布式执行引擎这3个重要方面,进行一系列设计与优化,以提升系统的分布式OLAP处理性能.测试结果表明,在TPC-H标准测试中,基于图结构索引的连接操作对于有连接操作的查询的平均性能提升达1.64倍(最多达4.1倍).对于这些查询中的连接操作,性能提升达9.8–22.1倍.

基于OLAP的上海社区服务网后台数据仓库的设计与实现

首先给出数据仓库以及OLAP等一些相关概念,然后叙述了OLAP多维数据分析的几种方法,最后介绍了基于OLAP的上海社区服务网后台数据仓库的设计方案及其具体实现方法。

海量数据分析的One-size-fits-all OLAP技术

传统的OLAP被迅速膨胀的海量数据推动进入了大规模数据分析时代,其主要特点是存储密度大,计算强度大,需要大规模并行存储和处理能力.无论是传统的并行数据库技术还是热点的MapReduce技术都不得不面对海量数据在大规模并行处理环境下的性能和并行处理效率的问题.以星型模型上复杂多表连接为基础的OLAP算法的复杂度和并行处理过程中的数据网络传输代价都成为制约性能的重要因素.通过深入分析OLAP存储模型和查询负载特征,提出了对OLAP查询中最基础的SPJGA-OLAP子集在存储、查询处理、数据分布、网络传输和分布式缓存等方面面向海量数据大规模并行处理框架的优化策略和实现技术.通过对TPC-H和SSB两个工业界和学术界公认的测试标准的分析,评估了技术的可行性.提出了以内存predicate-vector DDTA-JOIN算法为核心的并行内存OLAP架构,以维表上规范化的谓词向量操作替代了多样的连接执行计划,实现以一种查询处理模型同时满足集中式处理和大规模并行OLAP处理的需求,充分利用现代计算机的硬件优势,最小化网络传输和OLAP查询处理代价.实验中分析了在1TB和100TB数据集中数据分布策略的存储代价和传输代价,通过并行OLAP代价模型和实际数据的实验测试验证了技术的可行性和并行处理效率.

一种基于维层次编码的OLAP聚集查询算法

联机分析处理 (OLAP)查询往往需在海量数据上进行即席的复杂分组聚集查询 ,在其SQL语句中通常包含多表连接和分组聚集操作 ,因而减少多表连接和压缩关键字 ,以及对查询数据进行有效地分组聚集操作 ,成为ROLAP查询处理的关键问题 提出了一种基于维层次编码的新型预分组聚集算法DHEPGA DHEPGA算法充分利用了编码长度较小的维层次编码及其前缀 ,来快速检索出与查询关键字相匹配的维层次编码 ,求得维层次属性的查询范围 ,减少了I/O开销 ,提高了OLAP查询效率 理论分析和实验结果表明 。

OLAP数据仓库在电网调度决策中的研究与应用

以某电力系统为研究背景,在对原有的数据源进行分析和重新组织的基础上,构建电网调度数据仓库,并建立多维雪花模式的数据立方体。运用OLAP和数据挖掘技术,从多角度、多层次快速地分析和查询数据仓库的数据,实现负荷预估和调度的科学化,并说明OLAP数据仓库能够为电网调度管理人员提供有效的决策信息。

OLAP中一种多维数据模型

分析了传统OLAP（联机分析处理）模型在商业应用领域中存在的不足，在此基础 上，针对某一超市的OLAP的设计过程中所碰到的问题，提出了一种多维数据模型，给出了模 型定义和基于关系数据库模型实现方法。

基于OLAP的高校教学协同决策

高校教学信息化建设积累了丰富的业务数据,如何利用历史数据进行高校教学协同决策,是管理者关心的问题。通过教学协同决策的若干主题,设计出多维立方体,并对其执行联机分析处理;设计用于协同决策联机分析处理(OLAP)平台,并给出了相应的分析结果。

OLAP技术在电气设备在线监测数据处理中的应用

指出了当前电气设备在线监测数据处理与分析存在的问题,提出应用联机分析处理(OLAP)技术实现在线监测数据的快速访问和分析。介绍了OLAP技术的相关内容,基于客户/服务器(C/S)结构,建立了一个具有星形和雪花形数据模型的在线监测OLAP系统,该系统已投入运行,可以对在线监测数据进行分析,为进一步实现在线监测数据规律性挖掘奠定了基础。

数据仓库与OLAP在高校教学决策中的应用研究

随着高校信息化建设不断开展,高校教学领域积累了丰富的业务数据,这些历史数据中蕴藏着较高价值的信息,对教学管理决策有很好的帮助。在研究分析教学决策主题特点的基础上,构建教学数据仓库,设计相关分析主题以及数据分析模型,并开展了OLAP的实际应用分析,研究结果促进了数据仓库与OLAP在高校教学决策领域的应用,提高了教学数据分析能力和决策水平。

基于操作序列挖掘的OLAP查询推荐方法

针对联机分析处理(OLAP)操作复杂导致的用户使用效率低下问题,提出基于操作序列挖掘的OLAP查询推荐方法.首先从多维表达式(MDX)查询语句记录中提取整数数列形式的查询序列,再利用PrefixSpan方法对查询序列进行频繁序列模式挖掘,并基于挖掘出的模式及其子模式建立概率矩阵,最后通过搜索与用户当前查询操作或查询序列匹配的候选模式对其下一步查询操作进行预测,并将预测结果按概率大小分级推荐.在7位OLAP专业分析人员的查询分析日志数据集上对提出的查询推荐方法进行性能评价,实验结果表明:使用用户相关模型前5推荐内容的平均正确率为92.20%,其中第1推荐的平均正确率为77.06%.

电力OLAP系统设计研究与应用

介绍了OLAP技术的特征和概念,研究了运用ADO MD建立OLAP决策支持系统的关键技术并以某钢铁企业的电力系统为研究背景 ,给出了企业电力OLAP系统的设计方案。

向量计算Array OLAP查询处理技术

多核和众核处理器成为新的具有强大并行处理能力的大内存计算平台的主流配置。多核处理器遵循以LLC(Last Level Cache,最后一级cache)大小为中心的优化技术,而众核处理器,如Phi、GPU协处理器,则采用较小的cache并以更多的硬件级线程来掩盖内存访问延迟的设计。随着处理核心数量的增长,计算框架更倾向于面向大规模处理核心的、代码执行效率高并且扩展性强的设计思想。提出了一种基于数组存储和向量处理的内存分析处理框架Array OLAP,简化OLAP的存储模型和查询处理模型。在Array OLAP计算框架中,维表规范化为基于向量的维过滤器,事实表规范化为带有多维索引的度量属性。通过多维索引计算,一个多维查询被简化为事实表上的向量索引扫描并根据度量表达式进行聚集计算。规范化的向量查找和向量索引扫描具有较好的代码执行效率,并且阶段化的处理模型更好地适应不同的计算平台,将计算阶段分配给最适合的计算平台。同时,Array OLAP是一种面向数据仓库模式特点的设计,向量处理模型设计简单,对于数据仓库维表较小且增长缓慢的特点具有较好的效率。描述了在不同平台上的Array OLAP计算框架并且通过基准测试评估Array OLAP的性能,通过与当前的内存分析型数据库的性能对比,Array OLAP性能超过主流的内存分析型数据库并且可以平滑地迁移到新的硬件平台。

基于对象池和数据缓存技术的Web-OLAP系统

在分析Web环境下传统联机分析处理(online analytical processing OLAP)系统存在问题的基础上,提出一种基于对象池和数据缓存技术的OLAP系统的体系结构.首先给出了对象池的定义及处理用户请求的算法,然后给出了数据缓存的定义及数据缓存的处理算法.采用对象池及数据缓存技术相结合,可明显提高系统的性能.

OLAP聚集计算中的维存储技术

为解决传统行存储结构导致OLAP聚集计算效率低下的问题,设计了基于维存储的OLAP数据存取技术.首先,将OLAP事实表中的维属性集和度量属性集定义为2个列族,每张维表的所有属性定义为1个列族.对维表进行二进制编码,生成维层次编码,从而保持了维的层次语义特性.以(维层次编码,度量值)对形式按列组织数据,消除查询时维表与事实表的复杂连接操作运算.然后,采用自底向上方法构建B+树,对维层次编码进行索引,加快了数据读取效率.通过增删事实表和维层次编码-度量表中相应的列,实现维和度量的增加和删除.性能分析结果表明,这种OLAP数据存取技术具有良好的可扩展性,能高效地管理和存取OLAP海量多维数据,有效支持上层OLAP聚集计算.

基于OLAP的电力营销管理决策支持系统的研究

提出一种基于OLAP的电力营销管理决策支持系统的设计思路和实现方法,利用OLAP技术中的多维数据分析,采用非全连接的前馈神经网络技术对供电行业的营销数据进行多层次、多角度、全方位的分析,从而科学、快速地指出电力营销存在的问题、隐患。该研究对于电价的针对性调整以及合理地安排电力生产具有重要的参考价值。

基于IOS的农产品追溯查询信息的OLAP展示

随着国家农垦局农产品追溯系统的推广,如何更好地发挥数据中心的大量追溯查询信息的作用需要进一步研究。就此提出基于IOS平台来构建农产品追溯查询信息的OLAP展现的思路,并对系统的构架、多维数据模型设计、WEB服务器程序以及IOS客户端UI展示的实现等进行了重点介绍。

DM_OLAP元数据管理

元数据在数据仓库和联机分析处理中扮演着重要的角色。该文介绍了自主研制的DM_OLAP系统的元数据模型,包括其设计和CWM标准化。同时,提出了基于CWM模型的DM_OLAP元数据管理系统的设计。

基于数据仓库及OLAP的人口统计预测系统

为了解决新形势下公安工作对决策支持的需求,提高公安系统办事效率和速度,实现了基于数据仓库技术以及OLAP(On-LineAnalyticalProcessing)技术的人口统计预测系统。该系统是将人口理论应用于实际的一个计算机软件系统,它可以对公安部门人口业务数据进行查询、统计、分析及预测,具有查询统计速度快,分析预测形象、直观、效果好等优点,满足了公安部门决策支持的一般需要。

联机分析处理(OLAP)技术研究

在简要分析ＯＬＡＰ与数据仓库关系的基础上，介绍ＯＬＡＰ系统的一种体系结构、数据组织模式及其有关实现的关键技术．

空间OLAP技术研究

针对决策支持系统中空间数据可视化应用趋势,研究基于空间数据仓库的一种决策分析工具———在线分析处理,通过改进空间数据立方体的物化视图选择方法,并进行了实例分析,验证该方法的有效性和优越性,更好地解决空间OLAP响应时间延迟问题.进而扩展空间OLAP应用模型和模式,实现更加完备、灵活的空间OLAP操作功能.