期刊文献+
共找到71篇文章
< 1 2 4 >
每页显示 20 50 100
海量数据分析的One-size-fits-all OLAP技术 被引量:30
1
作者 张延松 焦敏 +2 位作者 王占伟 王珊 周烜 《计算机学报》 EI CSCD 北大核心 2011年第10期1936-1946,共11页
传统的OLAP被迅速膨胀的海量数据推动进入了大规模数据分析时代,其主要特点是存储密度大,计算强度大,需要大规模并行存储和处理能力.无论是传统的并行数据库技术还是热点的MapReduce技术都不得不面对海量数据在大规模并行处理环境下的... 传统的OLAP被迅速膨胀的海量数据推动进入了大规模数据分析时代,其主要特点是存储密度大,计算强度大,需要大规模并行存储和处理能力.无论是传统的并行数据库技术还是热点的MapReduce技术都不得不面对海量数据在大规模并行处理环境下的性能和并行处理效率的问题.以星型模型上复杂多表连接为基础的OLAP算法的复杂度和并行处理过程中的数据网络传输代价都成为制约性能的重要因素.通过深入分析OLAP存储模型和查询负载特征,提出了对OLAP查询中最基础的SPJGA-OLAP子集在存储、查询处理、数据分布、网络传输和分布式缓存等方面面向海量数据大规模并行处理框架的优化策略和实现技术.通过对TPC-H和SSB两个工业界和学术界公认的测试标准的分析,评估了技术的可行性.提出了以内存predicate-vector DDTA-JOIN算法为核心的并行内存OLAP架构,以维表上规范化的谓词向量操作替代了多样的连接执行计划,实现以一种查询处理模型同时满足集中式处理和大规模并行OLAP处理的需求,充分利用现代计算机的硬件优势,最小化网络传输和OLAP查询处理代价.实验中分析了在1TB和100TB数据集中数据分布策略的存储代价和传输代价,通过并行OLAP代价模型和实际数据的实验测试验证了技术的可行性和并行处理效率. 展开更多
关键词 OLAP 海量数据分析处理 谓词向量 星型模型
下载PDF
挖掘多关系关联规则 被引量:37
2
作者 何军 刘红岩 杜小勇 《软件学报》 EI CSCD 北大核心 2007年第11期2752-2765,共14页
关联规则的挖掘是数据挖掘中的一项重要和基础的技术,已进行了多方面的深入研究,有着广泛的应用.传统数据挖掘算法是针对单表数据进行处理的,在应用于多关系数据挖掘时存在诸多问题.对多关系关联规则的挖掘问题进行了重新定义和总结.提... 关联规则的挖掘是数据挖掘中的一项重要和基础的技术,已进行了多方面的深入研究,有着广泛的应用.传统数据挖掘算法是针对单表数据进行处理的,在应用于多关系数据挖掘时存在诸多问题.对多关系关联规则的挖掘问题进行了重新定义和总结.提出了多关系关联规则挖掘的一个框架,并对已有算法进行了分类.然后对各类代表性算法进行了描述、分析和对比,对尚存在的问题进行了分析和总结.最后,对该领域未来的研究工作提出了建议. 展开更多
关键词 数据挖掘 关联规则 关系数据库 星型模式
下载PDF
基于SQL Server 2000的企业数据仓库设计与应用 被引量:9
3
作者 仲元昌 李刚 +1 位作者 王越 杨武 《计算机科学》 CSCD 北大核心 2003年第12期92-94,共3页
在激烈的市场竞争中,企业纷纷建立了自己的数据库系统,以此来收集、存储、管理业务操作数据,改善办公环境,提高操作人员的工作效率,同时,企业也希望从海量的数据中获得有价值的信息,以支持企业决策.
关键词 SQLSERVER2000 企业数据仓库 设计 数据集合 数据分析 企业数据库
下载PDF
基于数据仓库的高校数据统计服务平台研究 被引量:8
4
作者 龙新征 李丽 +3 位作者 彭一明 王倩宜 欧阳荣彬 刘云峰 《通信学报》 EI CSCD 北大核心 2013年第S2期163-169,共7页
为了适应新形势下高校对大数据统计、分析的需求,设计实现了一套基于数据仓库的高校数据统计服务平台的整体方案。对高校数据仓库的整体架构、数据仓库的建模进行了研究,并设计了一种基于数据仓库星型结构的统计数据模型;进一步探讨了... 为了适应新形势下高校对大数据统计、分析的需求,设计实现了一套基于数据仓库的高校数据统计服务平台的整体方案。对高校数据仓库的整体架构、数据仓库的建模进行了研究,并设计了一种基于数据仓库星型结构的统计数据模型;进一步探讨了统计服务平台在实现过程中ETL(extraction transformation loading)以及界面设计等方面的关键技术;为高校下一步搭建管理与决策支持平台提供了重要的实践基础和理论支撑。 展开更多
关键词 商业智能 数据统计 数据仓库 星型模型 统计数据模型
下载PDF
数据仓库中数据结构设计方法的研究 被引量:20
5
作者 任锦鸾 顾培亮 曾珍香 《计算机工程与应用》 CSCD 北大核心 2001年第22期116-118,共3页
介绍了构建数据仓库中数据结构的方法,改进了信息打包技术和星型模型技术,提出了层次实体、类别实体等一系列的概念和表示符号,并用这种改进的技术进行了实例设计。
关键词 数据仓库 数据结构 数据库 星型模型
下载PDF
星链ER模型:一种数据仓库概念设计模型 被引量:5
6
作者 鲍玉斌 孙焕良 +2 位作者 于戈 嵇晓 王大玲 《小型微型计算机系统》 CSCD 北大核心 2005年第2期235-238,共4页
对于流程工业中的数据仓库建设 ,存在一贯性质量分析的需求 ,即前一个工序的工艺可能影响下一个工序的产品质量 .针对这种需求 ,提出了一种数据仓库的概念设计模型 ,星链 ER模型 .其中引入了链式事实主题结构的概念 ,并把度量细分为传... 对于流程工业中的数据仓库建设 ,存在一贯性质量分析的需求 ,即前一个工序的工艺可能影响下一个工序的产品质量 .针对这种需求 ,提出了一种数据仓库的概念设计模型 ,星链 ER模型 .其中引入了链式事实主题结构的概念 ,并把度量细分为传递型度量与非传递型度量 ,给出了星链 ER模型的图形表示法以及由概念模型到逻辑模型的转换规则 .该模型可以方便地转化成多种逻辑模型如星型模式、雪花模式以及星座模式 . 展开更多
关键词 数据仓库 概念模型 星型模式 星链ER模型
下载PDF
联机分析查询处理中的一种聚集算法 被引量:14
7
作者 蒋旭东 冯建华 周立柱 《软件学报》 EI CSCD 北大核心 2002年第1期65-70,共6页
联机分析处理(online analytical processing,简称OLAP)查询是涉及大量数据的即席复杂查询,从SQL(structured query language)角度来看,这些查询通常都包含多表连接和分组聚集操作.从OLAP查询处理角度出发,提出一种新的基于排序的聚集... 联机分析处理(online analytical processing,简称OLAP)查询是涉及大量数据的即席复杂查询,从SQL(structured query language)角度来看,这些查询通常都包含多表连接和分组聚集操作.从OLAP查询处理角度出发,提出一种新的基于排序的聚集查询算法MuSA(sort-based aggregation with multi-table join).该方法充分考虑到数据仓库星型模式的特点,将聚集操作和新的多表连接算法MJoin相结合,排序时采用关键字映射技术对排序关键字进行压缩,从而可以显著地提高排序速度.此外,通过预先估计聚集分组的数目,优化选择不同的排序方法,使得算法对不同的分组聚集查询都进行优化.算法实验数据表明,这种聚集查询算法与传统的聚集查询处理方法相比,其性能有显著的提高. 展开更多
关键词 数据仓库系统 数据库 联机分析处理 查询 聚集算法
下载PDF
Web数据的数据仓库化模型 被引量:5
8
作者 李庆忠 赵培英 +1 位作者 郑永清 王海洋 《计算机工程与应用》 CSCD 北大核心 2003年第9期198-201,共4页
数据仓库化Web数据,以更好地支持企业的经营决策和联机分析处理,是当前数据库研究的一个热点。Web数据的数据仓库化包括数据抽取、数据集成和数据物化三个连续的阶段。本文在MIX模型的基础上,提出了一个数据仓库化Web数据的模型,描述了... 数据仓库化Web数据,以更好地支持企业的经营决策和联机分析处理,是当前数据库研究的一个热点。Web数据的数据仓库化包括数据抽取、数据集成和数据物化三个连续的阶段。本文在MIX模型的基础上,提出了一个数据仓库化Web数据的模型,描述了主要部分的接口功能,并详细讨论了Web数据的集成过程及物化过程中的有关问题。 展开更多
关键词 MIX 星型模式 数据集成 数据转换 本体
下载PDF
数据仓库查询处理中的一种多表连接算法 被引量:29
9
作者 蒋旭东 周立柱 《软件学报》 EI CSCD 北大核心 2001年第2期190-195,共6页
在进行数据仓库的 OLAP( online analytical processing,联机分析处理 )查询处理时 ,经常会涉及到多表连接操作 ,因此 ,提高多表连接的性能就成了数据仓库领域的关键性问题 .基于数据仓库的星型模式 ,给出了一种新的多表连接算法 ( M- J... 在进行数据仓库的 OLAP( online analytical processing,联机分析处理 )查询处理时 ,经常会涉及到多表连接操作 ,因此 ,提高多表连接的性能就成了数据仓库领域的关键性问题 .基于数据仓库的星型模式 ,给出了一种新的多表连接算法 ( M- Join) .与传统关系数据库管理系统的多表连接查询处理相比 ,该算法充分考虑了数据仓库中的数据本身和多表连接的特点 ,采用对多个表进行一次性连接的方法 ,使得查询的性能有明显的改善 .同时 ,还给出了算法的实验结果和分析 . 展开更多
关键词 数据仓库 OLAP 多表连接算法 数据库 数据查询处理
下载PDF
一种基于信息动态打包的数据仓库的设计方法 被引量:8
10
作者 李雪梅 何佳洲 陈世福 《计算机应用研究》 CSCD 北大核心 2001年第4期135-137,共3页
叙述了数据仓库的信息打包法的相关技术,提出一种基于信息动态打包的数据仓库设计方法.该方法采用了维度和类别动态重组技术,提供可以修改的数据存储方式,从而使所设计的数据仓库具有真正自适应的数据结构,较好地满足企业未来查询... 叙述了数据仓库的信息打包法的相关技术,提出一种基于信息动态打包的数据仓库设计方法.该方法采用了维度和类别动态重组技术,提供可以修改的数据存储方式,从而使所设计的数据仓库具有真正自适应的数据结构,较好地满足企业未来查询和分析的需要。 展开更多
关键词 数据仓库 信息动态打包 事务处理 数据库
下载PDF
基于星型模式的OLAP工具的研究和设计 被引量:5
11
作者 张定会 沈国华 黄志球 《计算机工程与设计》 CSCD 2002年第11期31-35,共5页
介绍了OLAP技术并着重分析了关系OLAP,给出了多维分析的概念模型-多维模型,以及基于星型模式的数据仑库OLAP设计方法,最后提出了一套详细的三层结构的OLAP工具的设计方案并举例说明。
关键词 星型模式 OLAP工具 设计 联机分析处理 多维模型 数据仓库 数据库
下载PDF
基于“概念分层”结构的旅游地质资源评分系统的开发 被引量:4
12
作者 庞淑英 杨世瑜 +1 位作者 秦卫平 黄鲲 《成都理工大学学报(自然科学版)》 CAS CSCD 北大核心 2004年第2期217-220,共4页
以数据挖掘技术中的"概念分层"和改进的"特尔菲算法"为基础,对云南"三江并流带"的旅游地质资源进行分析、整理和特征化描述,构造了旅游地质资源各评价层因子的星型数据库模式。研制出一个基于Windows操... 以数据挖掘技术中的"概念分层"和改进的"特尔菲算法"为基础,对云南"三江并流带"的旅游地质资源进行分析、整理和特征化描述,构造了旅游地质资源各评价层因子的星型数据库模式。研制出一个基于Windows操作系统的、以面向对象的具有较强开发能力的DELPHI7.0为开发工具的、以Access2000作为后台数据库的旅游地质资源自动评价系统。完成了资源的定量化评价,实现了评价结果的可视化和地质资源的旅游化。 展开更多
关键词 概念分层 特尔菲法 评价层因子 星型数据库模式
下载PDF
提高数据仓库中查询性能的一种并行多表连接算法 被引量:6
13
作者 赵培英 李庆忠 王海洋 《计算机工程》 CAS CSCD 北大核心 2002年第10期114-116,190,共4页
星型模式是当前数据仓库设计中广泛采用的逻辑模式。针对星型模式数据仓库中潜在的查询性能问题,结合数据仓库中的ORV,利用面向对象中的消息机制,提出了基于对象关系视图(ORV)的多表连接并行查询算法,并对算法的磁盘I/O操作次数... 星型模式是当前数据仓库设计中广泛采用的逻辑模式。针对星型模式数据仓库中潜在的查询性能问题,结合数据仓库中的ORV,利用面向对象中的消息机制,提出了基于对象关系视图(ORV)的多表连接并行查询算法,并对算法的磁盘I/O操作次数、算法的时间复杂度进行了分析。 展开更多
关键词 数据仓库 查询性能 并行多表连接算法 星型模式 事实表 维表 对象关系视图 组件对象 数据库
下载PDF
点击流中事务数据模型的设计与实现 被引量:3
14
作者 辛燕 鞠时光 +1 位作者 蔡涛 阎星娥 《计算机科学》 CSCD 北大核心 2003年第7期73-76,共4页
In this paper, we first briefly introduce the concepts of clickstream data and data warehouse, analyze twoexisting clickstream star schema click star schema and session star schema in webhouse, then induce a new mod-e... In this paper, we first briefly introduce the concepts of clickstream data and data warehouse, analyze twoexisting clickstream star schema click star schema and session star schema in webhouse, then induce a new mod-el transaction star model based on them, and expressed the method of bringing out the model. Comparing withthe two schemas mentioned above, its most apparent speciality is that it includes a series of meaningful page-view se-quence rather than a single click. Thus, on the one hand it improves the query performance of data, on the other handit is in favor of executing more deepen analysis data mining, and simplifies the process of data pretreatment. Atlast ,the paper verifies its' feasibility and validity using association rules based on the model. 展开更多
关键词 数据仓库 数据模型 数据挖掘 数据库 事务数据模型 设计 点击流数据
下载PDF
应用在电力系统中的数据仓库及其设计 被引量:5
15
作者 朱义军 王乘 张锋 《计算机仿真》 CSCD 2004年第7期146-148,共3页
该文以电力系统为研究背景,介绍了数据仓库技术及其体系结构,并结合了电力系统的特点,提出了一系列设计思路和方法,为基于数据仓库的决策支持系统在电力系统中的全面应用和电力系统的全面信息化提供了有力的手段。
关键词 电力系统 数据仓库 体系结构 星型模式 信息化
下载PDF
一种基于星型模型的增量更新算法 被引量:2
16
作者 黄震华 段江娇 薛永生 《厦门大学学报(自然科学版)》 CAS CSCD 北大核心 2004年第2期170-174,共5页
在进行数据仓库的OLAP联机分析处理时,通常采用预先聚集(Aggregate)操作生成概括数据的方法提高查询效率;但是,基于星型模型的数据仓库中的维表的纠错改变和自然改变将会引发概括数据的不正确问题.本文通过研究星型模型维表及其变化的特... 在进行数据仓库的OLAP联机分析处理时,通常采用预先聚集(Aggregate)操作生成概括数据的方法提高查询效率;但是,基于星型模型的数据仓库中的维表的纠错改变和自然改变将会引发概括数据的不正确问题.本文通过研究星型模型维表及其变化的特点,提出了一种增量更新算法,在几乎不增加空间的情况下,降低时间复杂度的增量更新;并通过性能验证,分析算法的可行性. 展开更多
关键词 星型模型 增量更新算法 数据仓库 聚集纠错 维表
下载PDF
列存储数据库中压缩位图索引技术 被引量:2
17
作者 王梅 杨思箫 乐嘉锦 《计算机工程》 CAS CSCD 2012年第18期26-29,共4页
为提高压缩码的利用率,提出一种适用于列存储数据库的压缩位图索引技术。定义反转、合并等操作,将所有计算的输入值与输出值格式化为位向量形式。通过活跃度衡量索引中位向量的复杂度,并对压缩位向量进行直接计算,优化where子句和group... 为提高压缩码的利用率,提出一种适用于列存储数据库的压缩位图索引技术。定义反转、合并等操作,将所有计算的输入值与输出值格式化为位向量形式。通过活跃度衡量索引中位向量的复杂度,并对压缩位向量进行直接计算,优化where子句和group by子句在查询执行过程中的数据提取。在SSB数据集上的实验结果证明,该技术能提高29.7%~38.9%的压缩位图索引性能。 展开更多
关键词 列存储数据库 位图索引 活跃度 SSB数据集 聚集查询
下载PDF
ERP系统中的企业统计核算信息生成研究 被引量:2
18
作者 邵建利 刘仲英 《计算机工程》 EI CAS CSCD 北大核心 2005年第17期71-73,共3页
通过对我国企业统计核算数据要求的分析,提出了ERP系统中的统计核算信息生成模型。该模型使用领域本体论和数据仓库的星型架构技术,通过ETL,最终生成符合我国企业统计核算要求的信息。
关键词 ERP 信息生成模型 领域本体论 星型架构 统计核算
下载PDF
基于列存储机制下多维数据仓库模型的优化与研究 被引量:3
19
作者 徐晓锦 孙蕾 《计算机应用与软件》 2017年第2期48-52,共5页
通过对分布式列存储机制下多维数据仓库模型的研究,考虑到多维数据仓库模型上的关联和聚集操作常常会引入大量的数据迁移,提出一种有效的列存储机制下多维数据仓库模型的优化方法即结合层次编码技术。采用维表层次全局域编码和维表层次... 通过对分布式列存储机制下多维数据仓库模型的研究,考虑到多维数据仓库模型上的关联和聚集操作常常会引入大量的数据迁移,提出一种有效的列存储机制下多维数据仓库模型的优化方法即结合层次编码技术。采用维表层次全局域编码和维表层次局部域编码相结合的方式对传统星型模型维表中的层次信息进行二进制编码整合,将维表的层次信息压缩进事实表形成无连接星型模型,并针对新模型下的数据特征提出一种复合压缩策略,以期减少分布式列存储机制下的OLAP操作引入的数据迁移并降低数据存储空间,提升系统的查询性能。实验结果表明,该优化方法是可行且有效的。 展开更多
关键词 数据仓库 OLAP 无连接星型模型 列存储 数据压缩
下载PDF
案例推理在在线物流资源决策中的应用研究(英文) 被引量:1
20
作者 胡文斌 王少梅 潘文军 《武汉理工大学学报(交通科学与工程版)》 北大核心 2003年第4期581-584,共4页
文中在在线分析过程(OLAP)与数据挖掘(datamining)技术的基础上,提出了基于案例推理(CBR)的决策模型去解决这类问题.模型采用模糊神经网络方法进行决策问题的特征提取和创建案例库,采用OLAP技术建立案例查询的星型模型,并通过创建的模... 文中在在线分析过程(OLAP)与数据挖掘(datamining)技术的基础上,提出了基于案例推理(CBR)的决策模型去解决这类问题.模型采用模糊神经网络方法进行决策问题的特征提取和创建案例库,采用OLAP技术建立案例查询的星型模型,并通过创建的模糊神经网络模型去补偿匹配案例与决策问题之间的差异.文章的最后通过应用实例表明了该系统的有效性和可行性. 展开更多
关键词 CBR(基于案例的推理) OLAP(在线分析过程) 模糊神经网络 星型模型
下载PDF
上一页 1 2 4 下一页 到第
使用帮助 返回顶部