面向集团型企业的混合型分布式数据仓库构建

越来越多的集团型企业迫切需要分布式数据管理和多层次决策支持,因而对数据仓库的实现技术提出了新的要求。本文的目的是寻求一种能适应集团型企业特点的数据仓库方案。分析了传统的集中式数据仓库的不足,在此基础上,提出混合型分布式数据仓库的概念和体系结构,结合JW-DSS工程项目,讨论了该方案中的关键技术,包括元数据分布、数据抽取、联机分析处理、用户管理的策略等。

基于分布式数据仓库的分类分析研究

针对GAC-RDB分类算法只能应用于单机版数据仓库的局限性,为了能够更方便、快捷地在云计算平台上开展数据挖掘工作,基于分布式数据仓库HBase,结合GAC-RDB分类算法的实现机理,制定适合分布式平台的运行策略,使用原生HiveQL语言提出了一种分布式GAC-RDB分类算法。实验显示,随着集群中节点的不断增加,算法的运行时间稳步下降。结果表明,在保证算法准确率的前提下,分布式数据仓库能够有效提高GACRDB分类算法的扩展性和运行效率,相对于MapReduce框架,HiveQL语言降低了对数据挖掘从业人员的技术要求,更大程度地减少了算法的开发时间,为挖掘海量数据提供了新的解决方案。

基于分布式数据仓库的海洋动力环境立体监测信息服务研究

本文以海洋动力环境立体监测数据仓库及服务系统(MDSS)为例论述了一个贯穿数据层、信息层和服务层的多层次信息流平台,在数据层,设计了一个集成与应用众多监测平台的分布式数据仓库系统,在信息层,给出了信息共享的网络发布方案,在服务层,为了满足不同层次的需要设计实现了数据级和分析级两个级别的信息服务并对其进行了详尽的分析,最后给出了系统实现的典型界面和一个地波雷达数据分析的实例。

一种分布式多媒体数据仓库模型

多媒体数据采掘是从大型多媒体数据库中提取高层的多媒体信息及知识。介绍一种分布式多媒体数据仓库模型──ＣＭＳ模型的体系结构及存储结构，并构造了具有综合处理各种媒体数据，能够对这些媒体数据进行修改、查询的军用多媒体数据仓库原型系统。

基于Web的分布式数据仓库体系结构的研究

随着数据仓库技术的发展 ,人们对数据仓库体系结构研究的兴趣越来越浓厚 ,数据仓库体系结构选取是否合理 ,将直接关系到整个数据仓库的成败。在分析客户机、服务器数据仓库体系结构的基础上 ,将XML、智能Agent技术引入到数据仓库中 。

基于分布式系统概念的分布式数据仓库

以分布式系统的概念,描述了以主题分布为特点的分布式数据仓库,建立了节点主题处理原则,论述了此种分布式数据仓库的特点,并与Inmon先生描述的分布式数据仓库进行了特征比较。此外,还简要地分析了节点仓库与数据集市的异同,构建分布式数据仓库的方法与费用,从而指出分布式数据仓库应用的乐观前景。

基于分布式数据仓库技术的ETL系统的研究与应用

ETL系统是构建和维护数据仓库的基本构件,由于要处理海量数据和访问各种异构数据源,如何同时具有高效的数据处理能力和通用的数据源访问能力是值得研究的问题。本文针对某银行数据仓库项目的实际需求,提出了基于分布式数据仓库的ETL系统,并使用了XML技术实现异构数据源的通用接口访问方式。系统运行表明该解决方案具有好的使用效果。

企业集团分布式数据仓库及决策支持系统研究

为了构建支持企业集团决策分析的信息系统,分析了企业集团决策支持系统信息模型,给出了面向整个集团的基于分布式数据仓库的企业集团决策支持系统的体系结构;通过定义决策方案模型及决策任务模型,提出了模型驱动的企业集团决策支持系统解决方案,并给出了决策任务模型并行执行算法。应用表明,该体系结构是可行且有效的。

省级海洋动力环境监测分布式数据仓库的设计与构建

建立分布式的数据仓库系统能够满足分布式的大数据量数据管理和多层次决策支持的数据要求,本文探讨了数据仓库分布与集中的利弊,提出了建立省级海洋动力环境分布式数据仓库的体系结构,分析了数据仓库的元数据和系统的开发模式。

一种基于分布式数据仓库的文件集快速更新算法

异构数据源整合是企业数据共享的前提,而高效的数据更新不仅节约系统开销还能提供实时数据。在分布式数据仓库的数据预处理区快速更新变动的数据是一个非常重要的热点问题,利用增量文件集的快速更新算法进行ETL设计可以加快数据更新的速度,消除异构数据模式的不一致和语义冲突问题,成套电器集团公司的成功应用证明了该算法的有效性。

基于分布式数据仓库的电信信息共享平台的研究

随着信息化水平的逐渐提高,信息的共享越来越受到人们的关注,电信行业也不例外;针对电信行业信息中出现的管理和共享问题,介绍采用数据仓库技术实现信息共享的方法,并在此基础上提出了信息共享平台模型;模型建立在分布式数据仓库基础上,通过维度建模法创建了数据仓库模型,并提出多维分析流程,可以利用分布式数据仓库和网络技术实现信息的共享;数据仓库技术的应用和信息共享平台模型的建立,能最大限度地发挥电信信息的价值,对提高信息的共享度起到重要作用。

石油管道分布式数据仓库建设研究

在分析数字管道建设现状的基础上,指出了实现管道信息共享所面临的问题,由此提出分布式数据仓库的解决方案,并对建设石油管道分布式数据仓库的关键技术进行了研究。构建石油管道分布式数据仓库,是在现阶段信息化水平下,实现全国石油管道数据统一管理的有效方法,将会进一步促进已建系统之间的数据交换与资源共享,并为下一阶段网格在石油管道信息化建设的应用奠定数据基础和技术基础,为实现石油管道数据网格、实现石油管道信息一体化提供方便。

省级森林资源动态监测分布式数据仓库的初步研究

针对省级数字林业信息化建设中涉及到的森林资源管理和决策支持等问题,提出了建立全省范围的森林资源分布式数据仓库的方案,给出了它的体系结构并探讨了该方案中的关键技术,包括元数据的分布、数据抽取和联机分析处理等。

分布式商业数据仓库技术的研究

数据仓库是现代企业建立决策支持系统的重要技术手段，文章介绍了建立分布式数据仓库的基本方法，讨论了分布式数据仓库系统功能，着重阐述了分布式商业数据仓库的设计思想，并展望新一代数据仓库技术。

集团企业分布式数据仓库构建

面对集团企业需要分布式数据管理和多层次决策支持的问题,文中给出一种满足集团企业需要的分布式数据仓库构建方案。文章首先介绍了分布式数据仓库的概念,然后说明了分布式数据仓库在集团企业中应用的优势,最后给出了面向集团企业的分布式数据仓库系统的总体框架和系统结构。

基于分布式数据仓库的土地利用现状数据库

国土资源局的土地利用现状图库具有数据量大、统一管理速度慢、统计分析难以实现的问题.土地利用现状图的统一管理策略问题一直是国土部门的难题.针对这个问题,笔者分析了土地利用现状图中的分布式数据仓库的数据库建设模型、局部数据仓库的建模和土地利用现状分布式数据仓库的技术体系结构,解决了土地利用数据库信息的有效组建问题,并利用现状分布式数据仓库系统的并行运算达到提高图形处理速度的目的.

分布式数据仓库的一种聚集运算算法

考虑了分布式数据仓库的星型模式及数据分段的特点,在各站点对分组关键字进行编码压缩,并采用分布式聚集运算的方法,最后在请求站点生成完整的分组聚集结果,以降低站点内的排序费用,减少站点间传输的元组大小和数目,从而降低了站点内的处理代价和站点间的数据传输费用,提高了分布式数据仓库分组聚集运算的效率。

基于WEB数据仓库的分布式财务决策支持系统研究

针对传统DSS的局限,结合W eb技术和数据仓库技术,提出了一种新的财务决策支持系统———基于WEB的数据仓库技术支持的分布式财务决策支持系统(WDFDSS)。主要研究了该系统的体系结构、各子系统的功能、组成和关键技术等。

基于DM3的分布式数据仓库管理系统的设计

数据仓库从分布的异构数据源集成数据来支持决策。数据仓库系统具有分布式数据管理的特点。本文介绍了在关系数据库系统DM3上开发的分布式数据仓库管理系统DM-DDW的三层体系结构,以及其中的关键技术:数据集成、复制服务器和分布式无数据管理。

基于SQL-on-Hadoop的分布式广电数据仓库的设计与实现

为解决传统数据仓库扩展能力弱,不支持非结构化数据的问题,江苏有线结合实际应用情况,基于SQL-on-Hadoop技术实现了分布式的广电数据仓库TRAF。TRAF融合了传统数据仓库与Hadoop技术,可以同时存储结构化和非结构化数据,具备良好的扩展能力。TRAF在HBase框架之上构建支持多重查询嵌套和多级索引ANSI SQL标准的查询接口,实现海量用户行为的实时分析;采用通用x86服务器替代原有小型机存储,大幅降低了系统构建成本。测试结果表明,数据量在10亿条时,TRAF的处理速度比传统关系型数据仓库提升了5倍,同时构建成本降低了50%,有效提升了广电数据分析系统的应用水平。