ETL综述

阐述了ETL在创建数据仓库过程中的重要地位;分析了整个ETL流程,把它分为数据源验证、数据源改造、一般性变换、装载目标表和数据聚合5个阶段。最后分析了ETL产品现状、现有ETL产品的功能特点,以及今后ETL产品的发展趋势。

基于元数据驱动的通用数据迁移工具

为解决企业数据模型升级需要在数据库间实现数据迁移的问题,创建基于元数据驱动的通用数据迁移工具,分析数据抽取、转换和加载体系结构,采用元数据驱动技术,结合企业数据迁移需求,定义数据迁移通用框架模型体系;处理映射模式的元数据表示,实现用元数据描述与存储映射模式.该方法实现用元数据驱动数据抽取、转换和加载引擎功能,技术与功能在中国石油数据中心大型数据迁移中应用,取得良好效果.

OLAP在电信数据仓库中的设计与实现

通过研究数据仓库在电信业务中的应用,论述电信领域数据仓库和部分联机分析处理的设计开发过程。综述数据仓库模型、联机分析处理(OLAP)模型、汇总表的设计以及开发中所要注意的问题,提出一种高效建立数据仓库和实现联机分析处理的设计方案。

元数据驱动ETL的研究

对原始数据的提取、转换、加载(ETL)是数据仓库开发的重要步骤。一个稳定而可靠的ETL系统取决于它的总体设计。在原有ETL基础上,提出了元数据驱动ETL的思想,利用包引擎和SQL引擎以及相关算法,对传统ETL的方法进行改进,目的是提高ETL系统的稳定性和可靠性,使用户通过对元数据的维护来控制ETL的执行过程。

数据仓库系统的数据预处理问题研究与应用

从数据仓库应用中的主要障碍之一———数据问题出发,对数据预处理的目标、原则、方法和具体技术进行讨论,并结合一个数据预处理设计的具体实例,分析了如何通过分层次逻辑模型解决数据预处理的透明性、产品化等具体问题。

高校数据仓库多层架构设计与ETL实现

为了充分利用高校各业务系统积累的大量数据,设计了5层数据仓库的系统架构,运用数据抽取、转换和加载(ETL)工具,把分散在学校不同业务系统的数据资源进行分类和整合,可以提供个人数据中心的集中展示、数据下载等服务;利用联机分析等工具进行数据展现,可以为学校领导提供决策支持.