ETL综述

阐述了ETL在创建数据仓库过程中的重要地位;分析了整个ETL流程,把它分为数据源验证、数据源改造、一般性变换、装载目标表和数据聚合5个阶段。最后分析了ETL产品现状、现有ETL产品的功能特点,以及今后ETL产品的发展趋势。

调度自动化系统增强型数据仓库平台构建及应用

数据仓库是信息管理和分析型应用的有效平台。文中针对目前数据仓库不能支持实时数据存储处理和短时战术决策的局限性,提出了一种调度自动化系统增强型数据仓库平台体系结构,主要由信息一体化节点、实时数据处理中心、主动数据仓库和系统管理工具等构成,从而实现了数据抽取和转换能力、实时响应性能以及对突发事件捕获能力的增强。在已投入电网运行的自开发SCUT2008电网调度自动化系统中的应用与测试,证明了其性能的增强。

基于元数据驱动的通用数据迁移工具

为解决企业数据模型升级需要在数据库间实现数据迁移的问题,创建基于元数据驱动的通用数据迁移工具,分析数据抽取、转换和加载体系结构,采用元数据驱动技术,结合企业数据迁移需求,定义数据迁移通用框架模型体系;处理映射模式的元数据表示,实现用元数据描述与存储映射模式.该方法实现用元数据驱动数据抽取、转换和加载引擎功能,技术与功能在中国石油数据中心大型数据迁移中应用,取得良好效果.

基于CIM/E文件的电网全景建模技术研究

针对电网进行全景建模需求不断增长的问题,对多个电力自动化专业系统和数据集成技术展开研究,提出一种创建电网全景模型的解决方案。通过电力自动化专业系统提供的模型描述规范语言(common information model,CIM/E)文件中获取子模型数据,利用数据提取、转换和加载(extraction-transformation-loading,ETL)技术将子模型数据抽取、转换并集成到统一的电网全景模型中,解决了直接访问各应用系统数据库会暴露数据库设计及对数据库性能产生影响的问题。

OLAP在电信数据仓库中的设计与实现

通过研究数据仓库在电信业务中的应用,论述电信领域数据仓库和部分联机分析处理的设计开发过程。综述数据仓库模型、联机分析处理(OLAP)模型、汇总表的设计以及开发中所要注意的问题,提出一种高效建立数据仓库和实现联机分析处理的设计方案。

基于SOA的国家级油气资源数据库ETL系统设计与实现

针对我国油气资源数据相对多源、异构、分散的现状,根据OLAP的实际需求,采用MVC模式作为系统架构模式,实现了国家油气资源数据库数据提取、转换和加载(ETL)系统。阐述了系统所采用的基于面向对象体系结构(SOA)的5层结构模型,使用ODBC和XML技术实现数据库连接的动态映射,应用Oracle DB解决了多媒体数据处理等关键问题。

数字化车间多源异构质量数据集成方案研究

针对数字化制造中多源异构质量数据信息量大且缺乏统一、规范和标准化数据管理的问题,提出一种基于面向对象技术和基于映像的数据抽取、转换和加载(Extract-Transform-Load,ETL)技术的异构数据集成方案,该方案简单实用,具有很高的通用性,可提高异构数据的提取精度,有效地解决多源异构质量数据集成问题。

元数据驱动ETL的研究

对原始数据的提取、转换、加载(ETL)是数据仓库开发的重要步骤。一个稳定而可靠的ETL系统取决于它的总体设计。在原有ETL基础上,提出了元数据驱动ETL的思想,利用包引擎和SQL引擎以及相关算法,对传统ETL的方法进行改进,目的是提高ETL系统的稳定性和可靠性,使用户通过对元数据的维护来控制ETL的执行过程。

基于子模式的关系数据到图数据ETL方法研究

图数据库在解决多层关系查询、社区发现等问题时性能优于关系数据库。然而目前大量的数据以关系数据的形式存储,如何高效完整地进行关系数据到图数据的ETL,即抽取、转换、加载,是图数据库应用领域研究的重要问题。国内外对该问题有了一些研究,但存在转换后的图数据质量不高、转换效率低、转换结果不利于分布式存储等问题。因此,提出基于子模式的关系数据到图数据ETL方法,改进原有ETL方法的流程和算法。该方法将关系数据库模式拆分为若干个子模式,并行进行ETL。不仅提高了ETL的效率,转换结果能满足图数据的分布式存储要求,也可以作为Spark GraphX计算框架的基础数据。最后,使用Java EE和Neo4j开发了原型系统,并进行了实验验证。结果表明,改进后的ETL方法获得了较已有方法更好的转化性能。

数据仓库系统的数据预处理问题研究与应用

从数据仓库应用中的主要障碍之一———数据问题出发,对数据预处理的目标、原则、方法和具体技术进行讨论,并结合一个数据预处理设计的具体实例,分析了如何通过分层次逻辑模型解决数据预处理的透明性、产品化等具体问题。

ETL工作流活动优先级的确定及并行实现

ETL流程是一个以数据为中心的工作流,对ETL工作流的执行过程进行论述,提出了一个算法,计算ETL工作流中各个活动的执行优先级,在工作流执行中为优先级相同且相互之间没有依赖关系的活动集创建多个线程,通过并行执行这些活动,提高了ETL工作流的执行效率。实验结果表明,所提出的并行算法与串行算法比较,在数据量足够大的情况下,加速比可接近理想值,加速比随着数据量增大而提高。

基于KETTLE的数据集成研究

为了实现对企业业务系统基础数据按需地高性能集成,优化数据质量,对数据进行抽取、转换、加载,形成分析型数据。根据数据的异构性、半结构以及非结构性等特点,基于KETTLE构建ETL过程模型,从多数据源抽取、增量数据捕获等方面分析了ETL关键技术,制定了面向中药企业的数据集成解决方案。利用KETTLE的ETL数据处理技术,快速、高效地实现数据集成,为企业的商业智能分析奠定了数据基础,提升企业决策水平。

ETL技术在部门预算决策分析领域的应用

针对财政部门预算编制的特性及发展方向,提出了辅助决策分析系统在财政行业中应用的ETL基础功能的解决方案,为建立行业数据仓库提供了一种方法。该方法作为财政部门预算决策分析系统的重要模块,为财政辅助决策分析系统的建设构建了较好的基础平台。

高校数据仓库多层架构设计与ETL实现

为了充分利用高校各业务系统积累的大量数据,设计了5层数据仓库的系统架构,运用数据抽取、转换和加载(ETL)工具,把分散在学校不同业务系统的数据资源进行分类和整合,可以提供个人数据中心的集中展示、数据下载等服务;利用联机分析等工具进行数据展现,可以为学校领导提供决策支持.

基于Hadoop技术的邮政金融历史数据集中管理平台

为了适应当前海量数据的存储和计算,面向上层应用提供统一的数据服务接口,邮政储蓄银行江苏省分行基于开源平台Hadoop,通过优化ETL加载过程,建立元数据,完善外部系统支持和安全管理等构建具有数据层、业务层、平台层、展现层的历史数据集中管理平台。本文简述了技术的实现方案,并介绍了数据分析和挖掘在行业中的应用。