基于工作流的数据抽取转换加载

将数据的抽取转换加载(ETL)过程和工作流技术结合起来,研究了ETL过程的工作流调度问题,设计了一种简单串行和稳定可靠的循环遍历算法.为了提高ETL效率,将并行机制引入到节点访问算法中,对节点访问算法进行了改进,设计了新的节点访问算法,并讨论了加入并行机制后可能会遇到的数据源并发控制等问题,并给出了解决方法.所提出的方法对提高数据集成效率很有效,在国产数据库系统的应用中可起到积极推动作用.

面向空间数据抽取、转换、加载的元数据管理系统实现

空间数据仓库技术是为地理信息以及为社会经济发展提供高质量的决策信息而产生的技术,而空间数据抽取、转换和加载(ETL)是构建空间数据仓库必经的步骤,空间ETL过程面临的主要难点是空间数据的多源异质性问题。采用元数据技术辅助空间ETL方法,实现了空间元数据管理系统。

一种通用的多数据库间数据抽取方法及应用

为方便从多个异构的数据源中抽取转换数据、并加载到目标数据库,提出一种较为通用的抽取方法,并开发了工具软件.该方法基于客户端的方案,使用数据库驱动程序屏蔽异构数据库间的差异;数据的抽取、转换和加载由数据抽取软件执行;数据的抽取转换基于抽取规则,抽取规则采用可视化方法编辑生成;抽取规则存储于规则库,供多次调用修改;多个抽取任务组成抽取任务队列.开发的抽取工具软件DbBridge,支持从Oracle,SQL Server,SAS,Access,Excel等数据源抽取数据.软件成功应用于某数据仓库的建立及数据迁移工作.

ETL中的数据增量抽取机制研究

为实现数据仓库中数据的高效更新,探讨了在数据仓库的ETL(数据的抽取、转换和装载)子系统中进行数据增量抽取时所采用的常见机制,对这些机制的原理、条件、方法以及运行效率等方面进行了详细的阐述,并从兼容性、完备性、性能和侵入性4个方面分析和比较了各种数据增量抽取机制的优劣性。最后,总结了选取数据增量抽取机制所应遵循的主要原则和标准。

数据中心系统研究与实现

现在有许多ETL工具,其优点是通用、使用比较方便,同时也导致了其性能不能达到最优,而且也不适合大规模的远程数据采集工作。我们根据实际的数据特点和管理要求,设计和实现了一个通用的数据中心系统,以支持企业分布式异构数据的采集。

基于元数据驱动的通用数据迁移工具

为解决企业数据模型升级需要在数据库间实现数据迁移的问题,创建基于元数据驱动的通用数据迁移工具,分析数据抽取、转换和加载体系结构,采用元数据驱动技术,结合企业数据迁移需求,定义数据迁移通用框架模型体系;处理映射模式的元数据表示,实现用元数据描述与存储映射模式.该方法实现用元数据驱动数据抽取、转换和加载引擎功能,技术与功能在中国石油数据中心大型数据迁移中应用,取得良好效果.

基于数据仓库的刑事案件决策支持系统设计

为了更有效地促进情报主导警务模式的推进,对刑事案件决策支持系统进行了研究与设计。首先分析了公安刑事案件决策支持系统的总体需求,并基于数据仓库技术设计了层次化的系统体系结构;然后提出了刑事案件数据仓库模型,并基于本体-规则、元数据-功能提出了多源、异构数据的抽取、转换与加载的整合方法,设计了系统的功能体系;最后介绍了相关成果在大连市公安局的应用示例。实践结果表明,基于数据仓库的刑事案件决策支持系统可以为领导和一线干警提供有效的决策支持。

保险业数据参考模型对ETL的影响和作用

本文在简略回顾保险业通用数据参考模型之后,以数据仓库技术中的ETL过程为着眼点,对基于保险业数据参考模型的ETL过程进行设计和分析,从而有针对性地提出一种保险行业数据抽取转换和加载的方法,最后探讨该设计在保险公司的应用。

OLAP在电信数据仓库中的设计与实现

通过研究数据仓库在电信业务中的应用,论述电信领域数据仓库和部分联机分析处理的设计开发过程。综述数据仓库模型、联机分析处理(OLAP)模型、汇总表的设计以及开发中所要注意的问题,提出一种高效建立数据仓库和实现联机分析处理的设计方案。

数据仓库系统的数据预处理问题研究与应用

从数据仓库应用中的主要障碍之一———数据问题出发,对数据预处理的目标、原则、方法和具体技术进行讨论,并结合一个数据预处理设计的具体实例,分析了如何通过分层次逻辑模型解决数据预处理的透明性、产品化等具体问题。

面向煤矿安全监控的数据仓库关键技术

针对煤矿安全监控系统因采用操作型数据存储方法而导致无法有效利用海量数据,且数据分析能力较差等问题,研究了面向煤矿安全监控的数据仓库关键技术。根据煤矿安全监控业务需求,提出了煤矿安全监控数据仓库的功能结构,设计了超限分析、调校分析、异常数据分析、测点网络中断分析和人员管理分析五大业务主题。采用事实星座模型建立了煤矿安全监控数据仓库的逻辑模型,分主题设计了事实表和维度表,采用SQL Server建立了数据仓库物理模型。根据煤矿安全监控数据仓库特点,提出了数据抽取、转换和加载策略,采用不同的数据抽取规则分主题进行数据抽取,对不同来源的数据进行格式转换、清洗和排序,在数据加载过程中进行预加载、加载和加载后处理操作。

高校数据仓库多层架构设计与ETL实现

为了充分利用高校各业务系统积累的大量数据,设计了5层数据仓库的系统架构,运用数据抽取、转换和加载(ETL)工具,把分散在学校不同业务系统的数据资源进行分类和整合,可以提供个人数据中心的集中展示、数据下载等服务;利用联机分析等工具进行数据展现,可以为学校领导提供决策支持.

对多应用系统的数据集成

针对解决因分时建设开发造成应用系统的应用环境和数据规范不一、信息孤岛严重等问题,而产生的数据集成、展现的需求进行了分析,提出了2种集成策略。对数据的采集、抽取、转换和加载处理过程进行了分析探讨,集成的数据可以以数据视图的形式直接给用户使用或展现,也可以用来构建数据仓库,进行深入的分析和挖掘。

基于CWM的标准ETL的设计与实现

目前开发ETL(Etract Transform Load)系统过程中,最典型的问题就是元数据管理混乱,在分析ETL和元数据之间关系的基础上,提出了一种基于公共仓库模型开发的标准ETL系统设计思想,给出了该标准ETL系统的实现过程。将该方法应用于某医疗保险系统的ETL开发过程中,结果表明,与传统的ETL开发过程相比,该系统开发效率提高40%以上,系统具有良好的通用性和易集成性,解决了元数据管理混乱的问题。

基于模型驱动的ETL模型映射方法

针对AP模型的特点,给出元模型中对象的形式化定义,优化模型映射算法,提出一种基于模型驱动、从概念模型到逻辑模型的映射方法。改进后的算法能够映射基于数据抽取-加载-转换(ETL)工作流的单源数据或多源数据,并发执行各状态节点,提高了执行的效率。实验结果表明,该方法为模型驱动式ETL设计及数据集成中快速实现ETL奠定了良好基础。

商务智能技术在大型客机研制中的应用研究

在大型国产民用客机研制过程中,引入商务智能技术,为整个研制工作的管理提供决策支持。着重说明了相关数据仓库的搭建、数据抽取转换加载的架构和实施,并对前段展现方法做了介绍。实施案例结合了产业发展需求与应用特征,为商务智能技术在国内民用客机制造行业的进一步应用实施提供了经验。

A发电企业内部审计信息化建设问题及优化对策

A发电企业内部审计的信息化建设水平处于初级阶段,制约企业内部审计信息化发展的主要问题在于内部审计信息化数据挖掘与应用技术不足,审计信息化与企业整体信息化体系未形成有效融合协同发展的局面。要想进一步提升企业内部审计信息化数据应用能力,需要优化内部审计信息化协同应用的组织架构,进而通过提高企业内部审计信息化建设水平,保证高质量、高效率的信息化审计。

电信数据仓库中欠费模型的开发实践

介绍以欠费为主题的数据仓库产生的背景及其重要意义.阐述了XX电信公司实际数据仓库项目中“欠费主题”模型的设计和具体实施.将数据仓库理论和项目的实际工作结合起来,详细地描述了构建一个实际数据仓库的全过程.