基于工作流的数据抽取转换加载

将数据的抽取转换加载(ETL)过程和工作流技术结合起来,研究了ETL过程的工作流调度问题,设计了一种简单串行和稳定可靠的循环遍历算法.为了提高ETL效率,将并行机制引入到节点访问算法中,对节点访问算法进行了改进,设计了新的节点访问算法,并讨论了加入并行机制后可能会遇到的数据源并发控制等问题,并给出了解决方法.所提出的方法对提高数据集成效率很有效,在国产数据库系统的应用中可起到积极推动作用.

面向空间数据抽取、转换、加载的元数据管理系统实现

空间数据仓库技术是为地理信息以及为社会经济发展提供高质量的决策信息而产生的技术,而空间数据抽取、转换和加载(ETL)是构建空间数据仓库必经的步骤,空间ETL过程面临的主要难点是空间数据的多源异质性问题。采用元数据技术辅助空间ETL方法,实现了空间元数据管理系统。

一种通用的多数据库间数据抽取方法及应用

为方便从多个异构的数据源中抽取转换数据、并加载到目标数据库,提出一种较为通用的抽取方法,并开发了工具软件.该方法基于客户端的方案,使用数据库驱动程序屏蔽异构数据库间的差异;数据的抽取、转换和加载由数据抽取软件执行;数据的抽取转换基于抽取规则,抽取规则采用可视化方法编辑生成;抽取规则存储于规则库,供多次调用修改;多个抽取任务组成抽取任务队列.开发的抽取工具软件DbBridge,支持从Oracle,SQL Server,SAS,Access,Excel等数据源抽取数据.软件成功应用于某数据仓库的建立及数据迁移工作.

ETL中的数据增量抽取机制研究

为实现数据仓库中数据的高效更新,探讨了在数据仓库的ETL(数据的抽取、转换和装载)子系统中进行数据增量抽取时所采用的常见机制,对这些机制的原理、条件、方法以及运行效率等方面进行了详细的阐述,并从兼容性、完备性、性能和侵入性4个方面分析和比较了各种数据增量抽取机制的优劣性。最后,总结了选取数据增量抽取机制所应遵循的主要原则和标准。

基于ETL的金融数据集成过程模型

为了将频繁产生的分布在世界各地的金融数据按需地高性能集成,提出了基于ETL(extract-transform-load)的金融数据集成过程模型。对规则引擎原理进行了研究,建立了基于业务转换规则的插件式扩展实现可复用可定制的业务转换过程。利用事件驱动的交互模型和元数据映射保证非结构化和半结构化数据之间无差异集成,采用增量式数据处理解决数据集成中棘手的性能问题。通过实践项目的验证,对比传统数据集成方法和该过程模型,验证了该过程模型的有效性。

数字化转型浪潮下高校数据治理框架设计

随着数字技术的快速发展与应用,全球掀起了数字化转型浪潮,数据治理已成为当前高校探索教育数字化转型过程中的重要课题。在分析当前高校数据治理现状的基础上,采用数据存储分层建设思路,研究设计了基于数据中台的高校数据治理框架,加强顶层设计,自下而上逐步推进数据采集、数据存储、数据管理和数据应用,实现高校数据的全生命周期管理。

高校智慧校园数据交换平台的设计与实现

针对高校智慧校园建设中,紧耦合数据交换方式不能满足数据交换需求的问题,设计了基于企业服务总线(ESB)的智慧校园数据交换平台。对该平台实现应用系统间的高集成、低耦合的数据交换过程的设计思想进行了分析,并对平台的架构设计和实现方式进行详细阐述。

数据中心系统研究与实现

现在有许多ETL工具,其优点是通用、使用比较方便,同时也导致了其性能不能达到最优,而且也不适合大规模的远程数据采集工作。我们根据实际的数据特点和管理要求,设计和实现了一个通用的数据中心系统,以支持企业分布式异构数据的采集。

航空公司数据仓库模型设计与实现

本文以航空公司为背景,结合目前主要的数据仓库的设计理论和框架,提出了针对于航空公司的数据仓库的设计与实现过程。并对数据仓库的逻辑模型、实现方法和相关技术等问题进行了探讨。

基于元数据驱动的通用数据迁移工具

为解决企业数据模型升级需要在数据库间实现数据迁移的问题,创建基于元数据驱动的通用数据迁移工具,分析数据抽取、转换和加载体系结构,采用元数据驱动技术,结合企业数据迁移需求,定义数据迁移通用框架模型体系;处理映射模式的元数据表示,实现用元数据描述与存储映射模式.该方法实现用元数据驱动数据抽取、转换和加载引擎功能,技术与功能在中国石油数据中心大型数据迁移中应用,取得良好效果.

基于数据仓库的刑事案件决策支持系统设计

为了更有效地促进情报主导警务模式的推进,对刑事案件决策支持系统进行了研究与设计。首先分析了公安刑事案件决策支持系统的总体需求,并基于数据仓库技术设计了层次化的系统体系结构;然后提出了刑事案件数据仓库模型,并基于本体-规则、元数据-功能提出了多源、异构数据的抽取、转换与加载的整合方法,设计了系统的功能体系;最后介绍了相关成果在大连市公安局的应用示例。实践结果表明,基于数据仓库的刑事案件决策支持系统可以为领导和一线干警提供有效的决策支持。

保险业数据参考模型对ETL的影响和作用

本文在简略回顾保险业通用数据参考模型之后,以数据仓库技术中的ETL过程为着眼点,对基于保险业数据参考模型的ETL过程进行设计和分析,从而有针对性地提出一种保险行业数据抽取转换和加载的方法,最后探讨该设计在保险公司的应用。

基于业务规则的数据处理技术

以整合银行数据为例,提出了数据处理的二级架构形式。指出数据处理的概念模型设计、数据源分析和数据抽取转换的方法策略。以目标数据为依据,针对数据源中存在的冗余数据和语义冲突数据、不完整数据和错误数据以及格式或定义不一致的数据分别给出清洗的业务规则,使用SQL Server的DTS工具予以实现并上线使用。

OLAP在电信数据仓库中的设计与实现

通过研究数据仓库在电信业务中的应用,论述电信领域数据仓库和部分联机分析处理的设计开发过程。综述数据仓库模型、联机分析处理(OLAP)模型、汇总表的设计以及开发中所要注意的问题,提出一种高效建立数据仓库和实现联机分析处理的设计方案。

数据仓库系统的数据预处理问题研究与应用

从数据仓库应用中的主要障碍之一———数据问题出发,对数据预处理的目标、原则、方法和具体技术进行讨论,并结合一个数据预处理设计的具体实例,分析了如何通过分层次逻辑模型解决数据预处理的透明性、产品化等具体问题。

商业智能系统数据仓库设计与实现

在介绍数据仓库技术特点的基础上,阐述商业智能系统中数据仓库的设计方法和设计内容,包括采用“需求驱动”和“数据驱动”相结合的设计方法,数据建模流程和数据抽取、转换和装载(extract,transformandload,ETL)策略的设计,并给出一个具体实例实现数据建模和数据装入。

基于Informix数据仓库的尚洋寿险决策支持系统——为你保险

保险市场的迅速发展对信息管理的需求提出了更高的要求。我国保险企业已不满足于单纯的业务流程自动化,而希望能够更好地汇总、分析企业多年来积累的庞大的业务、财务等数据资源,并从中挖掘出业务的内在规律,以便更好地支持决策过程,取得竞争优势。面对保险企业这一日益深化的需求,尚洋电子技术公司推出了基于Informix数据仓库开发工具的寿险行业决策支持系统解决方案。 该系统采用先进的数据仓库技术,整合来自寿险企业不同数据来源的业务数据、精算数据、财务数据及外部数据,根据寿险行业的特点和需求重组数据,构成寿险业务数据仓库。在数据仓库的基础上。

面向煤矿安全监控的数据仓库关键技术

针对煤矿安全监控系统因采用操作型数据存储方法而导致无法有效利用海量数据,且数据分析能力较差等问题,研究了面向煤矿安全监控的数据仓库关键技术。根据煤矿安全监控业务需求,提出了煤矿安全监控数据仓库的功能结构,设计了超限分析、调校分析、异常数据分析、测点网络中断分析和人员管理分析五大业务主题。采用事实星座模型建立了煤矿安全监控数据仓库的逻辑模型,分主题设计了事实表和维度表,采用SQL Server建立了数据仓库物理模型。根据煤矿安全监控数据仓库特点,提出了数据抽取、转换和加载策略,采用不同的数据抽取规则分主题进行数据抽取,对不同来源的数据进行格式转换、清洗和排序,在数据加载过程中进行预加载、加载和加载后处理操作。

高校数据仓库多层架构设计与ETL实现

为了充分利用高校各业务系统积累的大量数据,设计了5层数据仓库的系统架构,运用数据抽取、转换和加载(ETL)工具,把分散在学校不同业务系统的数据资源进行分类和整合,可以提供个人数据中心的集中展示、数据下载等服务;利用联机分析等工具进行数据展现,可以为学校领导提供决策支持.

对多应用系统的数据集成

针对解决因分时建设开发造成应用系统的应用环境和数据规范不一、信息孤岛严重等问题,而产生的数据集成、展现的需求进行了分析,提出了2种集成策略。对数据的采集、抽取、转换和加载处理过程进行了分析探讨,集成的数据可以以数据视图的形式直接给用户使用或展现,也可以用来构建数据仓库,进行深入的分析和挖掘。