基于工作流的数据抽取转换加载

将数据的抽取转换加载(ETL)过程和工作流技术结合起来,研究了ETL过程的工作流调度问题,设计了一种简单串行和稳定可靠的循环遍历算法.为了提高ETL效率,将并行机制引入到节点访问算法中,对节点访问算法进行了改进,设计了新的节点访问算法,并讨论了加入并行机制后可能会遇到的数据源并发控制等问题,并给出了解决方法.所提出的方法对提高数据集成效率很有效,在国产数据库系统的应用中可起到积极推动作用.

浅论数据抽取、净化和转换工具

选择怎样的ECT(Extraction ,Cleanup ,Transformation)工具将是每个数据仓库构建者不可避免的问题。本文重点介绍ECT工具的类型 ,工作机理及它们之间的区别 ,一些著名商家的解决方法亦将作为例子给出。

基于XML的异构数据库抽取转换技术研究

随着信息化建设的深入,异构数据库系统之间进行数据交换、数据共享的需求越来越突出。因为XML技术具有平台无关性、易于扩展、交互性好和语义性强等特点,可以作为异构数据库之间进行数据交换的标准。给出关系模式与XML模式之间的映射规则和转换方法,设计异构数据的抽取转换工具,该抽取转换方法具有通用性,易于扩展。

数据提取、转换和装载技术研究

来自企业操作环境的数据是数据仓库的数据源,通过提取、转换、装载填充数据仓库,对数据提取、转换与装载技术进行了研究与实践。对数据提取、转换与装载要解决的问题进行了详细论述并提出了相应的解决方法,并以MS SQL Server2000为例,介绍了可用于析取数据的一些工具。在此基础上,以电信行业话单数据载入数据仓库为实例,就如何实现各步骤进行了详细说明,提出了在数据提取、转换与装载过程中需注意的一些问题。

基于XML的电力营销数据智能抽取方法研究

电力信息化的发展使得电力营销系统中的数据量不断增加,导致在数据抽取过程中的数据转换能力较差,从而造成抽取结果召回率偏高的情况。针对这一情况,利用可扩展标记语言(XML)的转换能力,设计了新的电力营销数据智能抽取方法。将电力营销数据规范为小范围数据链形式,并应用超文本敏感标题搜索(HITS)算法获取数据源。设定XML数据转换工具,利用XML定位描述符实现数据区域定位。在设定数据抽取规则与抽取内容的基础上,结合数据映射技术实现对电力营销数据的抽取。在性能测试过程中,将测试环境设定为平稳运行与数据入侵2种。通过对比结果可知,基于XML的抽取方法的召回率保持在7%以下,抽取耗时保持在800 ms以下,其值优于传统方法,充分证明了该方法的有效性。

面向空间数据抽取、转换、加载的元数据管理系统实现

空间数据仓库技术是为地理信息以及为社会经济发展提供高质量的决策信息而产生的技术,而空间数据抽取、转换和加载(ETL)是构建空间数据仓库必经的步骤,空间ETL过程面临的主要难点是空间数据的多源异质性问题。采用元数据技术辅助空间ETL方法,实现了空间元数据管理系统。

基于ETL技术的多源异构数据融合方法研究

在多源大数据融合阶段处理历年异构的数据时,涉及到多指标和多维度的问题,需要清洗、转换、映射和对齐等操作。相关数据处理工具和方法逐步涌现,但仍难以解决大量数据的交叉融合问题。为此,研究了基于ETL技术的多源异构数据融合方法,分析了常用的ETL工具和数据融合技术,包括数据抽取、转换、加载工具以及数据处理算法。分析了面向灵活需求、业务交叉较多和实时数据流场景时,遇到的数据源异构、数据结构差异、数据更新频率困难等问题,并从模块化设计、逻辑和参数分离、标准化构件库、轻量级JSON格式的配置文件等方面研究了ETL工具模块化扩展和构件重复使用的方法,以便更好地处理大规模异构数据。解决了多源大数据融合阶段的交叉融合问题,对提高数据处理效率、确保数据质量以及支持更深入的数据分析和决策具有重要意义。

数字化转型浪潮下高校数据治理框架设计

随着数字技术的快速发展与应用,全球掀起了数字化转型浪潮,数据治理已成为当前高校探索教育数字化转型过程中的重要课题。在分析当前高校数据治理现状的基础上,采用数据存储分层建设思路,研究设计了基于数据中台的高校数据治理框架,加强顶层设计,自下而上逐步推进数据采集、数据存储、数据管理和数据应用,实现高校数据的全生命周期管理。

面向异地灾备场景的数据同步技术研究与实践

为保持源数据库与目的数据库的数据一致性,农信银资金清算中心提出一种可以在不改变原有业务流程的情况下实现数据同步的技术,并同步构建了相关软件系统。本文从技术实现、运维方案、一致性测试等方面对数据同步技术的落地探索展开了详细说明,期待为后续银行业开展信息系统升级改造提供可行参考。

基于XML的数据转换系统SuperETL

针对政府机构和企事业单位对数据资源整合的需求,提出一个数据转换系统SuperETL,主要介绍其设计目标、体系结构,并给出了系统中任务的XML定义标准。测试结果表明,SuperETL能够高效、智能地完成数据抽取(Extract)、清洗(C leaning)、转换(Transformation)、装载(Loading)及ETL任务。

一种通用的多数据库间数据抽取方法及应用

为方便从多个异构的数据源中抽取转换数据、并加载到目标数据库,提出一种较为通用的抽取方法,并开发了工具软件.该方法基于客户端的方案,使用数据库驱动程序屏蔽异构数据库间的差异;数据的抽取、转换和加载由数据抽取软件执行;数据的抽取转换基于抽取规则,抽取规则采用可视化方法编辑生成;抽取规则存储于规则库,供多次调用修改;多个抽取任务组成抽取任务队列.开发的抽取工具软件DbBridge,支持从Oracle,SQL Server,SAS,Access,Excel等数据源抽取数据.软件成功应用于某数据仓库的建立及数据迁移工作.

基于关键属性比对的增量数据抽取方法

概述了ETL目前常用的增量数据抽取方法,在全表比对方法基础上,提出了基于关键属性比对的增量数据提取方法,描述了关键属性提取算法,并建立其模型,用实验验证了基于关键属性比对的方法优于全表比对方法和全表删除插入方法。

半结构化数据装载到数据仓库的设计与实现

通过分析半结构化数据的特点,以实际的采购退货数据(BokeDataInfo.xml)为例,利用DOM对象对基于XML的半结构化的数据进行抽取,设计并实现了一个基于半结构数据的数据仓库ETL工具,解决了商用ETL工具不能直接加载抽取XML文件进行数据仓库数据加载的弊端,为XML半结构化数据的抽取并装载到数据仓库当前细节级中的这一问题的解决进行了有益的探索。

基于DTS组件编程实现对文本数据的灵活抽取

探讨了利用SQL SERVER 2000数据转换服务(DTS)编程实现数据转换的一般过程,提出通过文本整理、列映射、数据规范化等操作,将原始文件转换为较为规范的中间文件,再利用通用转换过程实现数据转换的思路;并利用DTS的异常处理能力对无法自动转换的情况提供了人工介入的途径,大大提高了转换成功率。

数据仓库中的数据抽取分析及应用

简要介绍了数据仓库的决策支持系统 ,对数据仓库的数据抽取方法进行了分析 ,比较详细地对数据仓库的数据抽取方法———DTS设计器进行了实例探索。

ETL中的数据增量抽取机制研究

为实现数据仓库中数据的高效更新,探讨了在数据仓库的ETL(数据的抽取、转换和装载)子系统中进行数据增量抽取时所采用的常见机制,对这些机制的原理、条件、方法以及运行效率等方面进行了详细的阐述,并从兼容性、完备性、性能和侵入性4个方面分析和比较了各种数据增量抽取机制的优劣性。最后,总结了选取数据增量抽取机制所应遵循的主要原则和标准。

电信经营分析系统中抽取转换子系统的设计与实现

针对电信运营分析系统的特殊要求,仔细分析了系统的数据源情况和数据转换要求,设计并实现了一个能够完成经营分析系统数据抽取转换工具.

Rdb/VMS数据库数据装载方法

本文讨论了VAX Rdb/VMS数据库数据装载和异质数据库数据转换工具的设计思想和实现技术,并给出了程序设计流程。实践结果表明,转换工具界面友好,灵活多变,具有实用性和通用性。

数据仓库中ETL技术的研究

作为数据仓库的关键部件,支持数据抽取、清洗、转换和装载的工具集对任何数据仓库工程都是一个必不可少的成功因素。该文简单介绍了ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位以及现有的研究成果,然后重点介绍了ETL的具体设计和实现方法。