基于工作流的数据抽取转换加载

将数据的抽取转换加载(ETL)过程和工作流技术结合起来,研究了ETL过程的工作流调度问题,设计了一种简单串行和稳定可靠的循环遍历算法.为了提高ETL效率,将并行机制引入到节点访问算法中,对节点访问算法进行了改进,设计了新的节点访问算法,并讨论了加入并行机制后可能会遇到的数据源并发控制等问题,并给出了解决方法.所提出的方法对提高数据集成效率很有效,在国产数据库系统的应用中可起到积极推动作用.

面向空间数据抽取、转换、加载的元数据管理系统实现

空间数据仓库技术是为地理信息以及为社会经济发展提供高质量的决策信息而产生的技术,而空间数据抽取、转换和加载(ETL)是构建空间数据仓库必经的步骤,空间ETL过程面临的主要难点是空间数据的多源异质性问题。采用元数据技术辅助空间ETL方法,实现了空间元数据管理系统。

数据仓库数据加载技术

数据仓库中的数据不是传统数据库中数据的简单堆积 ,其数据的组织必须方便基于数据仓库基础之上的数据挖掘和商业智能工作 ,为决策者提供访问、分析及共享信息的能力 ,从而发挥数据仓库的真正功效。成功构造一个数据仓库的关键在于自始至终理解用户需要 ,紧紧围绕用户目标这一主题进行数据的搜集和存储。首先分析数据仓库的特点以及拥有的数据类别及组成 ,重点介绍如何从现有数据库中有效地将数据引导至数据仓库的方法和策略 ,具体给出了数据仓库中

录井现场地质数据网络加载技术应用研究方法探讨

为了实现录井数据的电子化、数据共享,为生产应用人员、科研人员提供丰富的数据基础,大庆油田地质录井一公司建立了录井专业数据库,现场地质数据也是该数据库的重要组成部分之一。这些数据怎么能方便、高效地保存到数据库中,这就是本文所要阐述的问题。

一种影像快速加载及显示策略

目前普遍采用构建影像金字塔存储模型来解决遥感影像数据的加载及显示时存在的问题,但仅使用构建金字塔模型的策略在效率及系统鲁棒性等方面存在着诸多不足。结合影像动态提取技术和影像金字塔技术提出了一种灵活高效的影像加载及显示策略,充分利用系统内存空间,减少不必要的I/O操作,在保证系统性能的前提下大大提升影像加载与显示的用户体验。最后,利用C#语言开发程序Fload实现该策略,并与ESRI公司的ArcMap软件在执行效率、程序性能等方面进行了综合比较。结果表明,该影像加载及显示策略在性能上表现良好。

基于ETL技术的多源异构数据融合方法研究

在多源大数据融合阶段处理历年异构的数据时,涉及到多指标和多维度的问题,需要清洗、转换、映射和对齐等操作。相关数据处理工具和方法逐步涌现,但仍难以解决大量数据的交叉融合问题。为此,研究了基于ETL技术的多源异构数据融合方法,分析了常用的ETL工具和数据融合技术,包括数据抽取、转换、加载工具以及数据处理算法。分析了面向灵活需求、业务交叉较多和实时数据流场景时,遇到的数据源异构、数据结构差异、数据更新频率困难等问题,并从模块化设计、逻辑和参数分离、标准化构件库、轻量级JSON格式的配置文件等方面研究了ETL工具模块化扩展和构件重复使用的方法,以便更好地处理大规模异构数据。解决了多源大数据融合阶段的交叉融合问题,对提高数据处理效率、确保数据质量以及支持更深入的数据分析和决策具有重要意义。

基于SOA的国家级油气资源数据库ETL系统设计与实现

针对我国油气资源数据相对多源、异构、分散的现状,根据OLAP的实际需求,采用MVC模式作为系统架构模式,实现了国家油气资源数据库数据提取、转换和加载(ETL)系统。阐述了系统所采用的基于面向对象体系结构(SOA)的5层结构模型,使用ODBC和XML技术实现数据库连接的动态映射,应用Oracle DB解决了多媒体数据处理等关键问题。

基于子模式的关系数据到图数据ETL方法研究

图数据库在解决多层关系查询、社区发现等问题时性能优于关系数据库。然而目前大量的数据以关系数据的形式存储,如何高效完整地进行关系数据到图数据的ETL,即抽取、转换、加载,是图数据库应用领域研究的重要问题。国内外对该问题有了一些研究,但存在转换后的图数据质量不高、转换效率低、转换结果不利于分布式存储等问题。因此,提出基于子模式的关系数据到图数据ETL方法,改进原有ETL方法的流程和算法。该方法将关系数据库模式拆分为若干个子模式,并行进行ETL。不仅提高了ETL的效率,转换结果能满足图数据的分布式存储要求,也可以作为Spark GraphX计算框架的基础数据。最后,使用Java EE和Neo4j开发了原型系统,并进行了实验验证。结果表明,改进后的ETL方法获得了较已有方法更好的转化性能。

一种通用的多数据库间数据抽取方法及应用

为方便从多个异构的数据源中抽取转换数据、并加载到目标数据库,提出一种较为通用的抽取方法,并开发了工具软件.该方法基于客户端的方案,使用数据库驱动程序屏蔽异构数据库间的差异;数据的抽取、转换和加载由数据抽取软件执行;数据的抽取转换基于抽取规则,抽取规则采用可视化方法编辑生成;抽取规则存储于规则库,供多次调用修改;多个抽取任务组成抽取任务队列.开发的抽取工具软件DbBridge,支持从Oracle,SQL Server,SAS,Access,Excel等数据源抽取数据.软件成功应用于某数据仓库的建立及数据迁移工作.

基于元数据驱动的通用数据迁移工具

为解决企业数据模型升级需要在数据库间实现数据迁移的问题,创建基于元数据驱动的通用数据迁移工具,分析数据抽取、转换和加载体系结构,采用元数据驱动技术,结合企业数据迁移需求,定义数据迁移通用框架模型体系;处理映射模式的元数据表示,实现用元数据描述与存储映射模式.该方法实现用元数据驱动数据抽取、转换和加载引擎功能,技术与功能在中国石油数据中心大型数据迁移中应用,取得良好效果.

调度自动化系统增强型数据仓库平台构建及应用

数据仓库是信息管理和分析型应用的有效平台。文中针对目前数据仓库不能支持实时数据存储处理和短时战术决策的局限性,提出了一种调度自动化系统增强型数据仓库平台体系结构,主要由信息一体化节点、实时数据处理中心、主动数据仓库和系统管理工具等构成,从而实现了数据抽取和转换能力、实时响应性能以及对突发事件捕获能力的增强。在已投入电网运行的自开发SCUT2008电网调度自动化系统中的应用与测试,证明了其性能的增强。

基于关键属性比对的增量数据抽取方法

概述了ETL目前常用的增量数据抽取方法,在全表比对方法基础上,提出了基于关键属性比对的增量数据提取方法,描述了关键属性提取算法,并建立其模型,用实验验证了基于关键属性比对的方法优于全表比对方法和全表删除插入方法。

基于大数据的医院信息集成平台建设与应用

目的:构建医院大数据集成平台,实现信息系统的互联互通和信息共享,推进智慧医疗的发展。方法:构建医院大数据集成平台,对医疗机构多系统信息进行整合,对多系统、多格式的数据进行抽取-转换-加载(ETL),提供统一的医疗数据访问服务,降低信息交互带来的系统压力。结果:医院集成平台为医疗机构信息化建设提供统一的数据标准和接口标准,实现了医疗机构不同业务系统与集成平台的有效集成与信息共享;临床信息一体化应用中报表233张,指标386个,涉及门急诊、住院、医技工作量、护理、院感及重点监控等10余类。提升医护工作者工作效率及临床诊疗质量,实现高效运营、精益管理和优质服务。结论:基于大数据的医院信息集成平台的建设,可实现医疗机构有效监管与科学决策,提升各职能部门、临床科室对数据利用以及医疗机构服务的核心竞争力,逐步推进智慧医院建设的战略目标。

数据仓库ETL元模型设计

针对传统的ETL(Extract/Transform/Load)开发方法难以满足企业的决策需求,复杂性和高效性是ETL开发面临的两大主要问题。为此,在数据仓库系统统一集成建模框架下,为提高管理质量和快速性,提出一种数据仓库ETL元模型设计方法,取代了以往在特定的数据仓库中对ETL建模的方法,使得ETL过程较早地进入数据仓库设计阶段,实现了ETL与数据仓库在概念层上的无缝融合,减少了开发时间和成本代价。最后通过模型实际应用,验证了方法的可行性和高效性。

数字化车间多源异构质量数据集成方案研究

针对数字化制造中多源异构质量数据信息量大且缺乏统一、规范和标准化数据管理的问题,提出一种基于面向对象技术和基于映像的数据抽取、转换和加载(Extract-Transform-Load,ETL)技术的异构数据集成方案,该方案简单实用,具有很高的通用性,可提高异构数据的提取精度,有效地解决多源异构质量数据集成问题。

基于数据仓库的刑事案件决策支持系统设计

为了更有效地促进情报主导警务模式的推进,对刑事案件决策支持系统进行了研究与设计。首先分析了公安刑事案件决策支持系统的总体需求,并基于数据仓库技术设计了层次化的系统体系结构;然后提出了刑事案件数据仓库模型,并基于本体-规则、元数据-功能提出了多源、异构数据的抽取、转换与加载的整合方法,设计了系统的功能体系;最后介绍了相关成果在大连市公安局的应用示例。实践结果表明,基于数据仓库的刑事案件决策支持系统可以为领导和一线干警提供有效的决策支持。

基于大数据处理的ETL框架的研究与设计

针对传统抽取、转换、装载(ETL)架构在数据处理过程控制方面和数据产品开发效率方面的不足,提出一种基于大数据处理的ETL架构。通过分析主流的ETL工具--Datastage的工作原理和ETL过程的特点,设计ETL元数据描述模块、ETL任务描述模块、配置解析模块和数据任务调度模块等。使用该框架处理数据任务时,以配置文件的方式开发,使工作效率得到了极大的提升。基于该设计思想开发一款基于大数据处理的ETL工具,在对数据处理过程(E、T、L)的控制方面得到了改进,同时也可以使数据开发人员从大量重复的操作中解脱出来,将更多的精力放在数据的逻辑处理方面。

基于Java和Oracle数据库的航空飞行电报数据处理

航空飞行电报是空中交通管制指挥监测的重要数据源 ,电报中包含了航空飞行的关键数据信息。介绍了一种基于Java和Oracle数据库的航空飞行电报数据提取和数据加载的方法 ,并对其性能优化、避免数据冗余的特点作了重点描述。

数据仓库实现中ETL的应用研究

通过外贸业务分析决策系统的实现,探讨在数据仓库项目应用过程中,如何针对来自不同应用系统、不同数据平台、不同数据源形式的源数据系统存在的数据质量的差异性、缺乏一致性等问题,设计较好的ETL(Extract,Transform,Load)过程解决方案,将数据从源数据系统中抽取、转换成数据仓库需要的格式和统一数据类型,并正确加载到数据仓库中,为决策支持系统的实现提供高质量的基础数据。