基于工作流的数据抽取转换加载

将数据的抽取转换加载(ETL)过程和工作流技术结合起来,研究了ETL过程的工作流调度问题,设计了一种简单串行和稳定可靠的循环遍历算法.为了提高ETL效率,将并行机制引入到节点访问算法中,对节点访问算法进行了改进,设计了新的节点访问算法,并讨论了加入并行机制后可能会遇到的数据源并发控制等问题,并给出了解决方法.所提出的方法对提高数据集成效率很有效,在国产数据库系统的应用中可起到积极推动作用.

面向空间数据抽取、转换、加载的元数据管理系统实现

空间数据仓库技术是为地理信息以及为社会经济发展提供高质量的决策信息而产生的技术,而空间数据抽取、转换和加载(ETL)是构建空间数据仓库必经的步骤,空间ETL过程面临的主要难点是空间数据的多源异质性问题。采用元数据技术辅助空间ETL方法,实现了空间元数据管理系统。

基于Pentaho的数据中心研究及应用

数据中隐藏的价值不仅决定企业自身的命运同时承载整个行业的未来发展方向。在大数据时代背景下,无论是公司的发展还是政府的管理,搭建属于自身的数据仓库都显得尤为重要。本文借助中关村数据融合中心平台,阐述构建基于Pentaho管理系统的关键技术要点,主要包括数据仓库的设计,数据收集过程中的ETL设计,数据分析过程中的OLAP设计,数据展示过程中的报表设计。

一种通用的多数据库间数据抽取方法及应用

为方便从多个异构的数据源中抽取转换数据、并加载到目标数据库,提出一种较为通用的抽取方法,并开发了工具软件.该方法基于客户端的方案,使用数据库驱动程序屏蔽异构数据库间的差异;数据的抽取、转换和加载由数据抽取软件执行;数据的抽取转换基于抽取规则,抽取规则采用可视化方法编辑生成;抽取规则存储于规则库,供多次调用修改;多个抽取任务组成抽取任务队列.开发的抽取工具软件DbBridge,支持从Oracle,SQL Server,SAS,Access,Excel等数据源抽取数据.软件成功应用于某数据仓库的建立及数据迁移工作.

基于元数据驱动的通用数据迁移工具

为解决企业数据模型升级需要在数据库间实现数据迁移的问题,创建基于元数据驱动的通用数据迁移工具,分析数据抽取、转换和加载体系结构,采用元数据驱动技术,结合企业数据迁移需求,定义数据迁移通用框架模型体系;处理映射模式的元数据表示,实现用元数据描述与存储映射模式.该方法实现用元数据驱动数据抽取、转换和加载引擎功能,技术与功能在中国石油数据中心大型数据迁移中应用,取得良好效果.

基于数据仓库的刑事案件决策支持系统设计

为了更有效地促进情报主导警务模式的推进,对刑事案件决策支持系统进行了研究与设计。首先分析了公安刑事案件决策支持系统的总体需求,并基于数据仓库技术设计了层次化的系统体系结构;然后提出了刑事案件数据仓库模型,并基于本体-规则、元数据-功能提出了多源、异构数据的抽取、转换与加载的整合方法,设计了系统的功能体系;最后介绍了相关成果在大连市公安局的应用示例。实践结果表明,基于数据仓库的刑事案件决策支持系统可以为领导和一线干警提供有效的决策支持。

OLAP在电信数据仓库中的设计与实现

通过研究数据仓库在电信业务中的应用,论述电信领域数据仓库和部分联机分析处理的设计开发过程。综述数据仓库模型、联机分析处理(OLAP)模型、汇总表的设计以及开发中所要注意的问题,提出一种高效建立数据仓库和实现联机分析处理的设计方案。

基于SOA的国家级油气资源数据库ETL系统设计与实现

针对我国油气资源数据相对多源、异构、分散的现状,根据OLAP的实际需求,采用MVC模式作为系统架构模式,实现了国家油气资源数据库数据提取、转换和加载(ETL)系统。阐述了系统所采用的基于面向对象体系结构(SOA)的5层结构模型,使用ODBC和XML技术实现数据库连接的动态映射,应用Oracle DB解决了多媒体数据处理等关键问题。

基于子模式的关系数据到图数据ETL方法研究

图数据库在解决多层关系查询、社区发现等问题时性能优于关系数据库。然而目前大量的数据以关系数据的形式存储,如何高效完整地进行关系数据到图数据的ETL,即抽取、转换、加载,是图数据库应用领域研究的重要问题。国内外对该问题有了一些研究,但存在转换后的图数据质量不高、转换效率低、转换结果不利于分布式存储等问题。因此,提出基于子模式的关系数据到图数据ETL方法,改进原有ETL方法的流程和算法。该方法将关系数据库模式拆分为若干个子模式,并行进行ETL。不仅提高了ETL的效率,转换结果能满足图数据的分布式存储要求,也可以作为Spark GraphX计算框架的基础数据。最后,使用Java EE和Neo4j开发了原型系统,并进行了实验验证。结果表明,改进后的ETL方法获得了较已有方法更好的转化性能。

数据仓库系统的数据预处理问题研究与应用

从数据仓库应用中的主要障碍之一———数据问题出发,对数据预处理的目标、原则、方法和具体技术进行讨论,并结合一个数据预处理设计的具体实例,分析了如何通过分层次逻辑模型解决数据预处理的透明性、产品化等具体问题。

数据中心系统研究与实现

现在有许多ETL工具,其优点是通用、使用比较方便,同时也导致了其性能不能达到最优,而且也不适合大规模的远程数据采集工作。我们根据实际的数据特点和管理要求,设计和实现了一个通用的数据中心系统,以支持企业分布式异构数据的采集。

ETL中的数据增量抽取机制研究

为实现数据仓库中数据的高效更新,探讨了在数据仓库的ETL(数据的抽取、转换和装载)子系统中进行数据增量抽取时所采用的常见机制,对这些机制的原理、条件、方法以及运行效率等方面进行了详细的阐述,并从兼容性、完备性、性能和侵入性4个方面分析和比较了各种数据增量抽取机制的优劣性。最后,总结了选取数据增量抽取机制所应遵循的主要原则和标准。

保险业数据参考模型对ETL的影响和作用

本文在简略回顾保险业通用数据参考模型之后,以数据仓库技术中的ETL过程为着眼点,对基于保险业数据参考模型的ETL过程进行设计和分析,从而有针对性地提出一种保险行业数据抽取转换和加载的方法,最后探讨该设计在保险公司的应用。

面向煤矿安全监控的数据仓库关键技术

针对煤矿安全监控系统因采用操作型数据存储方法而导致无法有效利用海量数据,且数据分析能力较差等问题,研究了面向煤矿安全监控的数据仓库关键技术。根据煤矿安全监控业务需求,提出了煤矿安全监控数据仓库的功能结构,设计了超限分析、调校分析、异常数据分析、测点网络中断分析和人员管理分析五大业务主题。采用事实星座模型建立了煤矿安全监控数据仓库的逻辑模型,分主题设计了事实表和维度表,采用SQL Server建立了数据仓库物理模型。根据煤矿安全监控数据仓库特点,提出了数据抽取、转换和加载策略,采用不同的数据抽取规则分主题进行数据抽取,对不同来源的数据进行格式转换、清洗和排序,在数据加载过程中进行预加载、加载和加载后处理操作。

高校数据仓库多层架构设计与ETL实现

为了充分利用高校各业务系统积累的大量数据,设计了5层数据仓库的系统架构,运用数据抽取、转换和加载(ETL)工具,把分散在学校不同业务系统的数据资源进行分类和整合,可以提供个人数据中心的集中展示、数据下载等服务;利用联机分析等工具进行数据展现,可以为学校领导提供决策支持.

基于Hadoop技术的邮政金融历史数据集中管理平台

为了适应当前海量数据的存储和计算,面向上层应用提供统一的数据服务接口,邮政储蓄银行江苏省分行基于开源平台Hadoop,通过优化ETL加载过程,建立元数据,完善外部系统支持和安全管理等构建具有数据层、业务层、平台层、展现层的历史数据集中管理平台。本文简述了技术的实现方案,并介绍了数据分析和挖掘在行业中的应用。

对多应用系统的数据集成

针对解决因分时建设开发造成应用系统的应用环境和数据规范不一、信息孤岛严重等问题,而产生的数据集成、展现的需求进行了分析,提出了2种集成策略。对数据的采集、抽取、转换和加载处理过程进行了分析探讨,集成的数据可以以数据视图的形式直接给用户使用或展现,也可以用来构建数据仓库,进行深入的分析和挖掘。

基于CWM的标准ETL的设计与实现

目前开发ETL(Etract Transform Load)系统过程中,最典型的问题就是元数据管理混乱,在分析ETL和元数据之间关系的基础上,提出了一种基于公共仓库模型开发的标准ETL系统设计思想,给出了该标准ETL系统的实现过程。将该方法应用于某医疗保险系统的ETL开发过程中,结果表明,与传统的ETL开发过程相比,该系统开发效率提高40%以上,系统具有良好的通用性和易集成性,解决了元数据管理混乱的问题。

基于模型驱动的ETL模型映射方法

针对AP模型的特点,给出元模型中对象的形式化定义,优化模型映射算法,提出一种基于模型驱动、从概念模型到逻辑模型的映射方法。改进后的算法能够映射基于数据抽取-加载-转换(ETL)工作流的单源数据或多源数据,并发执行各状态节点,提高了执行的效率。实验结果表明,该方法为模型驱动式ETL设计及数据集成中快速实现ETL奠定了良好基础。

ETL在水路客运行业项目中的应用

通过讨论数据提取、转换、加载(ETL)技术在上海水路客运票务系统项目中的实践应用,说明了ETL技术的特点、本质及其重要性。其中,ETL的具体应用包括数据查找、变更以及维护。采用ETL技术可以使数据库系统完全分离,大大减轻了数据汇总查询对实时票务系统的负荷,提高了查询分析速度。