数据映射技术在ETL过程中的应用

为了使ETL系统能够高效的实现任意异构数据库之间的数据转换,需要通用的元模型支撑任意数据库之间数据转换元数据的定制。通过对数据转换中数据映射应用技术分析,重点对数据映射进行了抽象研究,定义数据映射的详细分类、基于数据映射关系的数据转换元数据描述形式,并构建支撑数据转换元数据定制的元模型,技术在中国石油数据中心大型数据迁移中应用,取得良好效果。

基于ArcGIS Data Reviewer的天地图融合数据质量检查方法

从天地图融合数据质量检查出发,依据数据标准,通过结合具体的质检规则,研究了一种基于ArcGIS Data Reviewer模块的自动化、批量化并且可使数据在处理阶段就可进行检查的天地图融合数据检验方法,这种灵活的质检机制大大减少了数据融合过程中的人工反复处理,提高了生产单位的作业效率及成果质量,也可为其他项目的质检系统开发提供借鉴。

ETL技术在电网信息系统业务数据迁移中的应用

随着企业业务量的增加和业务的变化,旧的企业管理系统难以支撑企业日常的业务,需要对管理系统更新换代。旧系统中积累了大量珍贵的数据资源,这些数据对于新系统的良好运转是十分必要的。但是新旧系统的数据结构差异使得旧系统的数据不能直接应用于新系统,需要高质量的数据迁移。为了保证历史数据能够应用于新的管理系统,以海南营销管理系统旧系统数据迁移为背景,对数据迁移技术进行了探讨和设计,并将ETL技术成功应用于旧营销系统的数据迁移,并总结了在数据迁移项目中使用的管理方法。

元数据驱动的大型数据库数据迁移工具实现

随着数据模型的升级等,企业需要将原来数据库中存储的数据迁移到新的数据库,一般的做法都是通过开发专用迁移软件来实现,而仅仅依靠数据库系统本身提供的工具是不能满足实际数据迁移需求的。通过对ETL模型、元数据驱动技术的研究,结合中国石油数据中心大型数据迁移需求,定义了数据迁移的通用框架模型体系。对其中的关键技术——映射模式的元数据表示进行了重点研究,用元数据对映射模式进行描述与存储。最后,采用元数据来驱动对ETL引擎进行功能实现。该技术与功能已在中国石油数据中心大型数据迁移中得到了应用。

数据迁移自动化验证的研究

信息管理系统被各大企业广泛应用,系统升级时需要将企业的历史数据迁移到新系统中,称之为数据迁移,迁移过程中要保证数据的安全性和质量。先介绍了A公司WMS(Warehouse Management System,仓储管理系统)系统现状,并与B公司发行的新版本WMS系统做了比较,然后制定迁移方案,并给出具体案例实现自动化验证。

基于元数据驱动的通用数据迁移工具

为解决企业数据模型升级需要在数据库间实现数据迁移的问题,创建基于元数据驱动的通用数据迁移工具,分析数据抽取、转换和加载体系结构,采用元数据驱动技术,结合企业数据迁移需求,定义数据迁移通用框架模型体系;处理映射模式的元数据表示,实现用元数据描述与存储映射模式.该方法实现用元数据驱动数据抽取、转换和加载引擎功能,技术与功能在中国石油数据中心大型数据迁移中应用,取得良好效果.

基于大数据的元模型及数据保障研究

针对海量的数据资源管理效率与质量问题,提出一种基于Hadoop的元数据管理模型。在该模型中,采用Hadoop对元模型进行搭建,从而完成对整个元数据的储存;然后通过ETL工具,通过分布式抽取的方式,实现对不同服务集群中化工类数据库数据的抽取,并通过ETL抽取、转换、加载和映射,建立映射规则,进而将不同的数据存储到对应的数据库中。最后,以某化工类数据库中的元数据抽取为例,通过对比数据集成率和数据可用性,看出本研究方案可提升海量数据下的数据有用率和集成率,对保障元数据的抽取质量具有借鉴价值。