数据映射技术在ETL过程中的应用

为了使ETL系统能够高效的实现任意异构数据库之间的数据转换,需要通用的元模型支撑任意数据库之间数据转换元数据的定制。通过对数据转换中数据映射应用技术分析,重点对数据映射进行了抽象研究,定义数据映射的详细分类、基于数据映射关系的数据转换元数据描述形式,并构建支撑数据转换元数据定制的元模型,技术在中国石油数据中心大型数据迁移中应用,取得良好效果。

基于元数据驱动的通用数据迁移工具

为解决企业数据模型升级需要在数据库间实现数据迁移的问题,创建基于元数据驱动的通用数据迁移工具,分析数据抽取、转换和加载体系结构,采用元数据驱动技术,结合企业数据迁移需求,定义数据迁移通用框架模型体系;处理映射模式的元数据表示,实现用元数据描述与存储映射模式.该方法实现用元数据驱动数据抽取、转换和加载引擎功能,技术与功能在中国石油数据中心大型数据迁移中应用,取得良好效果.

基于元数据驱动的异构数据模型映射算法

为解决企业异构数据模型间的数据转换问题,构建了用于描述和存储映射策略的系列支撑元模型,并对各种映射模式进行了详细的定义,并实现了相应模式的映射转换算法。通过对ETL体系结构进行分析,提出了一种基于元数据驱动的通用数据转换体系结构。这些技术已在中国石油大型数据中心数据转换项目中得到应用,实现了开发数据库数据向统一的勘探开发数据模型EPDM的数据转换,应用效果良好。

元数据驱动的大型数据库数据迁移工具实现

随着数据模型的升级等,企业需要将原来数据库中存储的数据迁移到新的数据库,一般的做法都是通过开发专用迁移软件来实现,而仅仅依靠数据库系统本身提供的工具是不能满足实际数据迁移需求的。通过对ETL模型、元数据驱动技术的研究,结合中国石油数据中心大型数据迁移需求,定义了数据迁移的通用框架模型体系。对其中的关键技术——映射模式的元数据表示进行了重点研究,用元数据对映射模式进行描述与存储。最后,采用元数据来驱动对ETL引擎进行功能实现。该技术与功能已在中国石油数据中心大型数据迁移中得到了应用。

数据迁移自动化验证的研究

信息管理系统被各大企业广泛应用,系统升级时需要将企业的历史数据迁移到新系统中,称之为数据迁移,迁移过程中要保证数据的安全性和质量。先介绍了A公司WMS(Warehouse Management System,仓储管理系统)系统现状,并与B公司发行的新版本WMS系统做了比较,然后制定迁移方案,并给出具体案例实现自动化验证。