摘要
利用数据源的增量数据对数据仓库进行维护,可以有效提高ETL效率。现有通用ETL工具在增量抽取方面存在一些问题,如不能抽取多个异构数据源的增量数据以及在处理增量数据时造成数据丢失的异常问题。本文从实践角度设计的增量式ETL工具采用集成多种增量数据捕获方式,解决异构数据源在捕获增量数据上的差异;在数据处理过程中,通过辅助表的手段解决了数据丢失的问题。在文章的最后,还介绍了ETL过程中数据转换和转换调度的实现。
Using incremental data from data source can improve efficiency of maintaining data warehouse. General ETL tools have some flaws in getting incremental data and processing abnormal data. In this paper an incremental ETL tool is designed which can get incremental data from different data sources and solve the abnormal problem with the method of integrating several incremental data obtaining modes. In the end the realization of data transformation is introduced.
出处
《现代计算机》
2005年第3期6-10,共5页
Modern Computer
