一种基于MySQL的可扩展ETL系统的研究与实现

数据抽取、转换和装载(Extraction,Transformation and Loading,简称ETL)是构建数据仓库的重要步骤,对数据仓库数据质量有着至关重要的影响。但是目前大多数ETL系统都以图形化设计ETL作业为目标,从而导致ETL系统操作复杂、在数据量较大时处理效率偏低且功能难以扩展。针对这些问题,在PERL方法属性处理器和Mysql数据库基础之上,设计并实现了一个轻量级、可扩展、高效的ETL系统(SETL),应用SETL系统可以将大量数据高效地加载到数据仓库中。最后通过试验验证了该系统具有更高效率。