基于Datax的数据同步方案研究

随着人们对数据互联互通分析应用要求的提高,使得其对原本孤立存储的数据资源进行整合、汇总的愿望逐渐提高,然而在早期的数据存储建设时,存储的数据类型大多不同,包括关系型数据库系统RDBMS、分布式数据库系统Hdfs以及本地文件Local filesystem等,将这些异构的数据资源进行统一汇总存储,并同时满足新增增量数据的动态同步,已经成为当前数据同步研究的重点。由于传统的数据同步方案针对任意两个数据源之间的数据同步需要进行插件开发方能辅助同步完成,所以针对多数据源的异构数据同步会带来严重的工作负荷及质量问题。为了进一步提升数据同步的效率及质量,需要更为先进的技术手段,而Datax技术与Quartz技术的出现及应用,恰好能够满足这一需求,所以其也成为当前数据同步研究的新方案。