基于Datax的数据同步方案研究

随着人们对数据互联互通分析应用要求的提高,使得其对原本孤立存储的数据资源进行整合、汇总的愿望逐渐提高,然而在早期的数据存储建设时,存储的数据类型大多不同,包括关系型数据库系统RDBMS、分布式数据库系统Hdfs以及本地文件Local filesystem等,将这些异构的数据资源进行统一汇总存储,并同时满足新增增量数据的动态同步,已经成为当前数据同步研究的重点。由于传统的数据同步方案针对任意两个数据源之间的数据同步需要进行插件开发方能辅助同步完成,所以针对多数据源的异构数据同步会带来严重的工作负荷及质量问题。为了进一步提升数据同步的效率及质量,需要更为先进的技术手段,而Datax技术与Quartz技术的出现及应用,恰好能够满足这一需求,所以其也成为当前数据同步研究的新方案。

基于DataX的异构教学数据同步研究和应用

目前高校仍存在不同业务系统多数据源的异构数据,在“智能化校园”建设中需要实现及时高效的共享。原有的异构数据同步方式存在操作复杂、复用性差等缺点。通过对学校教学数据分析,针对其中价值度高且隐私度低的数据,采用“开放共享,主动同步”的方式,将DataX技术应用于异构教学数据的同步,为高校异构数据治理提供有益参考。