基于数据中台的应用数据全链路提速研究

针对数据中台数据服务时效性无法满足企业数据应用产品需要的问题,提出一种面向应用的数据全链路数据处理提速的方法并应用于实践中。首先,是强化数据血缘采集,贯通任务、表级和字段级血缘;其次,是通过逆推算法实现关键数据链路绘制,并识别关键链路和数据卡点;再次,根据不同数据卡点类型分别采取针对性的优化;然后,开发数据链路提速工具;最后,研究成果应用于营销调度系统等14个重点数据产品的相关数据服务提速,大大提升了数据生产效率,平均提效超60%。实验结果表明,所提方法不仅可以实现应用数据全链路提速,同时对数据服务开发具有积极的指导意义。