基于数据交换与同步的作业调度方案

多机作业调度问题是一个经典的NP难问题,在应用中由于实际需要,会出现各种约束和变形,调度问题的研究成果决定着系统的性能。DataTurbo是作者参与的一个用于解决分布式数据迁移、集成和融合的平台,该平台承担着大数据量的分布式传输任务。在DataTurbo平台基础上,提出一种适用于数据交换与同步的分布式作业调度方案,并构建一个灵活的分布式调度算法框架,解决相关的调度问题。该调度方案是一种在线的、可并发的、作业可分解的多机调度方案。仿真实验结果显示,该调度方案在任务负载大、调度点稀疏情况下优势明显,能适用于数据交换同步作业,可作为数据交换与同步作业的动态调度方案,并为相关启发式算法建立基础模型。

可扩展的数据集成引擎DataTurbo的设计与实现

针对分布式异构数据共享存在的"信息孤岛"问题,设计并实现了一个用于解决分布式数据迁移、集成、融合的平台DataTurbo。DataTurbo利用可扩展功能构件支持贴近用户语义的策略描述,结合灵活的调度引擎,弥补了很多商业工具仅支持规范化的数据访问接口以及功能局限的弱点,成为一个综合的平台。重点剖析了DataTurbo系统的框架结构,强调功能层下面的引擎支撑层的设计与实现,重点描述了核心调度逻辑和功能构件的规范。DataTurbo现已成功部署并服务于广州市番禺区数据中心,能承担大量异构数据的交换与同步,适合政府各级部门、企业各级机构的数据集成、共享与数据中心的构建。