端到端的科学数据跨中心工作流分析框架

【目的】大数据与人工智能技术的快速发展催生了科研范式变革,新科研范式普遍要求对不同领域的科学数据资源进行协同分析,任务类型多样,分析流程横跨不同科学数据中心。【应用背景】现有工作流分析框架因在分析流程表达能力、异构计算框架整合能力、跨中心作业调度能力上的不足,难以支撑端到端的科学数据跨中心工作流分析需求。【方法】本文提出了可进行端到端科学数据跨中心工作流分析的软件框架,支持跨中心异构工作流构建、跨框架数据透明传递、跨中心作业优化调度。【结果】基于国家生态科学数据中心“草地地上生物量跨台站在线处理与质量控制”场景,对科学数据跨中心工作流分析框架进行了功能和性能验证,验证了该框架的先进性和可行性。