轻量级遥感数据分布式调度框架DataboxMR

【目的】目前,基于通用平台处理遥感数据,在提升处理效率的同时,也带来了执行轻量级任务效率低、用户使用门槛高、迁移代价大的问题。为降低用户处理轻量级任务的复杂度,降低基于通用平台处理带来的迁移代价,提高用户对任务调度端的控制力。【方法】本文提出了一个高效处理遥感数据的轻量级分布式调度框架(DataboxMR)。框架基于UDF(User-Defined Function)技术设计实现了遥感数据处理服务组件(Remote Sensing User-Defined Function,RS-UDF),RS-UDF支持用户已有程序封装、自定义函数封装和引用已有成熟处理技术,通过接口服务的形式实现同步调用和异步调用。此外,框架基于双层调度模式设计遥感数据调度引擎(DataboxMREngine),支持指定节点处理任务,支持任务划分和分发及故障恢复等功能。【结果】与基于内存计算的遥感数据处理工具GeoTrellis进行实验对比,结果表明,执行轻量级遥感数据处理任务时,DataboxMR效率更高,系统开销更小。【结论】DataboxMR是一个轻量高效的遥感数据分布式调度框架。