异构调度环境下ETL工作流监控系统的设计与实现

本文提出一种分布式ETL在异构调度环境下的工作流统一监控方法。通过对异构调度系统元数据的提取和抽象,采用增量抽取和跟踪监控对象的方式,通过网络消息传送将监控对象加载到监控数据中心并统一管理,实现了分布式ETL工作流在异构调度环境下的的全局监控,提高了数据恢复能力和仓库的数据质量。

数值预报产品多源文件共享监控保障系统研制

从分析数值预报产品收集和共享的特点出发,利用MySQL数据库和HBase分布式数据库,设计并建立一套以MySQL存储实时数据、分布式存储管理历史数据为核心的数值预报产品多源文件共享监控保障系统,实现统一集中监视和数据共享完整性保障等功能,为省级预报预测预警等业务提供强有力的数据支撑。详细分析由数据共享源、存储管理、功能应用3部分组成的整体结构,并重点阐述MySQL数据库表结构设计、HBase历史数据存储查询主键设计、数据导入工具Sqoop任务和Oozie工作流的配置使用、系统应用功能(实时监控、配置管理及历史查询统计等)的开发设计等思路和方法。