基于Hadoop的电力大数据采集方案优化

电力大数据平台是新一代智能电网、能源互联网应用体系的核心。本文首先介绍电力大数据平台的主要特点,提出基于Hadoop的电力大数据采集优化方案,同时提出一种动态触发式ETL调度流程与算法。根据Hadoop和Oracle的系统运行日志,分析比较了两个平台的采集效率与数据量之间的关系。分析表明,基于Hadoop的电力大数据平台,与Oracle定时启动的ETL流程调度方式相比,可有效缩短部分流程的超长等待时间;有效避免资源抢占拥堵现象,提升数据采集时效性,获得比较好的应用效果。