海量调度运行数据采集与结构化存储方案

Mass Dispatching Operation Data Collection and Structured Storage Solution

由于电力调度数据网中的数据量非常庞大,因此在采集时容易发生数据丢失和数据不完整等情况,不仅如此采集到的海量数据也无法结构化存储,这就给后续的数据处理带来困难。基于以上问题,本文提出一种海量调度运行数据采集与存储方案:首先,使用旁路无损采集技术对电力调度数据网中的海量数量进行采集;其次,使用DPI技术解析数据的五元组和应用层内容,然后使用AC算法识别出报文的协议类型,根据协议类型所对应的数据结构解析具体的数据报文以此获得结构化数据;最后,将得到的结构化数据存入数据库中。