面向智能调度监测的流计算并行滑动窗口技术

针对智能调度监测中大量实时数据的快速处理问题,在实时流计算框架和并行拓扑编程基础上,研究一种配电网监测信息流计算的并行滑动窗口实时处理新方法。结合连续遥测对象的拓扑并行处理过程,利用并行滑动窗口的窗格聚集、窗格元组缓存与窗口聚集等设计技巧,实现监测信息流连续计算的快速滑动窗口拓扑实例。以一个配电网调度监控的工程系统为算例,对若干组拓扑实例进行快速滑动窗口的多节点集群测试,结果表明:集群环境下各元组可得到ms级的窗口计算平均处理延时,合理设置拓扑工作进程的并行度和螺栓组件执行线程的并发数等并行参数有利于降低滑动窗口处理延时,验证了流计算拓扑的集群和并行度对提高智能配电网大规模连续监测信息的实时响应能力和处理效率具有重要意义。

分布式配电网监测的流计算实时并行处理技术

针对配电网大量实时监测数据先存储后处理造成延迟大的问题,提出一种基于Storm分布式流计算框架的监控信息流快速处理方法。结合流计算和全分布式内存计算优势,利用拓扑组件的并行编程模型和流计算节点集群,设计监测数据流拓扑实例,实现配电网监控信息的流计算集群处理。以铁路10 k V配电网监控系统为算例,对不同喷嘴、螺栓组件构成的拓扑实例进行集群测试,验证了先计算后存储的流计算可以提高调度监控实时处理效率。结果表明:集群环境下,拓扑实例的拓扑组件输出结果正确,在数据存储之前进行内存计算可使监测数据平均处理延时控制在百毫秒级内。