配电网监测数据索引集群的分布缓存方法

针对配电网监测数据急剧增加导致配电网监控系统响应时间过长的问题,本文提出一种热点数据部分链表分布缓存方法。首先,引入缓存技术并分析原有热点数据链表缓存方法的局限性,提出一种新的缓存方法以提高缓存管理效率;然后,设计预热查询实现索引系统的热启动从而提高索引系统的缓存命中率;最后,以配电网监测数据为算例,验证所提方法的效果。测试结果表明,所提出的缓存方法及设计的预热查询能在不同查询条件下大幅减少索引集群的查询时间,有效提高配电网监测数据索引集群的查询效率。

配电网监测数据微批处理的血统链标记容错法

针对分布式配电自动化系统存在数据量井喷、海量监测数据缺乏高效的分布式故障容错机制的问题,提出一种血统链标记容错新方法。利用弹性分布式数据集、微批计算的记录级容错和血统链标记序列融合处理的设计技巧,实现了分布式数据容错中血统链的追溯和条件标记的自动选择。以铁路配电网监测采集的数据为算例,搭建了4机集群的调度监控平台进行容错测试。以发生频次最高的单数据节点故障为例,测试结果表明:对于包含3×10~6条监测数据记录的弹性分布式数据集,血统链标记容错模型的集群CPU平均占用率波动小于1.5%,磁盘占用率下降4.2%;当迭代次数达到600、800次时,迭代运算耗时分别降低24.3%和42.9%;所提方法实现500 ms流处理延时的同时,对集群资源的使用情况也具有较好的优化效果,验证了该方法对分布式集群容错的有效性。