面向海量告警数据的并行处理系统设计与实现

为提高海量告警数据的处理效率,设计并实现一种网络管理中面向海量告警数据的并行处理系统,由采集任务更新模块、采集任务调度模块、采集任务处理模块和系统管理模块构成。系统核心为采集任务调度模块,通过采用带宽资源目标和/或计算资源目标计算的双目标任务调度模式,利用采集机的带宽资源和计算资源,提高海量告警数据的采集效率。该系统可广泛适用于网络数据采集及其它领域。

面向电力工业互联网的海量告警实时无损压缩方法

随着电力工业互联网技术发展,电力监控网络规模和业务数量大幅增加,导致电力通信配套的电力专用纵向加密认证装置的告警数量激增,对电力监控系统网络安全运行监控产生严重干扰。为此,本文提出一种面向电力工业互联网的海量告警实时压缩算法。首先用启发式压缩方法对历史原始告警数据进行压缩预处理,然后用频繁项集挖掘算法为预处理数据挖掘压缩规则,依据压缩规则对实时告警进行压缩。结果表明,该算法能大幅压缩告警信息,提升电网网络安全运行监控工作效率。

分布式海量数据处理平台设计与实现

为了提高电力行业网络各类监控设备告警信息和告警事件的处理速度,本文设计了由中心控制节点、计算节点、配置服务节点等构成的海量数据处理平台。通过中心控制节点实现任务的分解与控制,计算节点实现任务计算。使用基于文件格式的方式进行数据采集,利用Map/Reduce的模型进行数据汇总。采用本平台能够实现对海量告警信息的捕获和处理,保证告警分析的效率。