基于Storm云平台的电力设备并行故障诊断方法

为了实现电力行业多源数据的监测诊断,应对电力系统的实时处理需求,引入Storm分布式实时计算平台对数据进行处理。在此平台上部署基于混合聚类的流数据处理模型,实现数据流的故障诊断。通过将减法聚类算法和K-means算法结合实现流式数据的故障检测。减法聚类获取较优的聚类中心,而K-means算法根据此聚类中心计算出较好的分类结果。测试集群和单机的数据处理量的结果表明在集群环境下合理设置组件并行度可以提高流计算时效性和吞吐量。

地面自动气象站数据流式处理设计与实现

针对观测密度和频次日益增加的海量地面自动气象站数据,在气象大数据云平台(天擎)中设计了基于Storm的实时流式处理,利用大规模并行处理的优势提高地面自动气象站数据的处理时效。在流式处理中,设计处理拓扑直接解码标准格式的数据消息;消息确认采用手工确认的方式,将数据解码组件锚定数据接入组件,实现每条数据的可靠处理;数据解码时进行字节校验和时间检查等,过滤异常数据;应用批量加定时的发送策略,解决海量监控信息发送气象综合业务实时监控系统(天镜)的问题;集群部署时保留部分剩余资源,有效应对单节点异常。应用效果表明:国家气象站小时数据的服务时效由全国综合气象信息共享系统(CIMISS)的175 s提高至天擎的78 s,约6×10^(4)个区域气象站小时数据的服务时效由CIMISS的5 min提高至天警的2 min,实况分析系统将数据源切换至天擎后,相同时间检索可获取的站点数量较CIMISS增加1倍。2021年12月基于Storm的流式处理与天擎一同在国省业务化运行,实现了长期稳定运行,为MICAPS4、SWAN2.0、实况分析系统等用户提供高效稳定的地面自动气象站数据。

基于云服务的食品安全监理实时化研究

为了及时发现食品安全问题,降低食品安全问题的发生率,从食品供应链角度出发,通过对影响食品安全的各要素分析,利用蝙蝠算法优化的Elman神经网络,并结合Storm云服务平台,构建了食品安全监理实时分析预测模型,对食品安全数据实时分析。通过对该模型的建模分析,形成有效的食品安全实时监理机制,期望能进一步降低食品安全隐患。