基于Spark Streaming的实时数据采集分析系统设计

大数据量的实时数据分析系统,需要快速的处理和响应。为了实现实时数据分析,本文设计了基于Spark Streaming的实时数据采集分析系统,并对有状态计算操作的基数计算的精确计算方法和估算方法进行了比较分析。实验表明,基于HyperLogLog++的基数估算方法在处理时间和存储占用空间上有明显优势,而计算偏差基本可以忽略不计,更适于大数据的基数估算。

计及信息不确定性的风电机组健康状态实时评估方法

运行工况识别作为风电机组状态监测与健康管理领域的重要环节,往往受到不确定信息以及高速实时数据流的影响,造成健康状态评估难以有效实施。在此背景下,文中提出一种基于Spark流式处理的健康状态实时评估方法。首先,采用大数据分析技术实现风电机组运行工况的空间划分;然后,在充分考虑风电机组监测信息不确定性的情况下,结合数据采集与监控(SCADA)历史运行数据,对基于高斯云模型和高斯云变换的健康状态评估模型进行训练,并以健康指数作为风电机组健康状态评估的指标。最后,将该评估方法应用在中国北方某风电场1.5 MW风电机组故障前的健康状态评估中。算例分析结果表明,该方法可监测到风电机组健康状态的变化趋势,初步实现了故障的早期预警。