基于Spark集群的火电机组经济性挖掘

以电厂经济性为挖掘目标,把供电煤耗率作为机组的评价指标,通过最大信息系数法对影响机组煤耗率的运行参数进行特征选择。对基于Spark的并行Mini Batch K-means算法对外部约束条件进行工况划分以及数据离散化,采用并行FP-growth算法挖掘出机组全工况的强关联规则,进而得到机组重要参数的运行优化指导方案。以某电厂机组为例,结果表明,该方法能够提高数据挖掘效率并完成电厂参数最优值的确定,根据挖掘结果可以更好地对机组人员进行指导。

基于Spark框架的船舶电力数据预处理技术

为了解决因船舶电力数据数量大、类型混杂等特点造成的系统状态预测不精准的问题,引入了数据预处理技术;归纳总结了数据预处理技术的主要过程,和每一过程的目的及处理方法;针对船舶电力数据的特点和预处理现状,提出了船舶电力数据预处理方案;为进一步提升预处理效率,采用了Spark框架作为数据预处理平台,介绍了Spark框架的运行流程,并与船舶电力数据预处理方案结合,给出了基于该框架的预处理实施流程;提高了船舶电力数据质量和可用性,为后续的研究工作奠定了基础。

基于DDS的数字脉冲电火花沉积电源研究

在电火花沉积加工中,脉冲电源的放电参数对沉积效果和加工效率有重要影响。针对传统电火花沉积电源放电参数可控性差的问题,基于直接数字频率合成(DDS)技术全数字化调制、输出稳定的特性,设计了一种数字脉冲电火花沉积电源。以单片机和DDS芯片为核心来控制斩波电路输出加工脉冲,可实现放电电压、频率等参数的较精确控制以及宽范围内的无极调节。经测试,控制及驱动模块输出信号稳定、准确且频率误差在1 Hz以内,放电电压波形可控性好,满足电火花沉积加工的要求,可用于电火花沉积加工基础研究。

基于Spark框架的电力调度异常数据辨识方法

由于电网运行数据具有多源、异构、高维等特征,使得传统检测方法已无法实现异常数据高效辨识,因此文章提出一种基于Spark框架的电力调度异常数据辨识方法.首先对电力调度数据进行聚类,然后在Spark框架下通过K-means算法对异常数据进行辨识,最后通过试验验证该方法的辨识效果.

低抖动大气压空气电晕均压多间隙气体火花开关

为了发展结构简单、便于维护的大功率气体火花开关,研制了大气压空气电晕均压多间隙气体火花开关,该开关采用电晕放电均压方式,由9个相同的间隙构成。利用有限元分析方法对9间隙电晕均压气体火花开关的电场进行了分析,发现适合长度的电晕针对开关主间隙的电场影响很小,且加载触发脉冲时可在中间间隙形成了强烈的畸变电场。在理论分析的基础上,开展了开关击穿特性研究,实验结果表明电晕均压有利于提升开关的稳定性,开关自击穿电压分散性降低,自击穿电压略微增大;同时多间隙开关实现了良好的触发导通,在工作电压60~85 kV(工作欠压比56.8%~80%)范围内,开关的击穿延时抖动均小于20 ns,当工作电压达到80 kV以上时,抖动可小于10 ns。文中设计的大气压空气电晕均压多间隙气体火花开关可用于直线脉冲变压器等脉冲功率系统,使用的基于电场模拟对电极结构进行优化的方法对设计其他类型的开关具有借鉴意义。

气体火花间隙开关通道电阻及热效应特性研究

针对一种应用于高功率重复频率Marx型脉冲功率源的两电极火花间隙气体开关,开展了火花通道电阻及其热效应特性研究,分析了火花间隙通道电阻热效应的影响因素,研究了重复频率连续工作条件下开关腔体内温度及气压变化。研究结果表明,开关腔体内气压和温度随着工作时间增长呈现先快速增加然后缓慢增长趋于稳定的趋势,脉冲电流幅值的增长对热量沉积的增加效果非常明显。研制的两电极火花间隙开关,在导通峰值电流14.7 kA、脉冲宽度160 ns的条件下连续运行9000个脉冲时,开关通道产生热量约36.6 kJ,在电流导通时间内,通过焦耳热效应计算得到开关导通时间内火花通道电阻平均值约0.12Ω。

基于Spark的电力设备在线监测数据可视化方法

大数据可视化可以实现海量电力设备在线监测数据中各种属性、运行状态等电力特征信息的图形、图像化直观呈现,为设备运行状态的及时有效监控分析提供有力保障。因此,本文提出一种基于Spark的电力设备在线监测数据可视化方法,为实现大数据环境下的电力设备在线监测数据的状态信息快速提取,在Spark大数据计算平台上,建立了基于设备状态评估指标体系与模糊C均值聚类(FCM)的电力设备状态信息提取算法。针对数据的多维、时序特性,构建三维平行散点图的数据可视化展现形式,实现电力设备在线监测数据信息全貌的可视化展现。将该方法运用于吉林省某风电场的风电机组在线监测数据集,实验结果证明了该方法的有效性。

一种基于Spark和聚类分析的辨识电力系统不良数据新方法

随着电力系统智能化建设的不断深入和推进,电力系统数据呈现海量化、高维化的趋势。针对电力系统中的不良数据将导致电力系统状态估计结果的准确性降低,而传统聚类算法处理海量高维数据时单机计算资源不足,近年来较流行的Map Reduce框架不能有效处理频繁迭代计算等问题,提出一种基于Spark的并行K-means算法辨识不良数据的新方法。以某一节点电力负荷数据为研究对象,运用基于Spark的并行K-means聚类算法提取出日负荷特征曲线,分别对输电网状态估计中的不良数据进行检测和辨识。选用EUNITE提供的真实电力负荷数据进行实验,结果表明此方法能有效提高状态估计结果的准确性,与基于Map Reduce框架的方法相比,具有更好的加速比、扩展性,能更好地处理电力系统的海量数据。

计及Spark和属性权重的售电套餐推荐方法

针对电力市场用户群庞大,交易过程中售电套餐选择困难的问题,在Spark环境下设计了一种售电套餐推荐方法,同时也解决了售电套餐推荐过程中在大数据环境下的可扩展性及实时性问题。首先,计算出每个套餐属性的权重值,从而计算得到售电套餐综合相似度。然后,计及用户和套餐两方面提出一种售电套餐推荐方法,实现售电套餐的精准推荐。实验表明,提出的推荐方法能够明显提高推荐的准确度,并且在分布式环境下具有良好的推荐效率和可扩展性。

一种基于Spark的大数据匿名化系统实现

分组匿名化框架是一类经典的数据匿名化技术,它通过构造匿名记录的组,使得同一组内的不同数据无法被识别区分,从而达到隐私防护的效果。电力行业大数据分析涉及电力企业核心数据、用户隐私数据,其数据敏感度更强,传统的数据匿名化系统已经无法满足电力行业大数据业务应用和安全防护的需要。基于此,设计并实现了一种基于Spark的新型大数据匿名化系统,提供对Hadoop平台上多种数据格式的支持,并有效提高对大数据的匿名化处理效率。

基于GT-Power对HCNG发动机的数值模拟

为了对HCNG发动机进行更系统理论的研究,运用模拟软件GT-Power建立YC6J天然气掺氢发动机的仿真模型.仿真数据与原机外特性试验结果对比的误差在5%以内,证明该模型具有较高的准确性.然后通过该仿真模型,进行过量空气系数和点火提前角与燃用不同掺氢比例的HCNG关系的模拟研究.研究结果表明,HCNG掺氢比越大,所对应的最佳点火提前角越小,同时着火极限越宽;在较小的点火提前角或者较大的过量空气系数时,掺氢HCNG能有效地提高热效率,降低燃料消耗;HCNG发动机的NOx排放相比CNG虽有所增加,但可通过减少点火提前角或增大过量空气系数降低NOx排放.同时针对模拟工况,确定最佳的点火提前角和过量空气系数,为HCNG发动机的开发标定,起到理论指导作用.

泄漏电流数据的Spark-KNN并行模式识别方法

随着智能电网的快速发展,电网设备状态监测数据呈指数级增长,逐渐构成电网设备状态监测大数据。传统计算架构已无法满足计算性能需求。结合Spark大数据处理技术和阿里云E-MapReduce云计算平台,提出电网设备状态监测大数据并行模式识别方法,旨在提升电网设备在线监测系统对短时间内骤增的报警监测数据快速批量分析的能力。设计了基于Spark的并行化k最近邻分类算法(k-Nearest Neighbor,KNN)Spark-KNN,实现了海量绝缘子泄漏电流数据的并行模式识别。实验结果表明,Spark-KNN的平均性能是Hadoop MapReduce实现的2.97倍,获得了最高8.8倍的加速比,更适合执行电力设备监测大数据的实时处理任务。

基于Spark/Shark的电力用采大数据OLAP分析系统

用电信息大数据上的OLAP查询涉及数据量大,具有多表连接操作频繁、SQL结构复杂等特点,传统关系型数据库面对该类应用,表现出可扩展性弱、数据写入吞吐量低与查询效率低等问题.为此设计了一套基于Spark/Shark的电力大数据OLAP分析系统,该系统采用分布式文件系统HDFS保存电力用电信息采集系统的大数据,通过Shark进行前端SQL解析,Spark进行查询计算;然而,原生Shark只支持粗粒度分区,不支持细粒度的索引技术,难以高效地过滤无关数据,影响了查询性能.为克服这一不足,该系统设计了一种基于前缀树的细粒度索引结构TrieIndex,并通过数据重组技术优化了数据在HDFS的分布,提升了Shark的数据过滤能力以及用电信息大数据OLAP分析的性能.真实用电信息采集系统数据与查询的实验结果表明,该系统比关系型数据库的写入速度提升了12倍,比原生Shark的查询效率提升了10倍以上.

基于Spark的电力调度数据整合模型

随着大数据理念在电力行业的应用,构建电力调度数据仓库是支撑电力调度中心统一数据平台的基础,针对电力调度中心的数据仓库将多源数据整合时面临的重复冗余和不一致问题,提出一种基于Spark的电力调度数据整合模型。设计并行化正向最大匹配去冗算法,对多个系统内冗余数据进行过滤操作;给出面向关联度的数据一致性处理方法,依据特征向量的夹角余弦值判断数据间的联系,进而对不一致数据修复。通过对某电力调度中心的数据进行整合实验,验证了该数据整合模型的可行性。

基于Spark Streaming的电力流式大数据分析架构及应用

近年来,为了应对许多业务需求的实时性要求,大数据流计算得到了研究。文章通过使用Apache Hadoop、Spark Streaming、Kafka和NoSQL Cassandra等开源资源,提出了一种用于电力流式大数据分析的通用架构。通过高吞吐量发布-订阅消息传递、实时计算和分布式存储系统的结合有效地解决并发访问数据流的收集、存储、实时分析等问题,从而实现电力行业流数据的实时分析。最后构建用电数据实时异常检测系统验证了其性能。

基于Spark的火电大数据挖掘方法的研究

传统数据挖掘在处理火电大数据时,普遍存在计算瓶颈。针对此问题,提出了基于Spark的火电大数据挖掘方法。该方法根据机组实际运行特点,对火电大数据进行稳态工况判定和基于外部约束的工况划分,并在Spark计算框架下,引入了分布式的理念,使用基于Spark的K-means算法对火电大数据进行离散化,并使用基于Spark的FP-growth算法对火电大数据进行关联规则分析,挖掘出各工况的强关联规则,进而得到符合优化目标的参数所达到过的最优值。该方法应用到安徽某电厂300MW机组,对该机组某月10天的运行数据进行挖掘。仿真结果表明,该方法能够有效地对火电大数据进行数据挖掘,且在数据量大时。该方法与传统的数据挖掘相比计算效率具有明显优势。

基于Spark框架和PSO优化算法的电力通信网络安全态势预测

随着电力通信网络规模的不断扩大,电力通信网络不间断地产生海量通信数据。同时,对通信网络的攻击手段也在不断进化,给电力通信网络的安全造成极大威胁。针对以上问题,结合Spark大数据计算框架和PSO优化神经网络算法的优点,提出基于Spark内存计算框架的并行PSO优化神经网络算法对电力通信网络的安全态势进行预测。本研究首先引入Spark计算框架,Spark框架具有内存计算以及准实时处理的特点,符合电力通信大数据处理的要求。然后提出PSO优化算法对神经网络的权值进行修正,以增加神经网络的学习效率和准确性。之后结合RDD的并行特点,提出了一种并行PSO优化神经网络算法。最后通过实验比较可以看出,基于Spark框架的PSO优化神经网络算法的准确度高,且相较于传统基于Hadoop的预测方法在处理速度上有显著提高。

基于Apache Spark的地震观测数据噪声功率谱计算

为解决单机环境下海量地震观测数据计算和分析效率低下的问题,提出一种基于分布式架构的地震观测数据的存储、计算和分析处理方法,选择噪声功率谱复杂计算过程的应用场景进行实现.基于Hadoop在海量数据处理上的性能优势,在分布式文件存储系统HDFS上进行地震观测数据的存储和调度,研究测震数据噪声功率谱的质量评估方法在Spark分布式计算架构上的实现,采用弹性数据集Spark RDD将计算任务自动分配到计算节点,解析存储在HDFS中的测震波形数据,计算结果采用RowKey方式放入分布式数据库HBase中,实现了长周期地震噪声功率谱结果的存储和提取.计算结果表明,基于Spark分布式架构的该方法可以支撑TB级海量数据的处理,并且具有较高的处理效率,可应用于海量地震观测数据的分析计算.

基于动电极气体火花间隙开关的窄脉冲发生器

配网系统在获取电缆线路故障信息时,常常采用向线路端点注入脉冲信号的行波法。然而,目前用于电缆故障定位的低压脉冲会因线路上的衰减而影响诊断精度,而高压脉冲则容易对线路绝缘造成二次伤害。为此提出一种基于动电极气体火花间隙开关的窄脉冲发生器,可以在不影响线路绝缘水平的情况下产生高电压、快前沿的电磁脉冲信号。实验测试结果显示,所设计的基于传递电容脉冲压缩的窄脉冲发生器脉冲上升沿约为4 ns,脉宽约为60 ns,可有效满足配网电缆的故障检测需求。

基于Spark的配电网数据挖掘及处理研究

以配电网非标数据为切入点展开研究,提出了基于Spark技术的配电网数据挖掘和处理技术。将非标准数据按照国际标准的规定进行统一格式转换,解决了非标数据不能直接应用于系统的问题,避免缺陷数据对电网运行产生负面影响;同时采用粒子群优化算法对配电网拓扑数据中的负荷聚类中心进行优化,规避离群样本对后续电力负荷预测模型造成的消极影响。