配用电大数据多源集成及存储优化方法

面对体量大、类型多、增长快的配用电大数据,如何利用大数据技术提升配用电相关业务的广度、深度和精度成为电力行业新的机遇和挑战。为解决配用电大数据多源集成和高效存储两方面核心问题,根据配用电大数据的组成及特征,通过生成标准化元数据并构建相应数据字典的方法,实现了多源配用电数据规范化集成;在数据集成的基础上,基于Hadoop平台进行大数据存储优化方法研究,提出考虑配用电数据关联性的哈希分桶存储算法,实现了相关联数据的集中存储,从而提升后期数据查询及处理的效率并在数据存储优化的基础上,实现基于Map Reduce的多源配用电大数据并行关联查询。通过在Hadoop集群平台上进行测试表明,经过哈希分桶存储优化后的多源数据并行关联查询相比传统Hadoop方法查询时间显著缩短。

基于大数据技术风电机组容量可信度计算

在大规模风电并网的前提下,风电容量可信度计算对电力系统可靠运行具有重要意义。论文基于电量不足期望(LOEE)可靠性指标,考虑风电场间时空相关性的影响因素,采用非序贯蒙特卡洛法对风电容量可信度进行计算。风电容量可信度的计算需要的数据有风速、风电出力、风电机组地理位置信息等数据,由于计算所需的数据量大、类型多、来源广等特点,提出基于Hadoop架构的大数据技术计算风电容量可信度,针对Hadoop架构存在的机架感知不平衡及存储数据间缺乏相关性问题,引入机架感知配置法和哈希桶存储算法对其进行改进,提高了数据存储及数据处理的效率,减少计算时间,通过实例验证文中所提方法的有效性。