基于云计算的电力能源大数据清洗模型构建

为了提高电力能源大数据的清洗效果,以及电网数据分析的智能程度,对电力能源大数据清洗模型进行构建。其中,运用云计算进行大数据存储。创新性地运用时间序列符号化方法对时间序列进行降维,以欧氏距离算法进行相似度度量,并使用相似度曲线对负荷数据进行数据清洗。结果表明:当数据块数量从10块增加到30块时,相应的数据传输数量由28个增加到136个,消耗时间从0.117 h增加到0.165 h。序列相似性排序为:序列1和序列4>序列2和序列5>序列3和序列4。清洗以后,各网供区域的数据都清晰可见,不同系列之间的数据也能清楚辨别和区分,误差也在可接受范围内。由此说明:电力大数据清洗模型效果良好,能够为电力企业内部不同部门、不同需求、不同层次的决策者提供准确数据分析。该研究在电力领域具有很强实用价值。

南山区智慧水务系统及大数据清洗模型的构建与应用

文章基于物联网、云计算、移动互联网等新一代信息技术,构建深圳南山区智慧水务系统,可实现南山区水务状态的涉水事务感知、综合展示、监测预警、数据决策支持、联动指挥和智能管控;同时,针对智慧水务系统大数据存在脏数据的问题,构建了"数据预处理、异常值检测、空缺值填补"三阶段大数据清洗模型,脏数据平均清洗率达到94%。

基于电力大数据清洗模型的异常数据识别方法

为了解决现有异常数据识别方法异常数据误识率较高、清洗时间较长的问题,提出基于电力大数据清洗模型的异常数据识别方法研究。在分布式文件系统上读取电力大数据,采用并行CURE聚类算法获取正常电力大数据,以此为基础,通过正常电力大数据边界特点分析,选择正常电力大数据边界样本,以选择的正常电力大数据边界样本为异常数据识别依据,设置异常数据识别规则,执行异常数据识别算法,利用电力大数据清洗模型清洗上述识别的异常数据,得到精确的电力大数据,实现了异常数据的识别。测试结果显示,与现有两种异常数据识别方法相比较,提出的异常数据识别方法降低了异常数据误识率,减少了异常数据清洗时间,充分说明提出的异常数据识别方法具备更好的识别性能。