基于低秩张量补全的非侵入式负荷监测缺失数据修复方法

非侵入式负荷监测技术(non-intrusive load monitoring,NILM)作为实现智能电网用户侧细粒度感知的重要手段,有助于实现需求响应、提高“源-网-荷”互动效率和优化用能,助力实现“30·60目标”。高质量的量测信息是数据驱动型NILM的基础,但由于数据采集装置故障、通道拥塞以及延时等都会导致数据缺失,尤其是严重的连续性缺失,由此造成非侵入式负荷监测与分解的精度下降,影响用户画像、需求响应等高级应用。因此,针对该问题,提出了一种基于CP分解的正则化低秩张量补全的量测数据缺失修复方法。算法突破传统单维数据处理局限,对NILM多维量测数据构建了三阶观测张量,从而利用数据内部时序关联性和参量维度间电气关联性进行正则化低秩张量补全。并针对每次核范数计算过程中奇异值分解计算量过大问题,采用基于CP因子矩阵分解的核范数计算降低计算量,减少计算时长,并证明了变换的等效性。最后基于NILM公开数据集iAWE进行了实验,实验结果表明所提出的方法可以提高数据修复精度,在高缺失率和连续缺失情况下仍能有较好地补全效果,并且通过非侵入式负荷分解实验证明其可有效提高分解精度,对智能电网提升细粒度感知能力具有良好的实际意义。

融合IMR-WGAN的时序数据修复方法

工业数据由于技术故障和人为因素通常导致数据异常,现有基于约束的方法因约束阈值设置的过于宽松或严格会导致修复错误,基于统计的方法因平滑修复机制导致对时间步长较远的异常值修复准确度较低.针对上述问题,提出了基于奖励机制的最小迭代修复和改进WGAN混合模型的时序数据修复方法.首先,在预处理阶段,保留异常数据,进行信息标注等处理,从而充分挖掘异常值与真实值之间的特征约束.其次,在噪声模块提出了近邻参数裁剪规则,用于修正最小迭代修复公式生成的噪声向量.将其传递至模拟分布模块的生成器中,同时设计了一个动态时间注意力网络层,用于提取时序特征权重并与门控循环单元串联组合捕捉不同步长的特征依赖,并引入递归多步预测原理共同提升模型的表达能力;在判别器中设计了Abnormal and Truth奖励机制和Weighted Mean Square Error损失函数共同反向优化生成器修复数据的细节和质量.最后,在公开数据集和真实数据集上的实验结果表明,该方法的修复准确度与模型稳定性显著优于现有方法.

基于残差网络的风电机组基础健康监测数据修复研究

为精准有效地修复连续性异常数据,提出一种基于残差块优化卷积神经网络的残差网络数据修复模型。以乳山风电场的风电机组基础健康监测数据为例对模型进行工程验证。同时选取具有修复功能的多种模型对实际异常数据进行修复验证,并对所有模型的性能以及自身的修复精度进行对比分析。结果表明:ResNet模型避免了FCN以及CNN模型存在的缺陷,提高了数据修复的精度;ResNet模型适用于缺失或异常比例低于30%的数据修复;ResNet模型修复实例的结果符合数据变化趋势,能较好吻合监测数据的原始曲线。

电力变压器油中溶解气体在线监测数据修复方法

变压器油中溶解气体分析已广泛应用于变电站中。但是一些在线监测装置常常出现数据异常或缺失,影响对变压器状态的实时准确判断,因此亟需对在线监测数据中被剔除的“脏数据”和缺失数据进行修复。在总结现场变压器油中溶解气体在线监测数据特点的基础上,综合考虑数据修复的时效性和准确度要求,提出了由滑动平均、径向基函数神经网络和多项式拟合3种缺失数据修复算法组成的修复策略;利用现场典型数据,分析了这3种方法的修复效果、最佳参数、优缺点和相互配合方式,实现了对油中溶解气体在线监测数据的快速准确修复。

基于动态生成对抗网络的路网缺失交通数据修复

针对智能交通系统数据采集过程中发生的数据缺失问题,本文提出一种基于动态生成对抗网络(dynamic generative adversarial network,D-GAN)的路网交通数据修复方法。该方法首先依据交通数据的时空特性与设定的缺失类型和缺失比例来构造各种缺失交通数据矩阵,然后基于博弈思想迭代训练由2个全连接神经网络构成的生成对抗网络。引入一种新颖的动态自适应机制,研究能在模型计算过程中自动识别生成器与判别器的最佳迭代次数,最终生成完整的交通数据矩阵并修复缺失值。采用加州PeMS和广州交通速度数据集来完成D-GAN模型的构建,并使用多种评价指标评估D-GAN的修复性能。实验结果表明:相对于非随机缺失模式,D-GAN对随机缺失模式的修复精度更高;随着缺失率增加,D-GAN的修复精度加速下降。但在各种缺失条件下,D-GAN模型的修复性能要优于现有模型(例如BGCP、prophet-RF和GAIN)。

基于机器学习的土壤水分地面观测站数据修复方法研究

土壤水分站点易受人为破坏、自然灾害和设备故障等因素的影响,出现数据不同程度的缺失,直接影响了其在农业生产、气象监测、生态环境等学科领域的深入应用。利用闪电河流域土壤温湿度无线传感器网络的土壤水分观测数据,采用机器学习方法,以MODIS地表温度、植被指数、地表反照率、热惯量以及地表高程等为参量,研究土壤水分站点缺失数据修复方法。研究结果表明:(1)随机森林表现出较高的精度(相关系数r=0.95,均方根误差RMSE=0.023 m^(3)/m^(3),无偏均方根误差ubRMSE=0.023 m^(3)/m^(3),偏差Bias=-0.001)优于广义回归神经网络;(2)在低植被覆盖区域,模型拟合效果优于高植被覆盖区域;(3)随机森林模型在站点不同缺失情况下,表现出了较高的精度(相关系数r>0.8,均方根误差RMSE≤0.038 m^(3)/m^(3),无偏均方根误差ubRMSE≤0.038 m^(3)/m^(3),偏差Bias≤0.018),且在部分时间段缺失下模型精度更高,很好地反映了土壤水分随季节变化的趋势。该研究为地面站点数据的修复以及地面站点的布设提供参考与支持。

不同输入变量对光伏功率异常数据修复的影响分析

光伏电站及分布式光伏设备输出功率数据记录因量测设备异常、通信故障、信号干扰等因素会出现异常,影响电网决策。因此,本文提出基于遗传算法优化初值的反向传播神经网络,利用GA-BP神经网络进行异常数据修复,建立线性内插法数据修复模型作为对照组,研究了以数值气象记录(辐照强度、气温、相对湿度、风速及风向)、天气类型、邻近相似电站功率等参数的不同组合作为神经网络的输入变量对修复效果的影响。实例分析表明,采用全部的输入变量可取得较好的修复效果。

基于时空特征共享的多源交通数据修复

本文提出了一种基于多维度特征共享的多层稀疏张量分解模型(MFS-MSTD)。该模型在CP(CANDECOMP/PARAFAC)分解的基础上,对时空因子矩阵施加低秩正则化;并采用共享低秩因子矩阵的机制表达多源交通数据之间的互补性,在非随机缺失或路段级缺失的场景下完成了因子矩阵的梯度更新。实例验证表明:在速度数据非随机缺失场景下,MFS-MSTD在RMSE、MAE和MAPE三个误差指标上相较于基线方法平均降低17%、21%和18%;在流量数据非随机缺失场景下,RMSE、MAE和MAPE平均降低52%、54%和33%。面对更复杂的路段级缺失场景,MFS-MSTD的修复性能优于TGMC-S和MTNTF两个基线模型,能很好地拟合出未观测路段的交通流量变化。

基于图正则化多视角函数型矩阵填充的空气质量数据修复

由于传感器故障、数据传输等原因,收集到的空气质量数据往往面临着稀疏性和不完整性的挑战.提出了一种基于图正则化的多视角函数型矩阵填充方法(GRMFMC),以有效修复和重建空气质量数据的缺失部分.该方法通过引入图正则化策略,充分考虑了各污染物内样本信息的高阶邻域关系,减少了信息损失;并且利用Hilbert-Schmidt独立性准则(HSIC)提取不同污染物之间的互补信息,进而提高插补精度;同时,结合函数型数据分析,将不同时间点的空气质量数据视为连续函数,利用其内在的平滑性和相关性实现高精度的数据插值.真实空气质量数据集上的模拟插补和实证应用结果表明,相较于其他典型插补方法,GRMFMC方法的插补误差RMSE、NRMSE分别降低了56%~99%、46%~98%以及51%~99%、40%~98%,显示出更好的插补效果,且在不同缺失率和污染物种类下皆表现稳健,具有良好的泛化能力和实际应用价值.

基于秩自适应贝叶斯张量分解模型的交通流量数据修复方法

针对传输线路故障、通信故障等原因造成智能交通系统在某时刻或时段无法识别到车辆,导致数据缺失的问题,提出一种基于秩自适应贝叶斯张量分解模型的交通流量数据修复方法.首先,考虑交通数据的时空相关性,基于张量模型构建数据结构.其次,使用贝叶斯模型在张量分解的参数和超参数上设置灵活的先验和超先验分布,构建秩自适应算法解决张量分解模型的秩选择问题.最后,采用长沙市车辆牌照识别(License Plate Recognition,LPR)系统记录的2019年7月1日至2019年7月28日793个交叉路口的交通流量数据,检验在不同的张量数据结构、丢失方式、丢失率以及张量分解秩的情况下该模型的数据修复精度.研究结果表明:秩自适应算法能够捕捉张量分解最佳秩的大小,避免预设秩过大导致的过拟合现象;与传统的CP分解(CANDECOMP/PARAFAC decomposition)和均值法相比,本文所提算法的平均绝对百分比误差在丢失率达到30%的情况下降低了20%,有效提升了交通流量数据修复的准确性.研究成果可为交通流量预测、交通出行时空特征分析中的数据修复提供参考.

智能电网中的异常数据修复模型研究

为进一步提高电力负荷异常数据修复质量,提出一种改进天牛须搜素(IBAS)算法优化径向基核函数(RBF)神经网络参数的异常数据修复方法。在BAS的基础上,引入动态惯性权重和莱维飞行轨迹优化机制,实现IBAS算法的改进;将IBAS用于RBF网络参数优化,并构建IBAS-RBF的异常数据修复模型;进行电力负荷的单点及连续点异常数据的修复,并通过评分指标对修复质量进行评价。实验结果表明,相较于改进前的BAS算法、PSO算法和FPA算法,改进后的IBAS算法的寻优速度和寻优精度显著提升;采用IBAS-RBF模型进行电力负荷数据修复后,无论在单点异常数据的修复,还是在连续点异常数据的修复,其修复效果都要更趋近于真实数据;通过IBAS-RBF对负荷序列数据的修复,其修复前后的准确性和一致性分别提升7.8%和7.6%,趋势性和有效性分别提升了6.6%和2.1%。由此说明,此IBAS-RBF模型可实现电力负荷极值异常消除和连续点异常修复,修复轨迹平滑度显著提升。

一种基于自注意生成对抗网络的交通流缺失数据修复方法研究

针对目前交通流缺失数据修复时存在效率低、性能差问题,提出一种基于自注意机制的生成对抗性网络模型。为了使模型能够充分利用交通数据流中包含的时间戳和周期性信息,采用自注意机制和位置编码提升模型学习性能。为提升模型训练性能,提出利用谱归一化和时间尺度更新规则加快学习学习效率。实验结果表明,与基于KNN、HA和GAN模型相比,所提模型综合指标性能最优,对于高缺失率场景下交通流数据具有较好的修复效果。

基于回归模型的高速公路交通流数据修复方法

针对当前高速公路交通流数据修复不精确、效率低等问题,提出一种基于多元回归的数据修复模型,该模型以线性回归、岭回归和套索回归作为基础子模型,通过训练数据筛选最优修补子模型,进而借助该子模型来修复异常值,从而实现准确高效地数据拟合修复;为了验证模型的有效性,模型以美国加州I-5高速公路的车道交通流数据进行实验分析,并引入传统均值修复法作为对比分析;实验结果表明:模型相较于均值修复法所产生时间损耗相差较小,但具有更高的修复精度,交通量数据修复准确率提升96%,速度数据修复准确率提升95%,占有率数据修复准确率提升97%。

基于Transformer的结构健康监测数据修复方法研究

针对结构健康监测系统的数据丢失问题,提出一种基于Transformer的结构健康监测数据修复方法,采用非对称“编码器—解码器”结构。在编码器中,利用掩码机制对待修复数据进行遮掩,结合多头自注意力机制对多通道的结构健康监测数据进行特征提取和特征融合。在解码器中,对编码器中的高维量特性进行重新解码,并输出修复后的数据。采用公开的Dowling Hall人行桥健康监测数据对提出的方法进行了验证,结果表明,面对不同数据失效程度,本文所提出方法均能够高精度地修复数据,具有较高的应用价值。

基于时空关联模型的智慧高速缺失交通数据修复方法研究

为解决交通数据缺失对智慧高速交通管理与控制以及交通流量预测、交通状态估计等研究工作的影响,考虑交通数据的时空关联特性,提出一种基于时空关联模型的高速公路交通数据修复方法用于缺失数据的修复。首先将具有时空关联的交通数据时间序列构成矩阵,以缺失数据以外的行列相关系数作为矩阵的数据修复特征系数;其次基于数据修复特征系数完成对缺失数据值的求解;最后,本文采用沪渝高速某路段的5个微波雷达检测器采集到的交通流量数据为实验数据,人工设置缺失数据,使用文中提出的方法进行修复,并设置基于时间特性的修复方法和基于空间特性的修复方法作为对照。实验结果显示,基于时空关联模型的高速公路交通数据修复方法,对比时间和空间单因素的修复方法,修复精度分别提升54.1%与63.3%,修复精度明显优于单因素的对比模型。

光伏发电功率异常数据修复研究

光伏发电系统功率预测能根据不同的输入变量,如天气、光照、温湿度、云量等,通过建立模型来预测光伏发电系统未来一段时间的发电功率,降低光伏发电带来的不利因素。文章通过结合各输入数据组合下的修复实例分析,利用辐照强度信息、综合气象参数、建立复合模型以及采用数据插补算法等,实现光伏功率异常数据修复的目的,降低光伏发电的不稳定性。

基于改进多分类器的用户电表采集数据修复方法

用户电表位于配电网末端,是开展新型电力系统新兴业务的关键环节。受电表故障、信道噪声等因素影响,用户电表采集数据存在缺失、错误等异常情况,进而影响配电台区“源网荷储”控制的准确性。为解决传统用户电表采集数据修复方法中存在的时序变化规律挖掘不足、异常值修复误差大的问题,提出一种基于改进多分类器的用户电表采集数据修复方法,从而改进多分类器的结构,提取异常数据中的完整区块进行多分类器模型训练,并对用户电表采集数据进行分类。在此基础上,通过变分自编码器学习分类数据的真实变化规律,采用分类集合方式生成修复数据。最后,以某小区用户电表为例进行仿真,得出在异常数据为60%情况下的修复误差为2.8%。该结果表明,所提方法与长短期记忆网络、生成对抗网络相比,具有更好的异常数据修复效果。

纠删码存储系统中数据修复性能优化研究进展与展望

纠删码被广泛应用于分布式存储系统以保存在线应用的用户数据。当部分存储节点发生故障时,纠删码存储系统需使用新的存储节点替换原有失效节点,并恢复失效的用户数据。由于需要执行数据编码、传输和读写等操作,纠删码存储系统通常需要消耗较长的时间执行数据修复操作,存储的用户数据将长期处于不可靠状态。为了保障存储数据的可靠性,研究学者提出了多种数据修复性能优化方案以减少数据修复时间。本文介绍了数据修复性能优化问题,分析了各个应用场景下主要的性能瓶颈和性能优化难点,总结了提升数据修复性能的主要技术方案和研究工作,并对数据修复性能优化研究领域的未来发展方向进行展望,为纠删码存储系统设计人员准确选择适合特定应用场景的数据修复性能优化方案提供思路。

基于GRU神经网络的结构异常监测数据修复方法

结构健康监测系统中通常存在大量的异常监测数据,为保证数据的完整性和可用性,有必要对异常监测数据进行修复。大多数基于深度学习对异常数据进行修复的研究通常使用单输入维度和单向预测的方法搭建模型。提出一种基于门控循环(gated recurrent unit,GRU)神经网络的结构异常监测数据修复方法,该方法充分利用深度学习神经网络适合处理复杂非线性映射问题的优势,并对GRU神经网络进行了优化与重构。利用结构温度、时序先后相关性优化神经网络的输入和输出构造,并提出了利用异常数据前后时间段的信息进行双向序列预测的方法提升数据预测和修复精度。最后,利用某古城墙的应变、裂缝与温度监测数据进行方法验证,采用重构后的GRU神经网络模型对异常数据序列进行修复,并与长短时记忆(long and short-term memory,LSTM)神经网络和反向传播(back propagation,BP)神经网络的修复精度进行比较。结果表明,相比单输入维度、单向预测的网络模型,重构后的GRU神经网络的预测精度大幅提高,且显著优于LSTM神经网络和BP神经网络。异常数据序列修复后,应变和裂缝宽度等结构响应与结构温度的线性相关性大幅增强。该方法对具有温度相关性的结构监测数据具有良好的修复能力。

基于支持向量聚类和模糊粗糙集的交通流数据修复方法

为解决受天气影响、探测器故障和人为错误等多种原因造成的交通流数据丢失问题,提出一种基于模糊粗糙集理论的交通流数据补缺方法,将支持向量聚类与模糊粗糙集结合进行交通流数据的分类,并结合模糊神经网络和遗传算法进行数据补齐。该方法对支持向量聚类参数,聚类大小和加权因子进行优化,并估计缺失值。研究结果表明所提出的混合方法具有足够且合理的数据修复性能,与模糊神经网络等估算模型的结果对比表明,该模型的数据修复效果优于其他对比模型。