基于双向循环插补网络的分布式光伏集群时序数据耦合增强方法

分布式光伏点多面广、局部渗透率高、安装环境复杂多变,真实可靠的量测数据是其性能分析、出力预测、运维调控的基础。然而,传感器故障和通信堵塞等因素会造成量测值缺失,恶化原始数据质量,进而影响配电网运行决策的准确性。传统数据修复方法只考虑单一量测值的分布特征,忽略了多维时序数据的潜在耦合关系,修复精度有限。为此,该文提出一种基于双向多阶段循环插补网络和Seq2SeqAttention的时序数据耦合增强方法,改进了循环插补网络的结构,并引入衰减机制,能利用少量未缺失数据,潜在地挖掘原始数据的整体分布规律,一次性对多个光伏场站完成高质量数据修复。实验结果表明,所提方法在高比例缺失情况下仍有良好的修复性能,可明显增强分布式光伏集群的基础数据质量,提升电网运营商对光伏集群的细粒度感知能力。

基于条件生成对抗插补网络的双重判别器缺失值插补算法

应用中的各种因素可能造成数据缺失,影响后续任务的分析。因此,数据集缺失值的插补尤为重要。相比原本没有插补的处理,错误的插补值也会对分析造成更严重的偏差。针对这种情况,提出新的采用双重判别器的基于条件生成对抗插补网络(C-GAIN)的缺失值插补算法DDC-GAIN(Dual Discriminator based on C-GAIN)。该算法通过一个辅助判别器辅助主判别器判断预测值的真假,即根据一个样本的全局信息判断这个样本生成的真假,更注重特征之间的关系,以此估算预测值。在4个数据集上与5种经典插补算法进行对比实验,结果表明:同样条件下,DDC-GAIN算法在样本量较大时的均方根误差(RMSE)最低;在Default credit card数据集上缺失率为15%时,DDC-GAIN算法的RMSE比次优算法C-GAIN降低了28.99%。这说明利用辅助判别器帮助主判别器学习特征之间的关系是有效的。

Conv-WGAIN:面向多元时序数据缺失的卷积生成对抗插补网络模型

油浸式变压器的油色谱数据是一种多元时序传感数据,设备或网络失误往往会导致数据缺失,通常需要通过插补形成完整数据集,才能用于进一步的业务分析研究。但是,现有的插补模型无法面向多元时序数据同时处理因时间不均匀性和时间双向性带来的插补效率低和效果难以保障的问题,对此提出一种名为Conv-WGAIN的生成对抗插补网络模型,通过构建的插补特征图,可利用二维卷积从前后2个方向学习时间特征,处理时间间隔不均匀的数据;在判别器中引入Wasserstein距离来判别生成插补数据与真实观测数据,提升了生成器的稳定性。在真实项目中的油色谱数据集和3个公开数据集上的实验表明,该模型在多元时序缺失数据上具有普遍适用性,而且在不同的缺失率下的插补结果要优于其他对比模型的,RMSE降低了20.75%~73.37%。

基于网络关系的分类变量预测研究

传统的预测方法通常基于个体的协变量信息进行建模和预测,少有考虑个体间的网络结构信息。事实上,网络节点间的关联信息能够为节点的响应变量预测提供信息,为此本文提出网络标签传播算法。基于半监督学习框架,以邻接矩阵为节点相似性推断依据,通过节点间的连接信息和已知节点的响应变量信息,来推断未知节点的响应变量信息。该算法适用于响应变量为分类变量的不完整网络数据。在网络服从随机分块模型的设定下,本文证明了该算法能够一致地预测未知节点的响应变量。数值模拟和实证数据分析结果显示,该算法预测效果较好。

无监督缺失值预测的运动目标检测算法

针对运动目标检测过程中由于背景复杂、目标易发生遮挡而产生的漏检问题,提出一种基于无监督缺失值预测的运动目标检测算法。将漏检的目标视为标签数据中的缺失值,根据待检测目标的类别和数量,利用无监督的生成对抗插补网络(generative adversarial imputation networks,GAIN),通过已获取的标签数据对缺失值进行预测,以牺牲较少的精确率为代价大幅提高召回率。在小样本的牛只特征部位数据集上的实验结果表明,在标签数据缺失率低于40%的情况下,缺失值预测的准确率约为95%,对于不同程度的被遮挡目标,检测的平均F1分数为0.92。该方法在小样本条件下,对运动目标具有较好的检测性能,可减小实际应用中的不确定性,以及算法对样本数据的依赖性,改善运动目标检测过程中的漏检问题。

响应变量随机缺失下偏正态众数混合专家模型的参数估计

数据缺失是众多影响数据质量的因素中最常见的一种.若缺失数据处理不当,将直接影响分析结果的可靠性,进而达不到分析的目的.本文针对随机缺失偏正态数据,研究了偏正态众数混合专家模型的参数估计.将众数回归插补与聚类相结合,提出分层众数回归插补方法.利用机器学习插补和统计学插补的方法,进一步比较研究三种机器学习插补方法:支持向量机插补、随机森林插补和神经网络插补,三种统计学插补方法:分层均值插补、众数回归插补和分层众数回归插补的缺失数据处理效果.通过Monte Carlo模拟和实例分析结果表明,分层众数回归插补的优良性.

基于LSTM⁃TCN的地下水位数据修复及应用

准确预测地下水位是合理开发利用地下水资源的重要依据。由于数据采集过程中可能受到环境干扰或者采集装备发生故障等,导致数据缺失,进而影响模型的预测准确度。为了在含较多缺失值的地下水位数据上获得更准确的预测结果,首先,提出了基于长短时记忆网络(long short term memory,LSTM)-因果卷积网络(temporal convolu⁃tional network,TCN)的地下水位修复模型,通过学习原数据集中的时序特性和分布特点以改善数据集质量。然后,将多头注意力机制(multi⁃head attention mechanism,MA)与LSTM相结合进行地下水位预测,进一步提升LSTM模型的预测性能。最后,预测结果表明,使用LSTM⁃TCN方法修复后的数据集训练MA⁃LSTM模型,显著地提高了地下水位预测精度。

基于生成对抗和图卷积网络的含缺失值交通流预测模型

为提升含缺失值城市道路网络交通流预测的准确性,对生成对抗网络的生成器和判别器进行重构,改进了损失函数,提出了交通流缺失数据补全的交通生成对抗插补网络。基于经验模态分解、图卷积网络和门控循环单元设计了EMD-GCN-GRU城市道路网络交通流预测模型。首先,对交通流数据进行经验模态分解,重构了各同级分量为后续预测模型的输入。然后,利用图卷积网络学习路网拓扑结构,捕获了交通流空间特征,再利用门控循环单元捕获交通流时间特征。最后,利用TGAIN补全含缺失值的路网交通流数据后,再利用EMD-GCN-GRU模型进行交通流预测。采用深圳市罗湖区平均车速数据集,构造了多种具有不同缺失模式和不同缺失比率的交通流数据用于模拟实际缺失情形,在ModelArts开发平台进行方法的有效性验证。结果表明:相较于常用的矩阵分解插补方法,TGAIN模型在数据集随机缺失模式下补全准确性较高,在非随机缺失率低于50%时补全性能较好;与其他预测算法相比,EMD-GCN-GRU交通流预测模型具有更高的预测精度;将数据补全方法TGAIN和交通流预测方法EMD-GCN-GRU相结合进行含缺失值城市道路网络交通流预测,显著降低了数据缺失和数据噪声对交通流预测的负面影响,捕获了路网交通流的时空相关性,进而提升了城市道路网络交通流预测的精度。