基于aFCM-KNN的风电功率缺失值填补

风电实时运行数据在采集、传输和存储过程中的缺失值问题,给基于运行数据的风电功率预测等应用带来困难。针对以上问题,提出一种基于自适应模糊聚类的近邻填补算法aFCM-KNN。鉴于风电数据自身具有的强随机性和波动性,基于FCM算法根据风速对风电数据进行工况聚类,为解决FCM需人为设定聚类个数受主观影响较大的问题,依据风电数据分布特征设计了一个自适应确定聚类个数的策略;考虑到聚类后直接填补容易受噪声的影响,基于KNN算法根据缺失值所在样本的近邻点对每个子簇内的缺失值进行填补,进一步提高了填补精度。在实际数据上的测试分析表明,与其它六种常用填补算法相比,该方法的填补准确率更高。

基于数据挖掘的人力资源数据缺失值填补方法

现有人力资源数据缺失值填补方法均方根误差大、填补命中率低等问题。提出一种基于数据挖掘的人力资源数据缺失值填补方法。采用分裂Bregman迭代算法消除人力资源数据中存在的噪声,根据人力资源数据的时间序列特征,挖掘数据中存在的隐藏变量。根据特征对缺失值进行检测。通过FCMSI算法根据缺失值检测结果对缺失值进行填补,采用平均比率法首次填充人力资源数据,通过模糊C均值聚类算法对填充后的数据进行聚类处理,其次在协同过滤思想的基础上进一步对人力资源数据的缺失值进行填补。实验结果表明,所提方法的均方根误差小、填补命中率高。

基于随机森林模型的成分数据缺失值填补法

缺失数据处理是数据挖掘领域中进行数据预处理的一个重要环节,由于成分数据特殊的几何性质,传统的缺失值填补方法不能直接用于这种类型的数据.因此,对成分数据而言,缺失值的填补具有十分重要的意义.为了解决这个问题,本文利用了成分数据和欧氏数据之间的关系,提出了一种基于随机森林的成分数据缺失值迭代填补法,该方法的实施和评估采用模拟和真实的数据集.实验结果表明:新的填补方法可广泛应用于多种类型的数据集且具有较高准确性.

一种基于Epanechnikov二次核的成分数据缺失值填补法

核函数方法已经被成功的用于各种函数的估计.本文利用核函数的思想,针对缺失数据造成现有的成分数据统计方法失效和k近邻填补法(KNNI)在利用缺失数据的k个近邻估计缺失数据时没有考虑到它们各自不同的贡献,提出了一种基于Epanechnikov二次核的成分数据缺失值填补法(EKI)和对其进行修正后的Epanechnikov核成分数据缺失值填补法(MEKI).实验结果表明,基于修正的Epanechnikov二次核的成分数据缺失值填补法比k近邻填补法能够得到更为准确的估计.

面向多维特性数据的缺失值检测及填补方法对比

针对传统缺失值检测方法缺少对多维特性数据全面立体的分析及难以从众多缺失值填补算法中选择合适方法的问题,通过设计缺失值检测方法,在目前常见的数据点缺失度基础上,首次提出数据总体缺失度和加权数据总体缺失度的概念,实现对数据集缺失程度的全面检测,进而通过实验对比分析不同缺失值填补方法性能。实验结果表明,在不同缺失度的情况下,不同缺失值填补算法的性能不同,所提出的方法可为缺失值填补算法的选择提供有效依据。

LSTM在输变电设备缺失值填补中的应用

输变电设备是电网的重要组成部分,其状态量值表征了设备的基本运行状态。由于一些不可控因素,在采集时会有一些"空值"。这些缺失值不仅意味着信息空白,更重要的是它会影响后续数据挖掘和统计分析等工作的进行。文中提出了一种基于长短时记忆网络(LSTM)的缺失值填补方法,与经典的数据挖掘方法进行对比,实验表明所提方法的填补结果在均方根误差这一评价指标上有20%的提升。同时还综合考虑了同一设备下其他不同状态量以及气象因素的影响。最后,利用所述方法对国网某省公司电网线路的在线监测数据进行了缺失值填补和验证,结果表明该方法在常规条件下具有较好的填补效果。

基于单输出子网迭代学习的缺失值填补方法

现实世界中不完整数据广泛存在,通常会增加数据分析与挖掘的难度,影响分析结果的可靠性.合理填补不完整数据的缺失值已经成为当前数据分析和挖掘中一个非常重要的环节.采用不完整数据属性关联建模的方法填补缺失值,鉴于不完整数据属性关联关系的复杂性,使用具有强大学习能力的单输出子网模型对不完整数据的缺失值进行填补,并针对由于缺失值的存在所导致的模型输入不完整问题,从缺失值的对待与描述切入,提出一种基于单输出子网迭代学习的缺失值填补方法.实验结果表明,通过单输出子网迭代学习能够取得更精确的填补结果,验证了所提方法的有效性.

基于灰色关联分析的类中心缺失值填补方法

真实数据集中含有缺失值,许多数据分析技术不能直接应用到不完整数据上,且缺失值的存在会明显地降低算法的有效性,缺失数据处理是一个不可缺少的数据预处理过程,因此提出了一个基于统计度量的缺失值填补算法,名为灰色类中心缺失值填补(GCCMVI)方法,利用数据点的类中心和标准差来填补缺失值,此外,通过比较阈值和实例与类中心间相关性的大小关系,决定是否加上(减去)标准差,灰色关联分析用来计算相关性,在缺失值被填补后,得到的完整的数据集用来训练支持向量机(SVM)分类器.在三种类型不同的数据集上进行比较,以分类精度,填补效果,填补时间作为评估准则来衡量算法的有效性.实验结果表明,所提出的算法显著地提高了分类精度和填补效果.

基于时空融合的缺失值填补算法

为提升PM 2.5浓度预测精度,提出基于时空融合与缺失值填补的预测方法。抓住时空相关性,以历史气象和PM 2.5浓度数据作为输入,利用长短时记忆神经网络和人工神经网络从时空两个维度对未来一小时PM 2.5水平进行预测,用模型树进行融合。由于数据集中存在大量的连续缺失数据,为弥补其带来的不利影响,利用所提算法对预测模型进行辅助。实验结果表明,时空融合比单维度单模型的预测表现更佳,提出的填补算法使预测误差进一步降低。

同源测点信息融合的多尺度大坝长期变形缺失值填补

大坝变形数据缺失尤其是长期缺失值的存在将影响变形监控模型的精度和可靠性,据此提出了一种基于同源测点信息融合的多尺度大坝长期变形缺失值填补模型.首先,确定与所研究测点具有相似变形特性的测点,分别进行EMD分解;然后,针对研究测点的非高频分量,使用LSTM进行建模;针对高频分量,以同源测点高频分量为依据,构建多变量BP模型;最后,将各模型输出结果进行叠加得到最终填补结果.分析表明,提出的方法有效构建了高频分量的输入组,结合LSTM在中、低频分量分析中的优越性能,大大提高了大坝长期变形缺失值的填补精度.

基于正则化矩阵补全的用户电量缺失值填补研究

针对用户电量采集过程中数据缺失的问题,提出一种基于正则化矩阵补全的用户电量缺失值填补方法。首先,基于原始用户电量缺失值进行特性分析,构造初始化矩阵;其次,搭建一个新的近似矩阵,采用低秩矩阵分解策略将近似矩阵拆分为两个潜在矩阵;最后,引入随机梯度最速下降法对目标参数进行优化,求解近似矩阵模型,完成缺失电量数据的填补。算例采用真实电网数据进行仿真分析,结果表明,所提方法能准确补全用户电量缺失值。

电站锅炉缺失数据的遗传自适应填补方法

为提高燃烧效率及降低污染排放,基于运行数据的建模与优化是一种有效途径,但现场运行数据因传感器故障或传输失败等原因不可避免地存在缺失值,进而导致信息不完备,无法直接进行建模与优化.针对这一问题,采用一种基于时间相关性的缺失值填补算法,基于线性插值原理对平稳运行过程的缺失数据进行填补;针对非平稳运行工况,提出一种类平均值填补算法,并对其分类结果进行加权修正,进一步提高填补准确性;在此基础上,提出一种基于遗传算法的自适应加权类平均值填补方法,并在实际数据上进行测试分析,结果表明该方法具有更高的填补准确率.

缺失或不完备数据的填补方法分析

数据是以信息表的形式来表示的,在进行数据分析与挖掘过程中,经常会发现信息表中存在不完备数据现象,这就需要把这些数据填补回来,再进行深层次的数据挖掘。因此,本文通过分析缺失数据及其产生原因,针对数据预处理中填补不完备数据的方法及实例进行探讨。

混合型缺失数据填补方法比较与应用

目的针对混合型缺失数据,使用几种填补方法在缺失填补中的应用并评价填补效果。方法结合实际数据,模拟出不同缺失比例(10%、20%、30%、50%),采用MissForest、因子分析(FAMD)、K-最近邻填补法(KNN)和基于链式方程多重插补(MICE)四种方法进行填补;采用错分类比例(PFC)、正则化均方根误差(NRMSE)和回归系数估计值比较填补效果。结果 FAMD与MissForest相比,对分类变量填补表现优越。缺失比例是10%时,FAMD与MissForest表现优于KNN和MICE;缺失比例是20%时FAMD明显优于其它三种方法,但是MissForest表现亦可;缺失比例是30%时,四种模型表现明显下降,处理效果均不太理想;缺失比例是50%时,虽然FAMD仍有两个变量符合优良标准,但对某些变量估计误差较大,其它三种方法填补均失效。结论 FAMD填补方法总体表现较好,面对混合型缺失数据时可以考虑优先选用。

基于粗糙集理论的不完备数据分析方法的混合信息系统填补算法

为了提高基于粗糙集理论的不完备数据分析方法(ROUSTIDA)在实际应用中对包含离散型(如整型、字符串型、枚举型)、连续型(如浮点数表达)、缺失型属性的混合信息系统(HIS)数据的填补能力,提出了一种基于粗糙集理论的混合信息系统缺失值填补方法(RSHISMIA)。首先,根据决策属性等价类划分思想并按照决策属性对混合信息系统HIS进行划分,解决了填补后可能出现的决策规则冲突问题;其次,定义混合距离矩阵来合理量化对象间的相似性,从而筛选出具有填补能力的样本并克服ROUSTIDA无法处理连续性属性的缺点;然后,结合近邻思想解决了ROUSTIDA在无差别对象属性值发生冲突情况下无法对相同属性缺失数据进行填补的问题。最后,使用10个UCI标准数据集进行实验,将所提出的方法与ROUSTIDA、K近邻填补(KNNI)算法、随机森林填补(RFI)算法和矩阵分解(MF)等几种经典算法进行了比较。实验结果表明,与ROUSTIDA相比,所提方法在查全率上平均高出81%,在查准率上提升了5%~53%,且其归一化均方根误差(NRMSE)最多减小了0.12。此外,所提方法的分类准确率与ROUSTIDA相比平均提升了7%,且优于KNNI、RFI及MF等填补算法。

SAS中处理数据集缺失值方法的对比研究

采用SAS软件中的多重填补法(MI),期望最大化算法(EM)和Ad Hoc法分别对医疗费用集的缺失值进行处理,比较三种方法的优劣并探讨其在医疗费用缺失值处理中的适用性。运用SAS9.10,采用数据模拟技术,分别模拟真实医疗数据集的各种缺失率的随机缺失数据集,分别用MI、EM和Ad Hoc对各缺失数据集进行处理,对结果进行比较和分析。结果:数据缺失率≤10%时,Ad Hoc更优;数据缺失率在15%～30%时,经MI处理后的分析结果更接近“真实”;数据缺失率≥35%时,三种方法均无效。结论:对不同缺失率的费用科目缺失数据集,MI和Ad Hoc对缺失值的处理各有优劣,EM效果略差于MI,没有明显优势。

一种基于相关系数加权的离散型数据填补算法与分析

为解决具有关联性数据的缺失值问题,提出一种结合相关系数与相似性匹配作用于离散型数据填补缺失值的方法。首先,在非缺失数据源中挖掘频繁项集并计算数据属性间的相关性,计算出挖掘项的项内整体的相关性;然后,根据缺失数据所在项的非缺失前项与完整数据挖掘项的相似度选择填补项;填补项相似性一致则利用加权置信度进一步选取填补规则,一方面提高了Apriori挖掘规则集合的数量及质量,另一方面也保证了规则匹配的可靠性。经实验与相关方法比较,该方法提高了缺失数据填补的准确率与时间效率。

基于奇异值分解的医疗数据信息提取及分类方法

当医疗数据存在缺失和冗余信息的情况下如何提高预测准确率一直是一个极具挑战的问题。为解决这一挑战,大多数预测模型要么直接删除缺失和冗余的实例,要么使用均值或其他方式对缺失数据进行填补。基于加权KNN算法(weightedk-nearest neighbor,WKNN),提出一种改进的医疗数据分类方法,该方法首先利用KNNI(knearest neighbor imputation,KNNI)对包含缺失数据的数据集进行预填补,然后采用奇异值分解(singular value decomposition,简称SVD)对填补后完整的数据进行有效信息提取,最后使用修订权重的WKNN算法进行分类预测。实验表明,在对数据进行填补和信息提取后,显著提高了分类准确率。在5个医疗数据集上,相较于传统的KNN算法分类准确率提升10%左右。在8个医疗数据集上均使用随机森林算法、朴素贝叶斯算法和支持向量机算法进行实验对比,算法分类准确率均取得较好效果。

基于强化学习的多变量时序数据缺失值补全方法

针对基于深度神经网络填补多变量时序数据缺失值时存在误差引入的问题,将强化学习和图神经网络结合,提出了基于强化学习的多变量时序数据缺失值补全方法(reinforcement learning based missing value completion method for multivariate time series data,RL-CFMTS)。具体地,设计了一个图神经网络模块,用于预测最终的缺失值。同时,该模块还为强化学习模块提供状态向量和奖励,指导强化学习为目标时序节点挑选其认为最相似的b个节点来建立时序关系,以减少误差的引入。在3个真实世界数据集上的实验结果表明,RL-CFMTS在插补准确性方面优于近年来的多变量时序数据缺失值填补方法,在天气、股票和疫情数据集中平均绝对误差(mean absolute error,MAE)指标分别提升了12.78%、15.80%和55.73%。

基于MCMC的缺失数据填补方法在电价数据中的应用

缺失数据的填补是所有数据挖掘任务中非常关键的步骤。由于电力市场的复杂性,且电价的影响因素众多,造成电价数据在采集的过程中极容易产生有缺失值的现象,进而会影响到电价预测模型的建模效果。论文针对缺失电价数据,提出了一种马尔可夫链蒙特卡洛填补法(Markov Chain Monte Carlo,MCMC),并和常见的全条件定义法(Fully Conditional Specification,FCS)、MICE填补法在多种维度下进行了对比,实验证明MCMC填补方法在缺失电价数据填补上有一定的优势。