基于遗传优化的调控系统缺失数据填补算法

数据缺失问题是电网调度控制系统中重要的研究课题。为保证数据的完整性和准确性,提出一种基于遗传优化的调度控制系统缺失数据填补算法。该算法利用遗传优化方法估计不完整数据的参数,获得最优数据参数,在最优参数基础上利用马尔科夫链蒙特卡罗算法对缺失数据进行估计、填补。对电力调度控制系统中缺失数据的填补结果分析,发现所提出的缺失数据填补算法能快速准确地填补缺失数据,保证了电网调度控制数据的完整性和准确性。

高维相关性缺失数据的分块填补算法研究

研究了高维相关性缺失数据的填补方法,提出了分块填补算法。该算法核心思想是:在填补数据的过程中会考虑变量之间的相互关系,仅利用与待填补数据有相关性的数据进行填补,从而降低不相关数据对缺失数据填补的影响,提高数据填补的准确度。同时,该算法能够并行处理缺失数据,从而提高数据填补效率,对于高维缺失数据的填补有重要意义。为了对分块情况未知的缺失数据进行分块,提出了基于k-means聚类的分块算法。大量的仿真实验和基于真实数据集的实验表明,对于相关性数据,分块填补算法能够有效地利用相关信息进行填补,从而提高数据填补准确度。

基于标准欧氏距离的燃油流量缺失数据填补算法

为减小数据缺失对飞机油耗统计推断精度带来的负面影响,针对基于传统欧氏距离、马氏距离以及精简关联度的最近邻填补算法的不足,提出了一种基于标准欧氏距离的填补算法来估计QAR(Quick Access Recorder)数据中部分燃油流量数值的缺失。该算法通过QAR数据样本之间的标准欧氏距离选择最近邻样本,并利用熵值赋权法计算最近邻的加权系数,基于最近邻样本中燃油流量的加权平均即可得到缺失燃油流量的估计值。实验结果表明,标准欧氏距离能够有效度量样本相似性,所提出的算法优于常规填补算法,是处理飞机油耗数据缺失的一种有效方法。

基于数据填补的煤自燃温度预测模型

现有煤自燃温度预测模型的建立大多基于较为完整的指标气体样本数据,但指标气体数据受仪器或人为因素影响,往往存在数据缺失现象,导致煤自燃温度预测准确率较低和过拟合等问题。针对上述问题,提出了将K近邻算法(KNN)、随机森林(RF)、决策树(DT)及基于粒子群优化的支持向量回归等填补算法(PSO-SVR)应用于缺失值填补,缺失数据和填补后的数据通过RF、SVR和极限梯度提升树(XGBoost)算法分别进行训练,并通过PSO算法优化参数,构建了基于数据填补的RF、XGBoost和SVR煤自燃温度预测模型。利用煤自然发火实验选取CO,CO_(2),CH4,C_(2)H_(6),O_(2)作为指标气体,并设计整体缺失率为10%,20%,30%和CO,CO_(2)缺失率为40%,50%,60%共6种随机数据缺失,采用平均绝对误差百分比(MAPE)作为填补效果评价指标,采用MAPE、判断系数R^(2)和均方根误差(RMSE)作为模型性能评价指标,对4种填补算法和3种预测模型进行对比。对比分析结果表明:在6种数据缺失情况下,DT填补算法填补效果优于其他3种算法,在CO,CO_(2)存在较多缺失值时,RF算法的填补值与实际值的MAPE偏大;在不调参的情况下,XGBoost模型虽然在训练集效果极好,但极易过拟合,而SVR模型预测效果极差,无法满足预测要求;在6种数据缺失情况下,基于DT填补算法的PSO-SVR、RF与PSO-RF煤自燃温度预测模型的MAPE均在4%左右,基于DT填补算法的RF模型无需优化就能较好地预测出煤自燃温度,具有良好的稳定性。

基于机器视觉的文件扫描机器人缺失数据填补

由于扫描环境噪声过高,导致机器人扫描文件图像内部分信息无法识别读取,为此,提出一种基于机器视觉的文件扫描机器人缺失数据填补方法。采集机器人的历史扫描缺失数据,划分不完备数据集及容差属性数据集,利用对数非自然函数识别数据集内的缺失数据,自适应函数值越大的数据,估计缺失的概率越高。采用机器视觉技术结合扫描机器人激光映射特点,根据扫描点的时间序列关系,提取扫描区域内的中心值。根据中心值判定邻近范围内的数据是否存在噪声影响,采用收敛模型实现填补。仿真实验证明,所提方法填补效果极佳、缺失数据识别率较高。

一种优化权重的k-近邻填补缺失值的算法研究

传统k近邻填补算法中k个最近邻数据的权重分布不稳定且忽略了属性相关性,针对此问题,文章提出了一种基于k近邻填补算法的优化算法,在基于三阶明考夫斯基距离的基础上,对k个近邻数据采用了基于熵权法的权重系数,然后利用PCA算法原理考虑相关属性影响,得到属性影响因子。最终的填补值即为优化权重后的k-近邻填补算法与最后影响因子的和。构造缺失后,能有效得到填补值。实证表明,改进后的算法均方根误差为0.25,填补值最接近真实值,优于传统的k-近邻填补算法(均方根误差0.44)和普通加权的k-近邻填补算法(均方根误差为0.30)。

基于电力营销大数据技术的反窃电检查应用分析

由于目前方法存在精度低和性能差的问题,提出基于电力营销大数据技术的反窃电检查应用分析方法。该方法采用因子分析模型对电力营销大数据进行降维处理,并利用缺失数据填补算法对降维处理后的缺失电力营销数据进行填补,对线损波动率、电流差异曲线和台区线损三者之间存在的关联进行分析,以此判断是否存在窃电行为,完成反窃电检查。实验结果表明,所提方法可准确检测到窃电行为发生的时间和次数,F-Measure值高,表明所提方法的检测精度高、性能好。