矿井通风参数缺失数据插补方法

矿井智能通风系统对矿山智能化建设至关重要。为解决矿井通风参数在实际测量时,因为巷道不具备测试条件、仪器信号受到干扰、巷道断面风速不均一、人工操作不当等制约性因素,造成的矿井通风参数数据缺失问题,提出了1种基于随机森林−链式方程多重插补法的矿井通风参数缺失数据插补方法。采用链式方程多重插补法,通过迭代对每个缺失的属性值产生n个插补值,从而产生n个完整数据集,对n个完整数据集进行分析优化得到1个最终的完整数据集。为了提高缺失值插补精度,合理考虑了矿井通风参数缺失数据的不确定性对分析过程的影响,在随机森林的预测任务中,结合预测均值匹配模型对缺失数据进行插补。以潞新二矿为实验对象,利用智能矿井通风仿真系统IMVS对潞新二矿矿井通风参数原始数据集进行数据预处理,得到完整、准确的矿井通风参数完整数据集,对完整数据集分别进行了不同缺失属性、不同数据缺失率、不同迭代次数的对比试验。以多种模型评价指标对模型有效性进行评估。结果表明:基于随机森林的链式方程多重插补模型插补形成的完整数据集与原始数据集具有很好的相似性;对不同缺失列进行插补实验的结果显示插补模型可以轻松处理混合类型的数据,自主学习参数之间的相关性从而降低了插补复杂性;迭代后形成的n个数据集通过分析合并成一个最终数据集,提高了插补准确率;对初始插补后的完整数据集进行不同迭代次数的试验,发现迭代超过一定次数后,数据相关性一定会收敛。

新能源汽车激光雷达传感器缺失数据填补方法研究

为了增强车辆激光雷达传感器数据采集的全面性,研究新能源汽车激光雷达传感器缺失数据填补方法。利用数据融合的点云采集技术和中值滤波算法,预处理点云数据。采用改进的噪声密度聚类算法构建点云超体素块,建立图模型,并利用图割算法进行全局聚类。结合典型地物特征提取地物信息,并利用全景图像进行密集匹配填补缺失区域,以完成点云数据中空洞区域的填补。实验结果表明,该方法能够有效实现缺失数据的填补,并且填补效果良好。填补后的点云数据与缺失区域原始点云在深度方向上的分布状况几乎一致。

基于面板数据模型的拱坝缺失数据填补方法

混凝土拱坝作为重要的水工建筑物,由于监测设备故障、人为因素等影响,导致其监测数据频繁出现缺失的现象,降低了大坝安全评估与预测的有效性与准确性。传统方法多仅依赖单测点测值进行插补,忽略了测点之间的相关性与异质性。本文提出了一种基于面板数据模型的变形缺失数据插补方法。首先,改进传统变形相似性增量速度指标,解决了其分母可能等于零的问题。其次,提出了一种组合加权方法以计算变形相似性综合指标,并采用改进的基于密度聚类方法对变形监测点进行分类。随后,建立了面板模型,以填补不同区域内的缺失数据。本文提出的方法可以更准确地填补混凝土拱坝变形数据的缺失,从而能够有效地解决变形监测数据缺失的问题。

基于缺失数据的交通速度预测算法

交通速度预测是智能交通系统的基础,可以缓解交通拥堵,节约公共资源,提高人们的生活质量。在真实情况下,采集到的交通速度数据通常存在缺失,而现有研究成果大多数只考虑了数据相对完整的场景。文章主要针对缺失场景下的交通速度数据进行研究,捕捉其中的时空相关性,并对未来交通速度进行预测。为了充分利用到交通数据的时空特征,提出了一种新的基于深度学习的交通速度预测模型。首先,提出了“还原-预测”算法,先使用自监督学习方法让模型还原缺失数据,再对交通速度进行预测;其次,引入了对比学习的方法,使得速度时间序列的特征表示更鲁棒;最后,模拟了不同数据缺失率的场景,通过实验验证了所提方法在各种缺失率下的预测准确率都优于现有方法,并设计了实验对对比学习方法和不同的还原算法进行分析,证明了所提方法的有效性。

基于相关性分析和生成对抗网络的电网缺失数据填补方法

城市电网新型电力系统中多元资源增多,数据采集难度加大,导致数据随机缺失率升高,难以满足精细化分析决策需求。为解决新型电力系统中配网量测数据在采集与传输过程中频发的缺失问题,文中提出一种基于波动互相关分析(fluctuation cross-correlation analysis,FCCA)算法和生成对抗网络(generative adversarial network,GAN)的电网缺失数据填补方法。首先,融合FCCA算法提出强相关性电网数据多维特征提取方法;其次,基于核主成分分析(kernel principal component analysis,KPCA)对多维特征数据集进行降维处理;最后,设计改进型GAN结构,融合电网数据多维特征对低维向量进行重构,实现缺失数据填补。算例采用真实电网数据进行算法验证,并在某城市电网试运行。结果表明,所提方法比传统数据填补方法具有更高填补精度。因此,在新型电力系统中量测数据连续缺失和缺失量较大的情况下,融合强相关性特征进行数据填补,对提升量测数据的完整性和可用性有明显优势。

基于空间面板数据模型的拱坝变形缺失数据处理

变形监测信息缺失会对拱坝安全性态的分析造成困难甚至引起误判,需要采用科学合理的方法对缺失数据进行处理,从而获取完整可靠的监测数据。传统的缺失值处理方法仅考虑了拱坝测点的局部空间关联性,而拱坝变形整体性较强,在进行缺失值插补时有必要考虑拱坝所有测点间的时空关联性。鉴于此,从拱坝的整体性和测点的空间相关性出发,首先引入空间权重矩阵,证明拱坝变形具有显著的空间正自相关性;在此基础上,基于空间面板数据模型提出一种考虑拱坝整体时空关联性的变形缺失数据处理方法;最后结合某拱坝工程实例,验证了所构建模型的有效性。工程实例表明:该方法插补残差值低于SL 601—2013《混凝土坝安全监测技术规范》所规定的误差限值,具有较高的插补精度,可对变形监测缺失数据进行有效处理。

基于因果反馈的缺失数据集因果关系发现

因果关系发现是因果推断的重要部分,其目标是揭示数据内在的生成机制,并以有向无环图的形式表示.然而关于因果关系发现,现有方法很少考虑到观察数据存在缺失值的情况.在实际场景中,大量数据集存在缺失值,因此估计缺失数据集中的因果关系成为一个亟需解决的问题.本文提出了一种新的基于因果反馈的算法实现关于缺失数据集的因果关系发现,其中生成对抗网络被用于估计缺失数据集的分布,并利用基于Actor-Critic的因果关系发现模块搜索最优因果图,设计了一个基于扩展贝叶斯信息准则的自定义奖励函数,引入分类误差引导模型加速探索过程,提升模型稳定性.在模拟数据和真实数据上进行的大量实验结果表明,本文提出的方法在不同数据缺失率下优于现有方法 .

高校智能电表缺失数据修复方法

高校运行数据在采集、传输、存储过程中往往会产生数据缺失。对此,提出一种基于改进长短期记忆神经网络-链式方程多重插补法的缺失数据修复方法。采用链式方程多重插补法,通过迭代对每个缺失的属性值产生多个填补值,从而产生多个完整数据集,并进行分析优化得到一个最终的完整数据集。为提高缺失值修复精度,在长短期记忆神经网络的预测任务中,采用麻雀搜索算法进行超参数寻优,并结合均值匹配模型对缺失数据进行修复。使用北方某高校2019年数据进行验证,通过无自然缺失算例和自然缺失算例对提出方法进行评估,结果表明,在无自然缺失算例中,整体归因误差为0.106,较其他模型至少降低29.3%,验证了方法的有效性;对11.8%自然缺失率下的数据进行填补,经提出的方法填补之后的数据有效提高了高校后续运行数据的预测精度,间接验证了缺失数据填补的有效性。

基于缺失数据填补的油浸式变压器故障诊断

数据质量是影响变压器故障诊断模型准确性及可靠性的重要因素。针对现有变压器故障诊断模型对数据完整性要求较高等问题,以油浸式变压器为研究对象,提出了一种基于缺失数据填补的变压器故障诊断方法。首先,采用极端随机树(extremely randomized trees,ERT)算法对变压器样本的缺失数据进行填补,通过与多种回归模型对比,评价ERT模型的预测效果。然后,基于油中溶解气体数据,提取能够反映变压器运行状态的16维特征集合,形成完备信息的变压器故障诊断样本。最后,利用树结构概率密度估计(tree-structured parzen estimator,TPE)算法实现梯度提升树(gradient boosting decision tree,GBDT)模型的参数优化,构建基于TPE-GBDT的变压器故障诊断模型。研究结果表明,在对缺失率为10%的变压器样本数据进行填补时,ERT算法的决定系数达到0.96,高于线性回归和随机森林回归等算法。此外,基于ERT填补后的样本数据在TPE-GBDT模型的平均诊断准确率和标准差分别为90.1%和0.036,其准确性和稳定性均优于线性判别分析和随机森林分类等算法。该方法能够有效提升变压器样本质量和故障诊断效果,可为变压器运维检修提供针对性的指导建议。

一种顾及空间异质性和噪声的遥感缺失数据重建方法

针对光学遥感数据常存在大量缺失数据和噪声,以及现有光学遥感缺失数据重建算法大都未充分顾及地理数据空间相关密切程度的问题,本文充分利用地理空间数据间的时空关联性,提出了一种协同随机森林(RF)和地理加权回归(GWR)的重建方法(RF+GWR),分别以GF-4归一化植被指数(NDVI)、MODIS地表温度(LST)和GF-4反射率数据为试验材料,对RF+GWR方法的普适性和缺失重建性能进行了评估。试验结果表明,在所设不同云量掩膜水平下,相比于KNN和RF,RF+GWR方法在GF-4 NDVI、MODIS LST和GF-4波段反射率缺失数据方面的重建性能均有不同程度的改善,均方根误差、平均绝对误差和决定系数最大提升分别为33.07%、30.19%和7.06%。

非参数回归模型在缺失数据情形下的统计推断

缺失数据情形的统计推断是统计学领域的热门研究对象。为了尽可能提高缺失数据填补的覆盖精准率,本研究将回归填补法与逆概率权填补法相结合,对随机设计和响应变量缺失数据情形非参数回归模型的统计推断进行研究,利用逆概率权填补法构造经验似然置信区间,以提高覆盖精度。通过分析得到结论:在缺失数据情形下,使用非参数回归填补法可以得到较大的置信区间平均长度值,利用逆概率权填补法构造的经验似然置信区间具有更高的覆盖精度。

基于四维张量特征分解的风电机组轴承故障缺失数据恢复方法研究

针对风电机组轴承故障信息采集过程中数据缺失导致故障类型无法识别问题,提出了一种基于四维张量模型特征分解恢复缺失数据的方法。首先,基于转速、时窗、经验模态分解和时间4个维度构建四维张量;其次,通过加权优化算法实现张量填充,修补故障数据的缺失值;然后,对张量进行Tucker分解得到核心张量及因子矩阵;最后,基于梯度优化算法进行迭代优化得到最终核心张量及因子矩阵,并利用二者对四维张量进行重构得到恢复数据。采用实验数据和实际数据来验证提出方法的有效性和可靠性。结果表明:两组恢复数据的RMSE值分别为0.3169和0.0291,远小于4种对比方法的RMSE值。利用双稳态随机共振对2组恢复数据进行故障特征提取,信噪比显著提高,分别为-13.2647和-15.5212,进一步验证提出方法的准确性。

基于改进LSGAN模型的配电网测量缺失数据重构研究

针对当前电力测量领域在缺失数据重构方面存在的效率低下和性能不佳的问题,本文提出了一种基于改进的最小二乘生成对抗网络(LSGAN)的缺失数据重构模型。该模型是在深入分析现有生成对抗网络缺点的基础上设计的,旨在通过改进算法使网络更加充分地学习数据之间的内在联系。为了提高训练的稳定性、加速计算的收敛速度以及提升生成数据的质量,本文将传统生成对抗网络(GAN)模型中的目标函数从交叉熵损失函数替换为最小二乘损失函数,并采用了一种新的距离度量方式。在实验阶段,与GAN,CGAN和原始LSGAN模型相比,所提出的改进LSGAN模型在综合指标性能上表现最优。试验结果验证了该模型的实用性和出色性能,该模型可为电力测量缺失数据重构的研究和应用提供一定借鉴作用。

基于双通道生成对抗网络的城市用电负荷缺失数据补全方法

用电负荷数据的完整性与有效性在负荷预测等应用中具有重要意义。传统的缺失数据补全方法缺乏对用电负荷和多种外部时空关联信息的挖掘,难以获得高精度的补全结果。文中提出了一种双通道生成对抗网络,对缺失的负荷数据进行补全。首先,根据负荷的周期性变化特征和时空关联性构建三阶负荷张量,并将影响负荷变化的多种外部因素构建为三阶辅助信息张量。然后,为满足两种张量的双输入需求,在生成对抗网络的输入层引入双通道机制,通过卷积与反卷积运算提取张量的特征;为提升网络对张量数据的训练效果和补全精度,将张量分解损失引入原始损失函数,并采用改进的混沌映射粒子群优化算法联合优化超参数和网络。最后,在真实负荷数据集上开展数据补全实验。结果表明,所提方法能够对随机缺失率不超过50%、连续缺失不超过3天的负荷数据进行准确补全。

基于GAN的软测量缺失数据生成方法研究

针对工业过程中传感器数据缺失造成软测量模型精度低的问题,提出一种基于生成对抗网络(generative adversarial nets,GAN)的传感器缺失数据生成方法。利用孤立森林算法检测出传感器数据的缺失区域;利用缺失数据属性特征训练条件生成对抗网络(conditional generative adversarial nets,CGAN),在CGAN的输入条件中添加随机序列作为附加信息迭代送入CGAN中生成数据,并借助WGAN-GP(wasserstein generative adversarial nets gradient penalty)成本函数提高网络训练的稳定性;针对缺失区域检测结果引入采样器,将采样的数据填补进缺失区域,形成完整数据集,以提高软测量模型精度。以镍闪速炉温度传感器数据为目标变量进行软测量建模,验证所提出的提高软测量模型精度方法的可行性与有效性。

追踪研究中缺失数据处理方法及应用现状分析

追踪研究中普遍存在缺失数据,缺失数据处理方法的选择影响统计推断的精度及研究结果的有效性。首先,阐述缺失机制及判断方法,比较追踪研究中主要的缺失数据处理方法的特点、及实际应用中的缺失处理方法的选择和软件实现。其次,对国内心理学中92篇追踪研究文献进行分析,发现有59篇(64.13%)报告不同程度缺失,其中仅39篇报告了处理方法且均为删除法。未来研究应深入探讨现有缺失数据处理方法的有效性,进一步规范应用研究中缺失数据的处理。

基于机器视觉的文件扫描机器人缺失数据填补

由于扫描环境噪声过高,导致机器人扫描文件图像内部分信息无法识别读取,为此,提出一种基于机器视觉的文件扫描机器人缺失数据填补方法。采集机器人的历史扫描缺失数据,划分不完备数据集及容差属性数据集,利用对数非自然函数识别数据集内的缺失数据,自适应函数值越大的数据,估计缺失的概率越高。采用机器视觉技术结合扫描机器人激光映射特点,根据扫描点的时间序列关系,提取扫描区域内的中心值。根据中心值判定邻近范围内的数据是否存在噪声影响,采用收敛模型实现填补。仿真实验证明,所提方法填补效果极佳、缺失数据识别率较高。

缺失数据比率和处理方法对非随机缺失数据能力参数估计准确性的影响

探讨了IRT背景下非随机缺失数据的合适处理方法.采用IRTLAB模拟产生50批500个被试在20个0-1记分项目上的反应数据,产生了不同比率的MNAR;再用IN、NP、FR、CM、MI和EM共6种方法分别处理MNAR,使用BILOG-MG软件估计被试的能力参数,并计算在不同条件下各种方法的BIAS、BIAS_(abs)、R(θ,■)和RMSE.研究发现:随着缺失比率的增加,参数误差越来越大;FR会导致IRT参数估计产生较大的误差,且不稳定,而MI与EM算法则相对稳定;综合BIAS和RMAE等几个指标,NP在处理MNAR时产生的误差较小也更稳定.因此,在IRT背景下估计被试能力参数时,应选择NP、MI或EM方法处理缺失数据.

面向电力现货市场的缺失数据重建方法综述

在电力现货市场实际运行中,其数据采集过程可能会因设备故障、通信问题等因素导致数据缺失,影响市场结算的准确性。分析了电力现货市场的数据特征,讨论了数据缺失机制,介绍了多种缺失数据重建方法及各自的优越性和局限性,并对电力缺失数据重建方法进行了展望,强调在未来研究中需要关注方法的适用性、准确性、可解释性以及计算效率。

基于条件生成对抗网络的信道环境缺失数据重建方法

缺失数据重建是信道环境数据预处理中的重要环节,其重建效果直接关系到信道环境监测及维护质量,但现行方法重建效果并不理想,在实际应用中数据重建误差为零占比比较小,而且数据重建速率比较低,为此提出基于条件生成对抗网络的信道环境缺失数据重建方法。采用描述统计法识别信道环境数据集中缺失数据,建立条件生成对抗网络,利用对抗网络对信道环境数据训练,提取到缺失数据特征,选择与实际情况最贴近的生成数据对缺失数据重建,实现基于条件生成对抗网络的信道环境缺失数据重建。实验证明,设计方法数据重建误差为零占比得到了有效的提升,并且重建速率也得到了有效的提升,在信道环境缺失数据重建方面具有良好的应用前景。