利用支持向量机和人工神经网络填补缺失数据

本文从R内置数据集iris中按需要选取样本数据建立学习样本,模拟生物样本属性值缺失和类别缺失两种缺失数据的情况,以MATLAB为工具,利用支持向量机和人工神经网络对缺失值进行填补。对于生物样本数据中存在属性值缺失的情况,可以分别采用支持向量机和人工神经网络进行回归填补,并对BP神经网络和RBF神经网络的适用性进行了对比;对于生物样本数据中存在样本类别缺失的情况,采用支持向量机分类填补。结果显示,用神经网络预测填补缺失的属性值时,RBF网络对隐层神经元数目选取的自适应性使之比BP网络更为稳定;相比人工神经网络,支持向量机对有限的样本更为适用,并且不依赖设计者经验,泛化能力强。

新能源汽车激光雷达传感器缺失数据填补方法研究

为了增强车辆激光雷达传感器数据采集的全面性,研究新能源汽车激光雷达传感器缺失数据填补方法。利用数据融合的点云采集技术和中值滤波算法,预处理点云数据。采用改进的噪声密度聚类算法构建点云超体素块,建立图模型,并利用图割算法进行全局聚类。结合典型地物特征提取地物信息,并利用全景图像进行密集匹配填补缺失区域,以完成点云数据中空洞区域的填补。实验结果表明,该方法能够有效实现缺失数据的填补,并且填补效果良好。填补后的点云数据与缺失区域原始点云在深度方向上的分布状况几乎一致。

基于面板数据模型的拱坝缺失数据填补方法

混凝土拱坝作为重要的水工建筑物,由于监测设备故障、人为因素等影响,导致其监测数据频繁出现缺失的现象,降低了大坝安全评估与预测的有效性与准确性。传统方法多仅依赖单测点测值进行插补,忽略了测点之间的相关性与异质性。本文提出了一种基于面板数据模型的变形缺失数据插补方法。首先,改进传统变形相似性增量速度指标,解决了其分母可能等于零的问题。其次,提出了一种组合加权方法以计算变形相似性综合指标,并采用改进的基于密度聚类方法对变形监测点进行分类。随后,建立了面板模型,以填补不同区域内的缺失数据。本文提出的方法可以更准确地填补混凝土拱坝变形数据的缺失,从而能够有效地解决变形监测数据缺失的问题。

基于缺失数据填补的油浸式变压器故障诊断

数据质量是影响变压器故障诊断模型准确性及可靠性的重要因素。针对现有变压器故障诊断模型对数据完整性要求较高等问题,以油浸式变压器为研究对象,提出了一种基于缺失数据填补的变压器故障诊断方法。首先,采用极端随机树(extremely randomized trees,ERT)算法对变压器样本的缺失数据进行填补,通过与多种回归模型对比,评价ERT模型的预测效果。然后,基于油中溶解气体数据,提取能够反映变压器运行状态的16维特征集合,形成完备信息的变压器故障诊断样本。最后,利用树结构概率密度估计(tree-structured parzen estimator,TPE)算法实现梯度提升树(gradient boosting decision tree,GBDT)模型的参数优化,构建基于TPE-GBDT的变压器故障诊断模型。研究结果表明,在对缺失率为10%的变压器样本数据进行填补时,ERT算法的决定系数达到0.96,高于线性回归和随机森林回归等算法。此外,基于ERT填补后的样本数据在TPE-GBDT模型的平均诊断准确率和标准差分别为90.1%和0.036,其准确性和稳定性均优于线性判别分析和随机森林分类等算法。该方法能够有效提升变压器样本质量和故障诊断效果,可为变压器运维检修提供针对性的指导建议。

基于自注意力生成对抗网络的电力设备在线监测缺失数据填补

电力设备的在线监测系统常出现不同程度的数据缺失,而传统的缺失数据填补模型精度较低。因此提出一种基于自注意力生成对抗网络(self-attention generative adversarial networks,SA-GAN)的电力设备在线监测缺失数据填补模型。首先搭建基于自注意力机制的时间序列填补模型,并对权重融合模块进行改进,然后将时间序列填补模型作为生成器,构造对应的判别器与损失函数,提出了具有自注意力机制的生成对抗网络SA-GAN,对电力设备在线监测数据进行缺失填补。最后通过实际工程中的电力变压器、高压电缆在线监测数据对模型进行训练与测试,验证了模型的有效性。结果表明,通过局部遮掩对110 kV变压器在线监测数据进行自然缺失模拟并通过各类缺失填补模型进行补全时,SA-GAN模型的平均绝对误差(mean absolute error,MAE)最高为0.11,均方根误差(root mean square error,RMSE)最高为0.17,较其他模型分别至少降低19.10%、14.07%,验证了SA-GAN模型的有效性;对9.51%自然缺失率下的220 kV高压电缆在线监测数据进行填补时,SA-GAN模型的MAE为0.58,RMSE为0.84,较其他模型分别至少降低21.71%、14.43%,表明该模型可在电力设备状态异常且部分监测数据缺失的条件下有效恢复缺失数据。此外,经SA-GAN模型填补之后的数据有效提高了高压电缆序列的预测精度,间接验证了SA-GAN模型缺失数据填补的有效性。

高校智能电表缺失数据修复方法

高校运行数据在采集、传输、存储过程中往往会产生数据缺失。对此,提出一种基于改进长短期记忆神经网络-链式方程多重插补法的缺失数据修复方法。采用链式方程多重插补法,通过迭代对每个缺失的属性值产生多个填补值,从而产生多个完整数据集,并进行分析优化得到一个最终的完整数据集。为提高缺失值修复精度,在长短期记忆神经网络的预测任务中,采用麻雀搜索算法进行超参数寻优,并结合均值匹配模型对缺失数据进行修复。使用北方某高校2019年数据进行验证,通过无自然缺失算例和自然缺失算例对提出方法进行评估,结果表明,在无自然缺失算例中,整体归因误差为0.106,较其他模型至少降低29.3%,验证了方法的有效性;对11.8%自然缺失率下的数据进行填补,经提出的方法填补之后的数据有效提高了高校后续运行数据的预测精度,间接验证了缺失数据填补的有效性。

基于历史数据挖掘辅助场景分析的电网缺失数据填补方法

针对当前电网数据填补精度不足的实际问题,提出一种基于历史数据辅助场景分析的电网缺失数据填补方法。首先通过波动互相关分析选取具有强相关的属性数据作为缺失属性数据填补的参考依据,并通过组合权重进一步量化其关联程度;其次,在负荷场景分析的基础上引入动态时间弯曲距离来衡量数据源之间的相似度;最后,结合动态时间弯曲距离与组合权重,找出含有最相似数据的日期,使用该日同一时刻的数据来替代缺失时刻数据。算例采用实际电网数据进行仿真分析,结果表明,提出的数据填补方法具有良好的填补效果。

基于时空相关性的交通物联网缺失数据填补算法

针对交通物联网中传感数据存在缺失问题,根据交通领域传感器空间布局具有线性分布的特征,以及感知数据在时间上的广义随机平稳特性,提出基于时空相关性的LIN_BP数据填补算法。当缺失数据个数为1时,利用空间相关性创建BP神经网络模型进行数据估计。当缺失数据为多个时,首先,基于时域平稳性建立线性插值(Linear Interpolation,LIN)模型;随后将LIN模型的估计值与已知数据输入到BP神经网络模型,得到基于时空相关性的LIN_BP模型的估计数据。为了验证模型的有效性,对高速公路多个检测点的交通流量真实数据进行实验分析。实验结果表明,相比只使用单一属性的模型本算法的估计误差小、准确度更高、填补效果更好。

基于不完备集双聚类的缺失数据填补算法

缺失数据填补是数据清洗领域的一个重要问题。由于绝大部分局部填补方法基于全部属性进行分类,未考虑对象属性之间的关联性,因此基于不完备集双聚类,提出一种缺失数据填补算法。该算法利用双聚类完美簇的平均平方残基为0及簇内的属性值波动一致的特点,对缺失数据进行填补。通过数学分析,把寻找含有缺失值的最大完美簇问题转化为求解缺失对象与其他对象之间的最大相似属性集问题,在相同的最大相似属性集下,以缺失值的众数作为填补值。采用4组UCI数据集进行实验,结果表明,该算法相比ROUSTIDA算法平均提高了77.13%的填补值精确度。

基于缺失数据填补的辐射源识别方法

针对模板雷达特征参数残缺而造成的测量辐射源不能正确识别问题,提出了一种基于缺失数据填补的辐射源识别算法。该算法利用矢量神经网络对缺失数据进行填补,并对填补后的训练样本进行重新训练,从而得到网络结构参数。仿真实验表明本文方法不仅能处理缺失数据,而且在噪声环境下也能识别区间类型和标量类型的输入矢量。

对有关联数据缺失填补方法的改进

本文根据生物样本数据之间有关联性的特点,对一种最基本的缺失数据填补办法进行逐步优化。首先对数据进行预处理,摘取部分R统计软件中自带的iris鸢尾花数据,每一行代表一株花的记录,并人为随机挖空。其次,使用最基本的均值填补对缺失数据进行填补。然后,针对均值填补法的主要缺点,提出改进方法:对样本数据进行系统聚类,再对分类后的各组数据分别进行均值填补。考虑样本数据之间的关联性,对分类之后的填补方法再一次进行优化,采用回归填补法填补缺失数据。比较基本的均值填补、分类后的均值填补、分类后的回归填补,发现三者的误差率逐步递减,证明本文提出的优化方法是可行的。最后,由于仍然存在相当大的误差,考虑到分类方法是基于欧氏距离,没有考虑指标间的相关性,本文提出马氏距离作为改进。

基于机器学习的配电网异常缺失数据动态清洗方法

针对传统配电网数据清洗过程中异常数据判断阈值需要人为设定、缺失数据填补效率不佳的局限性,提出基于机器学习的配电网异常缺失数据一体化动态清洗方法。首先,基于局部异常因子检测算法和高斯混合模型,提出一种异常数据动态检测改进算法,实现配电网异常数据阈值的准确自动选择。其次,基于随机森林算法与最小二乘回归法,提出一种配电网缺失数据动态填补算法。根据缺失数据时间长度自适应优化填补算法,在保证数据填补精度的同时降低计算时间。在此基础上,通过异常数据检测和缺失数据填补共同构建一体化动态清洗架构。采用湖南某地区配电网数据进行实例验证,结果表明所提方法可实现异常辨识阈值准确自动选择,有效检测配电网异常数据,并且实现缺失数据填补精度与速度的平衡,具有较好的工程应用价值。

基于近邻噪声处理的KNN缺失数据填补算法

在优化算法的研究中,针对KNN算法对缺失数据的填补效果会因为原始数据中存在噪声而受到严重影响的问题,根据待填补缺失数据最近邻的近邻关系,提出了一种新的缺失数据填补算法——ENN-KNN(Eliminate Neighbor Noise k-Nearest Neighbor)。通过比较待填补缺失数据每个最近邻的真实近邻程度能够有效地识别潜在的噪声最近邻。最后使用所有非噪声最近邻对待填补缺失数据进行填补,从而消除了噪声最近邻对填补结果的影响。通过观察四组UCI数据集的仿真结果,可知ENN-KNN算法的填补准确性总体上要优于KNN算法。

一种基于双聚类的缺失数据填补方法

针对现实数据集的数据缺失问题,提出了一种基于双聚类的缺失数据填补新方法。该算法利用双聚类簇内平均平方残值越小簇内数据相似性越高的这一特性,将缺失数据的填补问题转换为求解特定双聚类簇最小平均平方残值的问题,进而实现了数据集中缺失元素的预测;再利用二次函数求解极小值的思想对包含有缺失数据的特定双聚类簇最小平均平方残值的问题进行求解,并进行了数学上的分析证明。最后进行仿真验证,通过观察UCI数据集的实验结果可知,提出的算法具有较高的填补准确性。

基于数据填补的煤自燃温度预测模型

现有煤自燃温度预测模型的建立大多基于较为完整的指标气体样本数据,但指标气体数据受仪器或人为因素影响,往往存在数据缺失现象,导致煤自燃温度预测准确率较低和过拟合等问题。针对上述问题,提出了将K近邻算法(KNN)、随机森林(RF)、决策树(DT)及基于粒子群优化的支持向量回归等填补算法(PSO-SVR)应用于缺失值填补,缺失数据和填补后的数据通过RF、SVR和极限梯度提升树(XGBoost)算法分别进行训练,并通过PSO算法优化参数,构建了基于数据填补的RF、XGBoost和SVR煤自燃温度预测模型。利用煤自然发火实验选取CO,CO_(2),CH4,C_(2)H_(6),O_(2)作为指标气体,并设计整体缺失率为10%,20%,30%和CO,CO_(2)缺失率为40%,50%,60%共6种随机数据缺失,采用平均绝对误差百分比(MAPE)作为填补效果评价指标,采用MAPE、判断系数R^(2)和均方根误差(RMSE)作为模型性能评价指标,对4种填补算法和3种预测模型进行对比。对比分析结果表明:在6种数据缺失情况下,DT填补算法填补效果优于其他3种算法,在CO,CO_(2)存在较多缺失值时,RF算法的填补值与实际值的MAPE偏大;在不调参的情况下,XGBoost模型虽然在训练集效果极好,但极易过拟合,而SVR模型预测效果极差,无法满足预测要求;在6种数据缺失情况下,基于DT填补算法的PSO-SVR、RF与PSO-RF煤自燃温度预测模型的MAPE均在4%左右,基于DT填补算法的RF模型无需优化就能较好地预测出煤自燃温度,具有良好的稳定性。

多元时间序列缺失数据填补方法

多元时间序列是一种普遍存在的数据类型,受多种干扰因素的作用,序列中难免存在缺失数据,影响后续的分析处理。首先,针对存在缺失数据的序列,搜索与其同类的相似序列,构建训练集;然后,利用最小二乘支持向量机,分别进行多变量填补和单变量填补;第三,根据多变量和单变量填补结果的差异度,提出了一种组合阈值填补方法。最后,对所提方法进行了实验验证,结果表明,它具有较高的填补精度且适用于缺失数据较多的场合。

基于缺失数据填补的风电齿轮箱状态监测研究

风电机组监控和数据采集系统的现场数据普遍存在缺失问题,会对下游状态监测任务产生一定负面影响。为此,提出一种结合注意力机制的掩膜自编码网络,用于填补面板数据样本中的缺失值,增加可用样本数量,提升状态监测结果的准确性与连续性。该方法以降噪自编码网络为整体框架,在编码阶段通过注意力机制对缺失值进行掩膜处理,赋予缺失值更高的权重以强化网络对其关注程度,在解码阶段将缺失值填补后输出完备数据样本。随后,利用长短时记忆网络提取的样本特征对目标变量参数进行预测,依据预测残差实现状态监测。使用某风电齿轮箱运行数据验证,结果表明:提出方法的数据填补偏差相较对比方法至少改善17.2%;与数据填补前相比,数据填补后样本数量显著增加,使状态监测网络对正常数据的预测残差平均下降37.4%,对故障数据的检测率提升6.8%。

基于Apriori和GP-XGBoost的特高拱坝变形缺失数据填补方法

变形监测数据作为特高拱坝服役性态最直观的表征,蕴藏着丰富的时空信息和演变规律,对工程长治久安意义重大。然而,多源多维的变形监测数据受仪器本身及外界因素影响,往往存在数据缺失的现象,会对接下来的数据分析工作造成干扰。针对大坝变形监测序列中的缺失数据,基于Apriori关联规则算法挖掘测点变形在空间维度上的关联性,得到目标测点的强关联测点,随后以强关联测点的变形监测数据作为输入样本,利用贝叶斯优化的XGBoost回归模型填补了目标测点的空缺变形监测序列。结合锦屏一级特高拱坝工程实例表明,该填补方法实现了变形监测空缺信息的高效、精准填补,可用于类似大坝工程的变形缺失数据填补。

基于电力营销大数据技术的反窃电检查应用分析

由于目前方法存在精度低和性能差的问题,提出基于电力营销大数据技术的反窃电检查应用分析方法。该方法采用因子分析模型对电力营销大数据进行降维处理,并利用缺失数据填补算法对降维处理后的缺失电力营销数据进行填补,对线损波动率、电流差异曲线和台区线损三者之间存在的关联进行分析,以此判断是否存在窃电行为,完成反窃电检查。实验结果表明,所提方法可准确检测到窃电行为发生的时间和次数,F-Measure值高,表明所提方法的检测精度高、性能好。

基于VAEGAN的缺失数据填补研究

数据的完整性对人工智能、数据挖掘的研究有重要意义,然而在数据从采集到应用的过程中,由于各种原因,经常会存在数据缺失的现象。为减少数据缺失对数据应用带来的影响,提出一种基于变分自编码器生成对抗网络(Variational Autoencoder Generative Adversarial Net-work,VAEGAN)的缺失数据填补模型。模型根据不完整数据集中缺失信息构建缺失掩码,利用缺失掩码在无需完整数据参与的条件下设计重构损失函数和鉴别损失函数,在不完整数据集上采用变分推断的思想生成缺失数据的估计值,利用鉴别器对抗训练生成网络。最后在不同数据集、不同缺失的条件下与常用的缺失填补算法进行对比实验。