新能源汽车激光雷达传感器缺失数据填补方法研究

为了增强车辆激光雷达传感器数据采集的全面性,研究新能源汽车激光雷达传感器缺失数据填补方法。利用数据融合的点云采集技术和中值滤波算法,预处理点云数据。采用改进的噪声密度聚类算法构建点云超体素块,建立图模型,并利用图割算法进行全局聚类。结合典型地物特征提取地物信息,并利用全景图像进行密集匹配填补缺失区域,以完成点云数据中空洞区域的填补。实验结果表明,该方法能够有效实现缺失数据的填补,并且填补效果良好。填补后的点云数据与缺失区域原始点云在深度方向上的分布状况几乎一致。

基于相关性分析和生成对抗网络的电网缺失数据填补方法

城市电网新型电力系统中多元资源增多,数据采集难度加大,导致数据随机缺失率升高,难以满足精细化分析决策需求。为解决新型电力系统中配网量测数据在采集与传输过程中频发的缺失问题,文中提出一种基于波动互相关分析(fluctuation cross-correlation analysis,FCCA)算法和生成对抗网络(generative adversarial network,GAN)的电网缺失数据填补方法。首先,融合FCCA算法提出强相关性电网数据多维特征提取方法;其次,基于核主成分分析(kernel principal component analysis,KPCA)对多维特征数据集进行降维处理;最后,设计改进型GAN结构,融合电网数据多维特征对低维向量进行重构,实现缺失数据填补。算例采用真实电网数据进行算法验证,并在某城市电网试运行。结果表明,所提方法比传统数据填补方法具有更高填补精度。因此,在新型电力系统中量测数据连续缺失和缺失量较大的情况下,融合强相关性特征进行数据填补,对提升量测数据的完整性和可用性有明显优势。

高校智能电表缺失数据修复方法

高校运行数据在采集、传输、存储过程中往往会产生数据缺失。对此,提出一种基于改进长短期记忆神经网络-链式方程多重插补法的缺失数据修复方法。采用链式方程多重插补法,通过迭代对每个缺失的属性值产生多个填补值,从而产生多个完整数据集,并进行分析优化得到一个最终的完整数据集。为提高缺失值修复精度,在长短期记忆神经网络的预测任务中,采用麻雀搜索算法进行超参数寻优,并结合均值匹配模型对缺失数据进行修复。使用北方某高校2019年数据进行验证,通过无自然缺失算例和自然缺失算例对提出方法进行评估,结果表明,在无自然缺失算例中,整体归因误差为0.106,较其他模型至少降低29.3%,验证了方法的有效性;对11.8%自然缺失率下的数据进行填补,经提出的方法填补之后的数据有效提高了高校后续运行数据的预测精度,间接验证了缺失数据填补的有效性。

基于AP聚类的时序数据缺失值有序填充算法

为提高数据的完整性,便于从数据中获得更多有价值的信息,提出基于AP聚类的时序数据缺失值有序填充算法。为提高数据质量,将数据分为不同子集,根据标准差思想对数据作归一化处理,将数值控制在固定区间,减少数据的不平衡性;分别构建吸引度与归属度更新矩阵,确保消息正常传递,达到近邻传播目的;设计不完整信息系统,将不同数据间的相似度作为聚类依据;获取聚类邻域的半径参数,通过数据点密度指标确定聚类中心,将相邻数据聚集在一起;利用熵值概念,根据数据相似度计算加权系数,确定缺失数据属性值,实现缺失值有序填充。实验结果表明,所提方法能够将具有相同属性特征的数据聚集在一起,即使数据缺失率较高,也能达到很高的填充准确率。

基于VAR-LRTC-TNN的交通流量数据补全框架模型

从各类传感系统收集到的交通流数据往往会因探测器或通信故障等缘故出现数据连续性的缺失,故准确补全缺失的交通流数据对制定合理的交通管理策略至关重要。鉴于交通流数据具有低秩的特性,通过低秩张量补全模型可较好地刻画出交通流数据的全局一致性,但却无法很好地捕捉数据的局部变化趋势,一定程度上影响了效果。基于此,提出了将VAR模型和基于残差序列的LRTC-TNN模型相结合的交通流补全框架模型;采用VAR模型对缺失数据进行粗略估计,移除平均趋势,利用LRTC-TNN模型对残差时间序列进行补全,再将平均趋势还原,从而完成对交通流量数据的高精度补全;该方法不仅保留了交通流数据的全局结构,还考虑了数据局部变化的特征。研究结果表明:与基于原始交通流量数据的填充方法相比,该模型框架对单传感器和多传感器数据的连续性缺失均具有更高的补全精度。

基于机器视觉的文件扫描机器人缺失数据填补

由于扫描环境噪声过高,导致机器人扫描文件图像内部分信息无法识别读取,为此,提出一种基于机器视觉的文件扫描机器人缺失数据填补方法。采集机器人的历史扫描缺失数据,划分不完备数据集及容差属性数据集,利用对数非自然函数识别数据集内的缺失数据,自适应函数值越大的数据,估计缺失的概率越高。采用机器视觉技术结合扫描机器人激光映射特点,根据扫描点的时间序列关系,提取扫描区域内的中心值。根据中心值判定邻近范围内的数据是否存在噪声影响,采用收敛模型实现填补。仿真实验证明,所提方法填补效果极佳、缺失数据识别率较高。

基于数据挖掘的人力资源数据缺失值填补方法

现有人力资源数据缺失值填补方法均方根误差大、填补命中率低等问题。提出一种基于数据挖掘的人力资源数据缺失值填补方法。采用分裂Bregman迭代算法消除人力资源数据中存在的噪声,根据人力资源数据的时间序列特征,挖掘数据中存在的隐藏变量。根据特征对缺失值进行检测。通过FCMSI算法根据缺失值检测结果对缺失值进行填补,采用平均比率法首次填充人力资源数据,通过模糊C均值聚类算法对填充后的数据进行聚类处理,其次在协同过滤思想的基础上进一步对人力资源数据的缺失值进行填补。实验结果表明,所提方法的均方根误差小、填补命中率高。

基于电力营销大数据技术的反窃电检查应用分析

由于目前方法存在精度低和性能差的问题,提出基于电力营销大数据技术的反窃电检查应用分析方法。该方法采用因子分析模型对电力营销大数据进行降维处理,并利用缺失数据填补算法对降维处理后的缺失电力营销数据进行填补,对线损波动率、电流差异曲线和台区线损三者之间存在的关联进行分析,以此判断是否存在窃电行为,完成反窃电检查。实验结果表明,所提方法可准确检测到窃电行为发生的时间和次数,F-Measure值高,表明所提方法的检测精度高、性能好。

A Missing Power Data Filling Method Based on Improved Random Forest Algorithm

Missing data filling is a key step in power big data preprocessing,which helps to improve the quality and the utilization of electric power data.Due to the limitations of the traditional methods of filling missing data,an improved random forest filling algorithm is proposed.As a result of the horizontal and vertical directions of the electric power data are based on the characteristics of time series.Therefore,the method of improved random forest filling missing data combines the methods of linear interpolation,matrix combination and matrix transposition to solve the problem of filling large amount of electric power missing data.The filling results show that the improved random forest filling algorithm is applicable to filling electric power data in various missing forms.What’s more,the accuracy of the filling results is high and the stability of the model is strong,which is beneficial in improving the quality of electric power data.

一种配网线损在线监测数据缺失自适应填补方法设计

配网线损在线监测数据缺失点位置难捕捉,导致数据填补误差增加,为了有效解决这一问题,该文提出基于加权类平均的配网线损在线监测数据缺失自适应填补方法。计算配网线损在线监测区域中特征最为明显的线损点,提取线损点参数建立聚类中心。根据聚类中心的聚类簇建立损失函数,确定配网线损数据缺失数据区域。查找损失量最大且与该样本相似性最高的数据点,确定配网线损在线监测数据缺失点位置。采用加权类平均填补法赋予每组缺失数据不同的权重,通过权重匹配实现数据缺失自适应填补。实验数据表明,该方法的数据缺失自适应填补效果好,填补误差较低,填补结果具有可靠性。

不同缺失率下的数据填补算法稳定性研究

为了研究数据缺失填补算法的准确性和稳定性,文章基于完全随机缺失对完整数据集按不同缺失率进行挖空处理,然后使用6种算法对缺失数据进行填补,并重复执行多次,对比分析其准确性和稳定性,给出相应的置信区间。结果表明,混合迭代填补法准确性优于K近邻、缺失森林、加权K近邻等算法,其稳定性仅次于缺失森林;随着缺失率的增大,该算法准确性高的优势更加显著;当缺失率小于5%时,该算法的准确性和稳定性达到最佳。

融合多测点数据相关性的大坝监测历史数据填补

基于历史数据的大坝安全监测预警、预报算法对数据集的质量要求较高,含有缺失值的数据集会明显降低算法结果的准确性。为提升数据质量,提出了一种融合多测点数据相关性的缺失值填补算法:基于各测点时间尺度的相关性,将满足一定相关度的时间序列作为预测模型的输入项,并引入迭代技术实现多测点的缺失值自动填补。为验证该算法对实际工程中不同类型缺失数据集的适用性,依据实测数据样本在缺失率、集中度、离散程度3个层次上共构造了12种不同类型的缺失数据集并进行试验。结果表明:针对不同类型的缺失数据集,该算法的RMSE均值在填补精度上较传统填补算法提升15%以上,nMAPE均值提升1%以上。

核动力装置运行参数缺失值填充方法研究

核动力装置监控系统中,由于数据采集和传输过程中受到外部干扰或由于设备自身问题,导致在运行参数监测数据中存在数据缺失现象,这将很大程度影响对运行数据分析结果的正确性。为解决此问题,首先基于核动力装置某一特定的运行状态对应的各组运行参数之间有着极高相似性的特点,开展了基于热卡填充法的核动力装置运行数据缺失值填充方法研究,并利用运行参数与系统状态对应关系,实现了缺失值的估计;然后,设计了系统状态表达方法、状态相似性测量方法以及缺失数据填充算法总体流程;最后,以模拟机运行数据为例,构建了测试集进行测试。测试结果证明了所设计算法的可行性与准确性。

基于半监督学习的输电线路状态预测

输电线路状态评估及预测对于合理制定运维策略、提高运维水平具有重大意义。针对现有模型无法兼顾鲁棒性和数据需求量的问题,本文提出一种基于半监督学习的状态预测方法。首先,对拓展后的特征向量,利用正则矩阵填补缺失数据,并通过表征学习解决稀疏编码问题。然后,借助少量标注样本初步确定线路区段在不同缺陷状态下的类别中心。最后,使用未标注样本对模型估计参数进行修正。算例分析表明,该方法与现有模型相比,识别准确率大幅提升且数据使用效率更高。

基于历史数据挖掘辅助场景分析的电网缺失数据填补方法

针对当前电网数据填补精度不足的实际问题,提出一种基于历史数据辅助场景分析的电网缺失数据填补方法。首先通过波动互相关分析选取具有强相关的属性数据作为缺失属性数据填补的参考依据,并通过组合权重进一步量化其关联程度;其次,在负荷场景分析的基础上引入动态时间弯曲距离来衡量数据源之间的相似度;最后,结合动态时间弯曲距离与组合权重,找出含有最相似数据的日期,使用该日同一时刻的数据来替代缺失时刻数据。算例采用实际电网数据进行仿真分析,结果表明,提出的数据填补方法具有良好的填补效果。

杂波先验数据缺失条件下基于级联优化处理的雷达波形设计方法

认知雷达波形设计往往依赖于精准的杂波先验信息,当先验信息数据存在缺失时,所构建的杂波模型会严重失配,进而影响雷达对杂波的抑制能力。该文针对杂波先验数据缺失条件下的雷达波形优化问题,建立完全随机缺失机制下的点状与块状缺失场景,设计恒模与相似性约束的波形优化模型,提出基于优先级填充-强化学习级联优化的雷达波形训练算法:即采用强化学习智能体与填充算法修复后的杂波环境相交互的级联方法,以最大化信杂噪比为优化目标,通过迭代训练得到雷达最佳波形参数配置策略。最后,仿真验证不同缺失概率条件下所提算法的优越性。结果表明:相比于传统非级联优化算法,该文所提算法均可获得更优的杂波抑制性能,有效提升雷达的探测能力。

基于电力大数据的供电重点园区电容量控制模型

目前电容量控制方法存在最佳储能容量低、总收益增加量小问题。提出基于电力大数据的供电重点园区电容量控制模型构建方法。采用低秩矩阵补全方法对电力大数据进行填补处理。在经济学基本原理和最优化理论的基础上建立供电重点园区电容量控制模型,实现供电重点园区电容量的控制。实验结果表明,本文方法的最佳储能容量高、总收益增加量大。

电力应急抢修预案的历史大数据填补方法

为提高电力应急抢修预案的质量,及时恢复电力受损情况,提出电力应急抢修预案的历史大数据填补方法。利用二次函数的极小值寻找数据缺失部分并填补缺失信息,构建完整的数据信息后将其传输到数据分析层,通过对电力历史大数据的深入挖掘和融合,调整可能存在的安全隐患,经应急管理层电网应急恢复处置后,获取最佳电力应急抢修预案。经实验验证:该方法缺失数据填补精度较高,受数据集大小、缺失率的变化情况影响较小,预案评分等级较高,应急抢修时间较短,可为降低电力突发事件带来的经济损失提供参考。

涡动相关仪观测蒸散量的插补方法比较

涡动相关仪在长时间连续观测中，观测数据会有不同程度的缺失。应用6种不同的插补方法（平均昼夜变化法MDV，非线性回归方法NLR，动态线性回归方法DLR，查表法LUT，FAO．PM方法，HANTS方法）对北京密云站2007年涡动相关仪观测蒸散量数据进行了插补。结果表明：LUT方法在不同数据缺失时均得到较好结果（均方差小于8W／m^2）；MDV和NLR方法更适合于短时间数据缺失的插补；DLR和FAO—PM方法在观测数据出现连续波动时插补结果较差。由LUT、DLR、NLR、HANTS、FAO—PM方法得到的年蒸散量分别为395．8mm、409．9mm、393．5mm、390．7mm、399．4mm，差异在2．3～19．2mm之间变化。对比分析了LUT方法得到的年蒸散量（潜热通量）与净辐射、降水量以及LAS观测潜热通量间的变化规律，表明插补结果合理。

融合社交网络信息的协同过滤推荐算法

在推荐系统中,协同过滤推荐算法往往面临数据集的高度稀疏性和推荐精度有限的问题.为了解决上述问题,在基于物品的协同过滤推荐框架下,分别在物品相似度的计算和用户对物品的评分预测阶段,利用社交网络中朋友关系信息选择性地填充评分矩阵中的缺失值,最大化利用评分矩阵中的已有信息,提出融合社交网络信息的协同过滤推荐算法.最后,在Epinions数据集上的实验表明,文中算法在一定程度上缓解数据稀疏性问题,同时在评分误差和分类准确率两个指标上优于其它协同过滤算法.