基于生成对抗网络的追尾事故数据填补方法研究

深入分析交通事故数据可以为规避事故发生、降低事故严重程度提供重要理论依据,然而,在事故数据采集、传输、存储过程中往往会产生数据缺失,导致统计分析结果的准确性下降、模型的误判风险上升。本文以芝加哥2016—2021年的101452条追尾事故数据为研究对象,将原始数据按照7∶3随机分为训练集和测试集。在训练集数据上,利用生成式插补网络(Generative Adversarial Imputation Network,GAIN)实现对缺失数据的填补。为对比不同数据填补方法的效果,同时选择多重插补(Multiple Imputation by Chained Equations,MICE)算法、期望最大化(Expectation Maximization,EM)填充算法、缺失森林(MissForest)算法和K最近邻(K-Nearest Neighbor,KNN)算法对同一数据集进行数据填补,并基于填补前后变量方差变化比较不同填补算法对数据变异性的影响。在完成数据填补的基础上,构建LightGBM三分类事故严重程度影响因素分析模型。使用原始训练集数据,以及填补后的训练集数据分别训练模型,并使用未经填补的测试集数据检验模型预测效果。结果表明,经缺失值填补后,模型性能得到一定改善,使用GAIN填补数据集训练的模型,相较于原始数据训练的模型,准确率提高了6.84%,F1提高了4.61%,AUC(Area Under the Curve)提高了10.09%,且改善效果优于其他4种填补方法。

新能源汽车激光雷达传感器缺失数据填补方法研究

为了增强车辆激光雷达传感器数据采集的全面性,研究新能源汽车激光雷达传感器缺失数据填补方法。利用数据融合的点云采集技术和中值滤波算法,预处理点云数据。采用改进的噪声密度聚类算法构建点云超体素块,建立图模型,并利用图割算法进行全局聚类。结合典型地物特征提取地物信息,并利用全景图像进行密集匹配填补缺失区域,以完成点云数据中空洞区域的填补。实验结果表明,该方法能够有效实现缺失数据的填补,并且填补效果良好。填补后的点云数据与缺失区域原始点云在深度方向上的分布状况几乎一致。

基于面板数据模型的拱坝缺失数据填补方法

混凝土拱坝作为重要的水工建筑物,由于监测设备故障、人为因素等影响,导致其监测数据频繁出现缺失的现象,降低了大坝安全评估与预测的有效性与准确性。传统方法多仅依赖单测点测值进行插补,忽略了测点之间的相关性与异质性。本文提出了一种基于面板数据模型的变形缺失数据插补方法。首先,改进传统变形相似性增量速度指标,解决了其分母可能等于零的问题。其次,提出了一种组合加权方法以计算变形相似性综合指标,并采用改进的基于密度聚类方法对变形监测点进行分类。随后,建立了面板模型,以填补不同区域内的缺失数据。本文提出的方法可以更准确地填补混凝土拱坝变形数据的缺失,从而能够有效地解决变形监测数据缺失的问题。

基于缺失数据填补的油浸式变压器故障诊断

数据质量是影响变压器故障诊断模型准确性及可靠性的重要因素。针对现有变压器故障诊断模型对数据完整性要求较高等问题,以油浸式变压器为研究对象,提出了一种基于缺失数据填补的变压器故障诊断方法。首先,采用极端随机树(extremely randomized trees,ERT)算法对变压器样本的缺失数据进行填补,通过与多种回归模型对比,评价ERT模型的预测效果。然后,基于油中溶解气体数据,提取能够反映变压器运行状态的16维特征集合,形成完备信息的变压器故障诊断样本。最后,利用树结构概率密度估计(tree-structured parzen estimator,TPE)算法实现梯度提升树(gradient boosting decision tree,GBDT)模型的参数优化,构建基于TPE-GBDT的变压器故障诊断模型。研究结果表明,在对缺失率为10%的变压器样本数据进行填补时,ERT算法的决定系数达到0.96,高于线性回归和随机森林回归等算法。此外,基于ERT填补后的样本数据在TPE-GBDT模型的平均诊断准确率和标准差分别为90.1%和0.036,其准确性和稳定性均优于线性判别分析和随机森林分类等算法。该方法能够有效提升变压器样本质量和故障诊断效果,可为变压器运维检修提供针对性的指导建议。

基于乌鸦搜索算法的医疗数据填补方法

医疗数据的缺失会导致统计功效降低,进而严重影响诊断的准确性,甚至出现误诊。因此,对医疗问题中的各缺失数据选用有效的填补方法极为重要。为了在医疗数据存在缺失的情况下,对数据进行高效填补以提升医疗数据挖掘效果,本文提出了基于乌鸦搜索算法的医疗数据填补方法。设计了数据填补模型,在此基础上确定了算法个体编码与数据填补模型的映射方式,进而应用乌鸦搜索算法对填补模型进行迭代寻优,最后通过最优的填补模型构建完整医疗数据集。在4个医疗数据集上与2种传统填补方法[均值填补(Mean Imputation,MI)、K最近邻填补(K Nearest Neighbor Imputation,KNNI)]等进行了对比实验,人工构造不同缺失率的数据集,运用各填补方法对缺失数据集进行填补,并将分类算法在填补数据集上的准确率作为填补方法的效果评估指标,结果显示,相较于MI,所提方法使得分类算法在4个数据集上平均提高了3.7%、3.8%、11.1%和17.7%的准确率;相较于KNNI,所提方法平均提升了分类算法4%、14.8%、12.6%和21.7%的准确率。以上结果表明,本文所提基于乌鸦搜索算法的填补方法能够有效完成缺失数据的填补,提升数据挖掘算法的性能。

基于机器视觉的文件扫描机器人缺失数据填补

由于扫描环境噪声过高,导致机器人扫描文件图像内部分信息无法识别读取,为此,提出一种基于机器视觉的文件扫描机器人缺失数据填补方法。采集机器人的历史扫描缺失数据,划分不完备数据集及容差属性数据集,利用对数非自然函数识别数据集内的缺失数据,自适应函数值越大的数据,估计缺失的概率越高。采用机器视觉技术结合扫描机器人激光映射特点,根据扫描点的时间序列关系,提取扫描区域内的中心值。根据中心值判定邻近范围内的数据是否存在噪声影响,采用收敛模型实现填补。仿真实验证明,所提方法填补效果极佳、缺失数据识别率较高。

双向长短期记忆网络在燃气异常数据填补中的应用研究

完整、可靠的燃气调压站运行数据对于城燃企业运营管理至关重要,然而在实际运行中,由于诸如电子脉冲、通信中断等原因,造成燃气调压站产生的时序数据存在缺失、跳变等异常现象,严重影响数据的可靠性及数据的二次运用能力。因此本文提出了一种基于双向长短期记忆网络(BiLSTM)的方法,通过对历史数据的学习和分析,预测并填补异常数据,实验表明本文方法在时序缺失数据填补的平均相对误差率不超过10%,在数据异常填补处理方面具有一定可行性,为燃气时序数据填补提供了新的参考思路。

一种基于双聚类的缺失数据填补方法

针对现实数据集的数据缺失问题,提出了一种基于双聚类的缺失数据填补新方法。该算法利用双聚类簇内平均平方残值越小簇内数据相似性越高的这一特性,将缺失数据的填补问题转换为求解特定双聚类簇最小平均平方残值的问题,进而实现了数据集中缺失元素的预测;再利用二次函数求解极小值的思想对包含有缺失数据的特定双聚类簇最小平均平方残值的问题进行求解,并进行了数学上的分析证明。最后进行仿真验证,通过观察UCI数据集的实验结果可知,提出的算法具有较高的填补准确性。

基于动态概率路径事件模型的RFID数据填补算法

RFID数据采集过程中漏读现象频频发生,降低了RFID(radio frequency identification)应用中查询结果的准确性.目前解决漏读问题的算法主要是以RFID原始读数为粒度,并基于标签自身历史读数进行窗口平滑,这种作法会填补许多与查询无关的冗余数据,并且在多逻辑区域参与的复杂应用中,填补准确率较差.为解决上述问题,首次将RFID数据从数据层抽象到逻辑区域层作为处理的粒度,提出3种基于动态概率路径事件模型的数据填补算法,通过挖掘已知的区域事件的顺序相关性来对后续发生的事件进行判断和填补.进一步,增加对时间因素的考虑,对概率路径事件模型进行扩展.大量实验证明,提出的各个算法在不同的情况下有着不同的性能优势,并且在精简性和准确性上要高于现有的策略.

基于不完备数据聚类的缺失数据填补方法

缺失数据的处理是数据挖掘领域进行数据预处理的一个重要问题.传统的缺失数据填补方法大部分是基于概率分布等一些统计假设,对于大数据集的数据挖掘不一定是最适合的方法.受不完备数据分析(ROUSTIDA)未采用传统的概率统计学方法启发,提出基于不完备数据聚类的缺失数据填补方法(MIBOI),针对分类变量不完备数据集定义约束容差集合差异度,直接计算不完备数据对象集合内所有对象的总体相异程度,以不完备数据聚类的结果为基础进行缺失数据的填补.采用UCI机器学习基准数据集进行实验表明,MIBOI对缺失数据的填补是有效可行的.

绿色数据中心不完备能耗大数据填补及分类算法研究

随着云计算和大数据时代的到来,大规模数据中心在全球范围内得到了广泛的部署.但大规模数据中心的高能耗仍然是当今亟待解决的问题.为解决这一问题,通常采用太阳能等可再生绿色新能源为数据中心供电.绿色数据中心能够根据新能源的变化配合市电为数据中心提供高效、低能耗且稳定的电能供给,这是数据中心发展的趋势.文中针对数据收集不完善和断电等因素会造成一定程度的数据缺失情况,提出了一种基于完备相容类的不完备大数据填补算法,来填补数据中心的缺失数据;针对绿色数据中心能耗大数据的不稳定、间歇性和随时变化等特点,提出了一种基于离散弱相关的决策森林并行分类算法,通过对数据中心能耗大数据并行分类,来指导供电方式,以利于高效节能和延长电池寿命;此外进一步提出了一种增量更新决策森林的算法,来增量更新分类模型,该算法能够保障分类模型不断适应数据变化,防止分类准确率随时间而下降,从而避免电池频繁充放电,以保证稳定供电.整体来说,文中提出了一种数据中心能耗大数据管理模型,该模型针对大规模绿色数据中心的能源供给相关问题,运用不完备能耗大数据的填补、能耗大数据的并行分类、分类模型更新这三方面的技术方法,动态调控太阳能和市电供电端口,为数据中心提供高效、低能耗且稳定的电能供给.最后,采用绿色数据中心真实的能耗相关大数据集进行实验,实验结果说明文中提出的能耗大数据管理模型,能够帮助绿色数据中心有效管理太阳能和其他资源来配合市电提供稳定且充足的电能供应,从而为整个数据中心服务体系提供高效的能源服务.

基于最大方差权信息系数的煤气数据填补

在数据的挖掘、建模与优化领域,数据的完整性与准确性是进行此类研究的基础.鉴于冶金能源系统的复杂性和现场数据采集过程易受干扰的特点,其数据在获取过程中极易发生数据缺失的现象,从而造成模型无法建立,隐含信息无法准确挖掘等情况.本文针对钢铁企业副产煤气的发生、消耗流量数据出现的缺失情况,通过分析相似工况下能源流量数据的相关特性,提出一种基于最大方差权信息系数的冶金企业副产煤气系统流量数据填补方法.该方法针对现场经常发生的两类数据缺失情况,即数据点间断缺失和数据长时间连续缺失,以最大方差权信息系数作为样本筛选准则,并采用基于核学习的方法对缺失数据进行填补.为验证本文提出的数据填补方法的有效性,本文对上海宝钢高炉、焦炉和冷热轧用户的实际生产数据的运行试验,结果表明该方法相比其他的方法存填补精度上有很大优势.

海产品安全预警系统缺失数据填补方法

针对海产品安全预警系统中数据缺失问题,提出了一种缺失数据填补方法,目前,使用粗糙集填补的方法很多,但很多方法并没有考虑到每个对象缺失属性个数。该方法将存在缺失数据的信息表分为完备和不完备两部分,并分别对其进行处理,对缺失数据填补时综合考虑属性重要性和缺失属性个数;不存在缺失数据的信息表则直接输出;实验结果表明方法能用于海产品安全预警系统中缺失数据填补。

结合局部敏感哈希的k近邻数据填补算法

k近邻(kNN)算法是缺失数据填补的常用算法,但由于需要逐个计算所有记录对之间的相似度,因此其填补耗时较高。为提高算法效率,提出结合局部敏感哈希(LSH)的k NN数据填补算法LSH-k NN。首先,对不存在缺失的完整记录进行局部敏感哈希,为之后查找近似最近邻提供索引;其次,针对枚举型、数值型以及混合型缺失数据分别提出对应的局部敏感哈希方法,对每一条待填补的不完整记录进行局部敏感哈希,按得到的哈希值找到与其疑似相似的候选记录;最后在候选记录中通过逐个计算相似度来找到其中相似程度最高的k条记录,并按照k NN算法对不完整记录进行填补。通过在4个真实数据集上的实验表明,结合局部敏感哈希的k NN填补算法LSH-k NN相对经典的k NN算法能够显著提高填补效率,并且保持准确性基本不变。

基于支持向量机的桥梁健康监测系统残缺数据填补

针对桥梁健康监测系统中采集数据具有小样本、非线性且时序的特点,提出一种基于支持向量机的残缺数据填补方法,在分析数据的自相关性基础上,利用支持向量回归机原理,选择适当维数的样本作为支持向量机的输入向量,据此进行了残缺数据的预测;并与BP神经网络的填补效果相比较,实验结果显示了支持向量机在更小样本情况下填补残缺数据的优势和强泛化能力。

利用聚类分析和离群点检测的数据填补方法

为提高数据填补方法的正确率,提出利用核K-Means聚类和离群点检测来填补缺失数据的算法(KKMOD)。用核方法将数据集映射到高维空间,聚类后形成不同簇,在同簇内选择与缺失数据最相似的数据进行填补,使用核K-Means进行离群点检测,将检测到的离群点去除填补值,重新放入数据集填补,算法不断迭代,直到填补的数据不再检测出离群点。实验结果表明,KKMOD方法能够充分考虑簇内关系,避免不同簇相互干扰,提高数据填补算法的正确率。

基于不完备集双聚类的缺失数据填补算法

缺失数据填补是数据清洗领域的一个重要问题。由于绝大部分局部填补方法基于全部属性进行分类,未考虑对象属性之间的关联性,因此基于不完备集双聚类,提出一种缺失数据填补算法。该算法利用双聚类完美簇的平均平方残基为0及簇内的属性值波动一致的特点,对缺失数据进行填补。通过数学分析,把寻找含有缺失值的最大完美簇问题转化为求解缺失对象与其他对象之间的最大相似属性集问题,在相同的最大相似属性集下,以缺失值的众数作为填补值。采用4组UCI数据集进行实验,结果表明,该算法相比ROUSTIDA算法平均提高了77.13%的填补值精确度。

基于决策树算法的医疗大数据填补及分类仿真

从大数据的基本特点和医疗大数据研究现状出发,分析处理过程中存在的问题,提出在决策树算法下的医疗大数据填补及分类方法。分析医疗数据的关联规则,采用关联分析(Apriori)算法和频繁模式树(Frequent Pattern Growth,FP-Growth)算法挖掘数据。以挖掘数据为基础填补其中的缺失数据,按照医疗数据特点搭建决策树,并运用ID3和C4.5决策树算法,实现医疗大数据的分类,得出数据分类结果。由仿真得出,与传统方法相比,填补量提高了50%,分类精度提高了11.40%、14.80%,无论从数据的填补方面还是分类方法,上述方法均有较高的应用价值,为医疗大数据体系的构建开辟了新的思路。

缺失飞参数据填补的组合方法研究

针对飞参数据的特点,将B样条曲线拟合和最小二乘支持向量机相互结合,提出了一种缺失飞参数据填补的组合方法。该方法将两者优势互补,对单一方法的填补结果进行加权平均,增强了算法的可靠性,提高了数据填补的精度。对比实验的结果表明了方法的可行性和适用性。

基于模糊聚类的蜂窝小区业务量数据填补算法

根据无线网络业务数据的特点,提出一种基于模糊聚类的数据填补算法。该算法考虑数据的周期性特点,并运用沉积的历史数据,对数据进行聚类分析得出标准模板,采用标准模板对缺失数据进行填补。利用该算法对小区小时话务量数据进行填补。实验结果表明,该算法平均误差率较小,无偏性较好,在数据缺失较为严重的情况下也能完成填补。