基于数据填补的煤自燃温度预测模型

现有煤自燃温度预测模型的建立大多基于较为完整的指标气体样本数据,但指标气体数据受仪器或人为因素影响,往往存在数据缺失现象,导致煤自燃温度预测准确率较低和过拟合等问题。针对上述问题,提出了将K近邻算法(KNN)、随机森林(RF)、决策树(DT)及基于粒子群优化的支持向量回归等填补算法(PSO-SVR)应用于缺失值填补,缺失数据和填补后的数据通过RF、SVR和极限梯度提升树(XGBoost)算法分别进行训练,并通过PSO算法优化参数,构建了基于数据填补的RF、XGBoost和SVR煤自燃温度预测模型。利用煤自然发火实验选取CO,CO_(2),CH4,C_(2)H_(6),O_(2)作为指标气体,并设计整体缺失率为10%,20%,30%和CO,CO_(2)缺失率为40%,50%,60%共6种随机数据缺失,采用平均绝对误差百分比(MAPE)作为填补效果评价指标,采用MAPE、判断系数R^(2)和均方根误差(RMSE)作为模型性能评价指标,对4种填补算法和3种预测模型进行对比。对比分析结果表明:在6种数据缺失情况下,DT填补算法填补效果优于其他3种算法,在CO,CO_(2)存在较多缺失值时,RF算法的填补值与实际值的MAPE偏大;在不调参的情况下,XGBoost模型虽然在训练集效果极好,但极易过拟合,而SVR模型预测效果极差,无法满足预测要求;在6种数据缺失情况下,基于DT填补算法的PSO-SVR、RF与PSO-RF煤自燃温度预测模型的MAPE均在4%左右,基于DT填补算法的RF模型无需优化就能较好地预测出煤自燃温度,具有良好的稳定性。

基于生成对抗网络的追尾事故数据填补方法研究

深入分析交通事故数据可以为规避事故发生、降低事故严重程度提供重要理论依据,然而,在事故数据采集、传输、存储过程中往往会产生数据缺失,导致统计分析结果的准确性下降、模型的误判风险上升。本文以芝加哥2016—2021年的101452条追尾事故数据为研究对象,将原始数据按照7∶3随机分为训练集和测试集。在训练集数据上,利用生成式插补网络(Generative Adversarial Imputation Network,GAIN)实现对缺失数据的填补。为对比不同数据填补方法的效果,同时选择多重插补(Multiple Imputation by Chained Equations,MICE)算法、期望最大化(Expectation Maximization,EM)填充算法、缺失森林(MissForest)算法和K最近邻(K-Nearest Neighbor,KNN)算法对同一数据集进行数据填补,并基于填补前后变量方差变化比较不同填补算法对数据变异性的影响。在完成数据填补的基础上,构建LightGBM三分类事故严重程度影响因素分析模型。使用原始训练集数据,以及填补后的训练集数据分别训练模型,并使用未经填补的测试集数据检验模型预测效果。结果表明,经缺失值填补后,模型性能得到一定改善,使用GAIN填补数据集训练的模型,相较于原始数据训练的模型,准确率提高了6.84%,F1提高了4.61%,AUC(Area Under the Curve)提高了10.09%,且改善效果优于其他4种填补方法。

新能源汽车激光雷达传感器缺失数据填补方法研究

为了增强车辆激光雷达传感器数据采集的全面性,研究新能源汽车激光雷达传感器缺失数据填补方法。利用数据融合的点云采集技术和中值滤波算法,预处理点云数据。采用改进的噪声密度聚类算法构建点云超体素块,建立图模型,并利用图割算法进行全局聚类。结合典型地物特征提取地物信息,并利用全景图像进行密集匹配填补缺失区域,以完成点云数据中空洞区域的填补。实验结果表明,该方法能够有效实现缺失数据的填补,并且填补效果良好。填补后的点云数据与缺失区域原始点云在深度方向上的分布状况几乎一致。

基于面板数据模型的拱坝缺失数据填补方法

混凝土拱坝作为重要的水工建筑物,由于监测设备故障、人为因素等影响,导致其监测数据频繁出现缺失的现象,降低了大坝安全评估与预测的有效性与准确性。传统方法多仅依赖单测点测值进行插补,忽略了测点之间的相关性与异质性。本文提出了一种基于面板数据模型的变形缺失数据插补方法。首先,改进传统变形相似性增量速度指标,解决了其分母可能等于零的问题。其次,提出了一种组合加权方法以计算变形相似性综合指标,并采用改进的基于密度聚类方法对变形监测点进行分类。随后,建立了面板模型,以填补不同区域内的缺失数据。本文提出的方法可以更准确地填补混凝土拱坝变形数据的缺失,从而能够有效地解决变形监测数据缺失的问题。

基于相关性分析和生成对抗网络的电网缺失数据填补方法

城市电网新型电力系统中多元资源增多,数据采集难度加大,导致数据随机缺失率升高,难以满足精细化分析决策需求。为解决新型电力系统中配网量测数据在采集与传输过程中频发的缺失问题,文中提出一种基于波动互相关分析(fluctuation cross-correlation analysis,FCCA)算法和生成对抗网络(generative adversarial network,GAN)的电网缺失数据填补方法。首先,融合FCCA算法提出强相关性电网数据多维特征提取方法;其次,基于核主成分分析(kernel principal component analysis,KPCA)对多维特征数据集进行降维处理;最后,设计改进型GAN结构,融合电网数据多维特征对低维向量进行重构,实现缺失数据填补。算例采用真实电网数据进行算法验证,并在某城市电网试运行。结果表明,所提方法比传统数据填补方法具有更高填补精度。因此,在新型电力系统中量测数据连续缺失和缺失量较大的情况下,融合强相关性特征进行数据填补,对提升量测数据的完整性和可用性有明显优势。

基于序列缺失的MRI多序列特征填补与融合互助模型:鉴别高低级别胶质瘤

目的探讨基于序列缺失的MRI多序列特征填补与融合互助模型应用于高级别胶质瘤(HGG)与低级别胶质瘤(LGG)鉴别的性能表现。方法回顾性收集305例胶质瘤患者(189例HGG,116例LGG)的MRI图像,分别勾画出T1加权成像(T1WI)、T2加权成像(T2WI)、T2液体翻转恢复衰减(T2_FLAIR)和T1WI增强图像(CE_T1WI)的感兴趣区(ROI),提取出4个ROI的影像组学特征。利用本研究提出的基于序列缺失的MRI多序列特征填补与融合互助模型对含有缺失数据的特征矩阵进行填补与融合双向学习得到互助模型。采用五折交叉验证方法和准确率(ACC)、平衡准确率(BAcc)、ROC曲线下的面积(AUC)、特异性和灵敏度评价该模型的鉴别能力。所提模型与其他非完整多模态分类模型在鉴别HGG与LGG上进行定量比较,对本文提出的特征填补与融合方法学习得到的潜在特征进行类可分性实验,观察样本在二维平面的分类效果,采用收敛性实验验证该模型的可行性。结果模型序列缺失率为10%时,其在鉴别HGG与LGG的ACC、BAcc、AUC、特异性、灵敏度分别为:0.777、0.768、0.826、0.754和0.780,融合的潜在特征在类可分性实验中有优秀表现,该算法可迭代至收敛。缺失率为30%、50%时,分类性能也优于其他方法。结论基于序列缺失的MRI多序列特征填补与融合互助模型在HGG和LGG的分类任务中具有优异的性能表现。与其他非完整多模态分类模型相比,该模型在鉴别HGG和LGG的分类性能更优,适用于非完整模态的多模态数据的处理。

基于优先填补策略的Spark数据均衡分区方法

Spark作为基于内存计算的分布式大数据处理框架,运行速度快且通用性强.在任务计算过程中,Spark的默认分区器HashPartitioner在处理倾斜数据时,容易产生各个分区数据量不平衡的情况,导致资源利用率低且运行效率差.现存的Spark均衡分区改进方法,例如多阶段分区、迁移分区和采样分区等,大多存在尺度把控难、通信开销成本高、对采样过度依赖等缺陷.为改善上述问题,本文提出了一种基于优先填补策略的分区方法,同时考虑了样本数据和非样本数据的分配,以便实现对全部数据的均衡分区.该方法在对数据采样并根据样本信息估算出每个键的权值后,将键按照权值大小降序排列,依次将键在满足分区容忍度的条件下分配到前面的分区中,为未被采样的键预留后面的分区空间,以获得针对样本数据的分区方案.Spark根据分区方案对样本中出现的键对应的数据进行分区,没有出现的键对应的数据则直接映射到可分配的最后一个分区中.实验结果表明,新分区方法能够有效实现Spark数据的均衡分区,在美国运输统计局发布的真实航空数据集上,基于该方法设计的优先填补分区器的总运行时间比HashPartitioner平均缩短了15.3%,比现有的均衡数据分区器和哈希键值重分配分区器分别平均缩短了38.7%和30.2%.

基于缺失数据填补的油浸式变压器故障诊断

数据质量是影响变压器故障诊断模型准确性及可靠性的重要因素。针对现有变压器故障诊断模型对数据完整性要求较高等问题,以油浸式变压器为研究对象,提出了一种基于缺失数据填补的变压器故障诊断方法。首先,采用极端随机树(extremely randomized trees,ERT)算法对变压器样本的缺失数据进行填补,通过与多种回归模型对比,评价ERT模型的预测效果。然后,基于油中溶解气体数据,提取能够反映变压器运行状态的16维特征集合,形成完备信息的变压器故障诊断样本。最后,利用树结构概率密度估计(tree-structured parzen estimator,TPE)算法实现梯度提升树(gradient boosting decision tree,GBDT)模型的参数优化,构建基于TPE-GBDT的变压器故障诊断模型。研究结果表明,在对缺失率为10%的变压器样本数据进行填补时,ERT算法的决定系数达到0.96,高于线性回归和随机森林回归等算法。此外,基于ERT填补后的样本数据在TPE-GBDT模型的平均诊断准确率和标准差分别为90.1%和0.036,其准确性和稳定性均优于线性判别分析和随机森林分类等算法。该方法能够有效提升变压器样本质量和故障诊断效果,可为变压器运维检修提供针对性的指导建议。

法律漏洞填补的比较法适用

市场化和全球化的不断深入,使得我国法律与国际法、国外法律的交互沟通日益频繁,各国面临的法律问题也出现更大程度的相似性。本国法律无法解决的棘手案件,时常可以在外国尤其是发达国家的法律中找到解决方案和途径。在本国法律存在漏洞时,出于实用主义、思维经济性与便宜性的考量,法官可以将比较法作为一种法律漏洞的填补工具服务于本国的司法实践。法院自主地适用比较法填补法律漏洞,是其在司法权限之内所为的法律活动,并不违背一国司法之主权。在全球化趋势、“一带一路”和涉外法治建设的大背景下,适用比较法填补法律漏洞对于推进我国法治建设具有重要意义。

面向销售数据的多项缺失值关联性的增量填补

数据缺失会影响数据的质量,可能导致分析结果的不准确和降低模型的可靠性,缺失值填补能减低偏差方便后续分析.大多数的缺失值填补算法,都是假设多项缺失值之间是弱相关甚至无相关,很少考虑缺失值之间的相关性以及填补顺序.在销售领域中对缺失值进行独立填补,会减少缺失值信息的利用,从而对缺失值填补的准确度造成较大的影响.针对以上问题,本文以销售领域为研究目标,根据销售行为的多维度特征,利用不同模型输出值的空间分布特征特性,探索多项缺失值的填补更新机制,研究面向销售数据多项缺失值增量填补方法,根据特征相关性,对缺失特征排序并用已填补的数据作为信息要素融合对后面的缺失值进行增量填补.该算法同时考虑了模型的泛化性和缺失数据之间的信息相关问题,并结合多模型融合,对多项缺失值进行有效填补.最后基于真实连锁药店销售数据集通过大量实验对比验证了所提算法的有效性.

浅析法律漏洞以及填补方式

法律必然有漏洞存在,法律漏洞无法避免。而司法实践过程中这一问题始终是一个主要难题,关于法律漏 洞的讨论也将会一直存在下去。我国法学界对于法律漏洞的存在以及对于其理论的研究与探讨在最近几年越发激烈。 从国内外近些年有关于法律漏洞的研究来看,对于法律漏洞填补的方式讨论尤甚。因此本文主要围绕法律漏洞的内涵、 类型及其填补方式进行分析和探讨,并得出相应的结论与思考。

基于乌鸦搜索算法的医疗数据填补方法

医疗数据的缺失会导致统计功效降低,进而严重影响诊断的准确性,甚至出现误诊。因此,对医疗问题中的各缺失数据选用有效的填补方法极为重要。为了在医疗数据存在缺失的情况下,对数据进行高效填补以提升医疗数据挖掘效果,本文提出了基于乌鸦搜索算法的医疗数据填补方法。设计了数据填补模型,在此基础上确定了算法个体编码与数据填补模型的映射方式,进而应用乌鸦搜索算法对填补模型进行迭代寻优,最后通过最优的填补模型构建完整医疗数据集。在4个医疗数据集上与2种传统填补方法[均值填补(Mean Imputation,MI)、K最近邻填补(K Nearest Neighbor Imputation,KNNI)]等进行了对比实验,人工构造不同缺失率的数据集,运用各填补方法对缺失数据集进行填补,并将分类算法在填补数据集上的准确率作为填补方法的效果评估指标,结果显示,相较于MI,所提方法使得分类算法在4个数据集上平均提高了3.7%、3.8%、11.1%和17.7%的准确率;相较于KNNI,所提方法平均提升了分类算法4%、14.8%、12.6%和21.7%的准确率。以上结果表明,本文所提基于乌鸦搜索算法的填补方法能够有效完成缺失数据的填补,提升数据挖掘算法的性能。

论指导性案例的法律漏洞填补功能及其实现路径

作为法律漏洞的司法填补方式之一,指导性案例承载着统一法律适用标准、维护法律体系完整性和实现法律价值的职责与使命。分析“中国裁判文书网”收录的司法案例,可以发现指导性案例在司法应用过程中存在着总体参照率低、参照形式不规范、个案被引频次差异悬殊、应用案例地域分布不均衡等问题。造成指导性案例“参照难”的直接原因包括案例数量供给不足、相似性判断标准不统一、参照内容不明确等,但根本原因乃是案例适用技术的缺陷。法官应熟练掌握类推适用、目的性扩张、目的性限缩、法律原则具体化的漏洞填补方法,严格遵循法律漏洞的识别与确认、类案检索与相似性比对、指导性案例的参照适用和裁判实效的预先评估四个步骤完成待决案件漏洞填补工作,以实现案例适用技术的优化升级。

政策推动填补空白试点应用GB/T 43441.1-2023《信息技术数字孪生第1部分:通用要求》国家标准解读——访中国电子技术标准化研究院物联网研究中心主任郭楠

2023年11月27日,国家标准化管理委员会发布2023年第13号国家标准公告,批准发布GB/T 43441.1-2023《信息技术数字孪生第1部分:通用要求》(以下简称《通用要求》),并定于2024年6月1日起正式实施。《通用要求》由全国信息技术标准化技术委员会提出并归口,中国电子技术标准化研究院牵头制定,是我国首个适用于通用领域的数字孪生标准,对于数字孪生技术的应用推广具有重要指导意义。为此,《中国标准化》杂志采访了中国电子技术标准化研究院物联网研究中心主任郭楠。

基于aFCM-KNN的风电功率缺失值填补

风电实时运行数据在采集、传输和存储过程中的缺失值问题,给基于运行数据的风电功率预测等应用带来困难。针对以上问题,提出一种基于自适应模糊聚类的近邻填补算法aFCM-KNN。鉴于风电数据自身具有的强随机性和波动性,基于FCM算法根据风速对风电数据进行工况聚类,为解决FCM需人为设定聚类个数受主观影响较大的问题,依据风电数据分布特征设计了一个自适应确定聚类个数的策略;考虑到聚类后直接填补容易受噪声的影响,基于KNN算法根据缺失值所在样本的近邻点对每个子簇内的缺失值进行填补,进一步提高了填补精度。在实际数据上的测试分析表明,与其它六种常用填补算法相比,该方法的填补准确率更高。

填补空白促进个人网络求助规范发展

新修改的慈善法,首次对个人求助行为与网络平台作出规范,弥补了法律空白,在完善相关具体政策的基础之上,必将有利于维护公众的爱心善意并促进这一具有中国特色的民间慈善行为规范发展。顺应社会发展,回应社会关切。新修改的慈善法首次对个人求助行为与网络平台作出规范:一方面,要求求助人和信息发布人应当对信息真实性负责,不得通过虚构、隐瞒事实等方式骗取救助。

房贷填补压力视角下的家庭财务风险分析

家庭财富构造包括正财富构造、负财富构造、0财富构造。负财富构造的表现形式是家庭负资产构造,尤其是负资产的持续填补加大了家庭的财务风险,家庭面临严峻的负资产黑洞填补压力难题。家庭负资产构造导致家庭消费下降以及可支配现金流萎缩并带来连锁负效应,家庭负资产的配置效率直接关联家庭的利益以及内循环的畅通,家庭房贷填补压力的化解既是金融风险问题,也是关系国计民生的问题。

基于图协同过滤的单细胞RNA测序数据填补

单细胞RNA测序(Single-cell RNA Sequencing, scRNA-seq)技术能以单细胞的分辨率分析转录组数据,在生物学研究中展现出广泛的应用前景。然而技术问题会导致scRNA-seq数据存在部分基因表达缺失的情况,称之为零膨胀事件。这种情况严重阻碍了下游分析,故需要对scRNA-seq数据进行填补。本文提出了一种基于图协同过滤的单细胞RNA测序数据填补算法,为scRNA-seq分析提供了一个深度学习框架。它通过结构邻居对比的图协同过滤方法提取细胞特征表示和基因特征表示,并将两者的内积应用于零膨胀负二项分布自编码器来填补scRNA-seq数据。仿真实验结果验证了该算法在仿真数据集上的填补能力,且通过下游聚类分析实验表明该算法在公共真实数据集上细胞聚类的性能。

基于机器视觉的文件扫描机器人缺失数据填补

由于扫描环境噪声过高,导致机器人扫描文件图像内部分信息无法识别读取,为此,提出一种基于机器视觉的文件扫描机器人缺失数据填补方法。采集机器人的历史扫描缺失数据,划分不完备数据集及容差属性数据集,利用对数非自然函数识别数据集内的缺失数据,自适应函数值越大的数据,估计缺失的概率越高。采用机器视觉技术结合扫描机器人激光映射特点,根据扫描点的时间序列关系,提取扫描区域内的中心值。根据中心值判定邻近范围内的数据是否存在噪声影响,采用收敛模型实现填补。仿真实验证明,所提方法填补效果极佳、缺失数据识别率较高。

基于数据挖掘的人力资源数据缺失值填补方法

现有人力资源数据缺失值填补方法均方根误差大、填补命中率低等问题。提出一种基于数据挖掘的人力资源数据缺失值填补方法。采用分裂Bregman迭代算法消除人力资源数据中存在的噪声,根据人力资源数据的时间序列特征,挖掘数据中存在的隐藏变量。根据特征对缺失值进行检测。通过FCMSI算法根据缺失值检测结果对缺失值进行填补,采用平均比率法首次填充人力资源数据,通过模糊C均值聚类算法对填充后的数据进行聚类处理,其次在协同过滤思想的基础上进一步对人力资源数据的缺失值进行填补。实验结果表明,所提方法的均方根误差小、填补命中率高。