LKNNI:一种局部K近邻插补算法

目的针对K近邻插补法在缺失率较大的数据集上的性能不佳,提出一种局部K近邻插补法。方法在6个完整的公开数据集上按照不同缺失率随机删除数据,根据填充数据和原始数据计算算法的填充性能,将局部K近邻插补法与K近邻插补法、多重插补法对比。结果局部K近邻插补法在缺失率较低的条件下,填充性能与多重插补法接近,且略胜于K近邻插补法。在缺失率较高的条件下,局部K近邻插补法的性能明显优于K近邻插补法,且略胜于多重插补法。结论相比K近邻插补法,局部K近邻插补法非常适合处理缺失率较大的数据集。

MN-LKNNI:融合互近邻降噪的局部动态K近邻插补算法

为减少数据集自带噪声和假近邻噪声两类噪声数据对K近邻插补算法准确性的影响,提出一种融合互近邻降噪的局部动态K近邻插补算法MN-LKNNI。针对缺失数据对样本进行局部投影切片,将互近邻与局部投影算法相结合,减少噪声数据对数据集的分布干扰;采用动态求K值参数的方法减少远距离近邻噪声的干扰,以寻找与缺失样本更相似的局部样本。分别在3个数据集和10%、20%、30%、40%、50%的缺失率下进行实验,比较MN-LKNNI、LKNNI和KNNI 3种算法的均方误差和准确率。结果表明,MN-LKNNI算法在缺失率较低的情况下相当或优于LKNNI,在缺失率较高时明显优于LKNNI和KNNI,并且具有一定的稳定性。MN-LKNNI算法通过降低噪声数据的影响,在提升缺失数据集的插补准确性上较KNNI和LKNNI两种算法性能更优。

不同缺失比例下的缺失值插补方法比较

现实中获得的数据集往往存在缺失值,为了研究不同缺失值插补方法在不同缺失比例下的插补效果,文中选择数值型和混合型的完整数据集,设置不同的缺失比例,分别使用均值插补、K近邻插补、多变量特征插补、随机森林插补四种方法对其进行插补,并使用决策树分类器拟合填补后的数据集,通过计算分类精度比较四种方法的填补效果。实验结果表明,在缺失比例不大于50%时,多变量特征插补和随机森林插补方法在数值型和混合型数据集上的插补效果优于其他两种方法。

数据驱动的出口管熔模铸件夹杂预测与工艺优化

提出了基于BP神经网络与改进粒子群算法的夹杂预测与工艺优化方法。首先,基于华铸ERP系统进行数据挖掘及清洗;其次,建立结合粒子群算法与BP神经网络的缺陷预测模型(Particle Swarm Optimization-Back Propagation,PSO-BP),相比普通BP神经网络,精度由92.1%提升至94.7%;最后,提出结合K近邻插补法与改进粒子群算法的工艺优化方法(K-Nearest Neighbors Imputation-Improved Particle Swarm Optimization,KNN-IPSO)。经模拟验证,相比生产前工艺在不同扰动下优化算法的缺陷率分别降低了52%和40%。