重复数据中关键属性值缺失填补的改进ROUSTIDA算法

随着数据分析研究的兴起,数据预处理越来越得到研究者的重视,其中缺失数据填补问题的重要性也逐渐显现。在ROUSTIDA数据补齐算法的基础上,针对具有关键属性的重复数据的特点,文中提出了一种改进的ROUSTIDA算法——Key&Rpt_RS算法。Key&Rpt_RS算法继承了ROUSTIDA算法的优势,同时考虑了目标数据的重复性特点,分析了关键属性对填补效果的影响,得到了更加准确且有效的填补结果。

基于概率相似度的不完备数据填补研究

为提升数据的完整性,保证数据的效用程度,提出一种基于概率相似度的不完备数据填补方法。量化计算不完备数据的概率相似度矩阵,将计算结果和ROUSTIDA算法相结合进行不完备数据填补,获取完备数据集。在此基础上,构建决策规则,保证多属性缺失数据的填补性能,并且设定可辨识矩阵优化算法的不完备数据填补效果。测试结果显示,所提方法能够计算不同数据对象之间的相似度值,可有效完成数据填补,填补后数据的完备程度均在95%以上,填补数据的填补值误差均在0.17以下,填补效果良好。