缺失数据插补方法探讨——基于最近邻插补法和关联规则法

提出基于最近邻插补和关联规则的缺失数据插补方法,将不含缺失数据的变量作为辅助变量,通过定义距离函数寻找与含缺失数据的样本单元距离较近的样本,然后利用挖掘得到的关联规则支持度和提升度乘积的倒数作为权重,对样本单元之间的距离进行加权处理,得到加权距离,再用加权距离最小的样本单元对应的属性值对缺失值进行插补。这种方法可以解决由不同最近距离样本单元得到不同插补值的问题,最后给出了该方法的实施步骤和应用范例。

同源DNA序列中间隔位点的核苷酸最近邻插补

针对分子系统发育重建时忽略同源DNA序列中的间隔位点导致进化信息丢失和序列间进化距离偏低估计的问题,基于最小进化原理并借鉴统计学中缺失数据处理的方法,提出核苷酸最近邻插补间隔位点,对插补后序列再运用4-状态DNA进化马尔可夫模型估算序列间进化距离的方法.对3组同源DNA序列在不同方法下进行距离估算的对照测试,结果表明:5-状态的F81+gap和F84+gap模型不能有效融合间隔所携带的indel信息,反而更加低估序列间距离;改进的同类模型F81+gap'则在一定程度上降低了距离的偏低估计,而核苷酸最近邻插补处理方法可以融合DNA突变中更多的indel信息.

不同缺失数据处理方法对D-vine Copula分类器的影响

数据缺失是较为常见的影响数据质量的因素,会降低分析结果的可靠性。采用不同方法填补缺失数据,再用D-vine copula分类器对填补后的数据做分类,通过预测准确率来分析不同缺失数据处理方法对D-vine copula分类器的影响。首先,介绍了5种常用的缺失数据处理方法和D-vine copula分类器的相关知识;其次,结合实际数据,模拟不同的缺失比例,用这5种方法对数据进行填补;最后,用D-vine copula分类器对填补后的数据做分类,对分类准确率进行比较分析。研究发现,填补后的数据在D-vine copula分类器上表现得较为稳定,当数据缺失比例在5%~10%时,用随机插补法处理缺失数据效果较好,当数据缺失比例较大时,可以优先考虑用K最近邻插补法处理缺失数据。