不一致邻域决策信息系统的增量式属性约简研究

属性约简是数据挖掘、机器学习等研究领域中的一个非常重要的预处理步骤,其效率的高低会直接影响到数据挖掘、机器学习等相关任务的性能。针对目前已有的非增量式属性约简方法在处理不一致邻域信息系统动态变化时无法高效更新属性约简的问题,提出一种在不一致邻域决策信息系统中对象集发生变化时的增量式属性约简方法。首先,该文以不一致邻域决策信息系统为研究对象,结合不一致邻域的特点给出了一种新的不一致度的表示方法。在此基础上用不一致度来表征属性重要度,以属性重要度为启发式信息研究不一致邻域信息系统对象集发生变化条件下邻域类以及不一致度的更新机理。随后,以不一致度为启发信息构建了增量式属性约简算法。进一步,在UCI上选取6个数据集,通过分类精度测试实验精选出各个数据集的最佳邻域半径δ,最后,利用最佳邻域半径δ在各个数据集上执行增量式属性约简算法实验,实验结果表明该文提出的增量式属性约简算法在保持分类精度不变的前提下较其他算法更加快速和有效。

变精度邻域等价粒的邻域决策树构造算法

针对现有决策树算法对连续性数据分类的信息丢失、效果不佳等缺点,提出一种邻域决策树(NDT)构造算法。首先,挖掘了邻域决策信息系统上的变精度邻域等价粒,并探讨了相关性质;然后基于变精度邻域等价粒构建邻域基尼指数度量,以度量邻域决策信息系统的不确定性;最后,用邻域基尼指数度量诱导出树节点的选取条件,并以变精度邻域等价粒为树分裂规则,从而构建NDT。在UCI数据集进行实验的结果表明,NDT算法的准确度比基于信息熵的决策树算法ID3、基于基尼指数的决策树算法CART、基于信息增益率的决策树(C4.5)算法和融合信息增益和基尼指数(IGGI)算法平均提高了20个百分点左右,验证了NDT算法的有效性。