基于依赖决策熵的决策树分类算法

针对传统的基于信息熵的决策树算法所存在的问题,本研究从粗糙集理论的角度来考虑信息熵,定义了依赖决策熵的概念,并提出一种基于依赖决策熵的决策树算法DTDDE。在DTDDE算法中,采用依赖决策熵的概念来度量每个条件属性的重要性,并选择重要性最大的属性作为当前的分离属性。通过在多个UCI数据集上的实验表明:与现有的决策树算法相比,本研究所提出的算法能够获得更好的分类性能。

基于模糊依赖决策熵的多标签特征选择

多标签学习的一个重要挑战是特征维度灾难.为了寻求高效的多标签特征选择方法,本文从模糊粗糙集和依赖决策熵的角度研究多标签特征选择,提出多标签特征选择新方法.首先,定义了多标签模糊信息系统,利用模糊标签粒的近似集提出了模糊决策熵和模糊依赖决策熵,研究了它们的性质.在多标签模糊信息系统上提出了基于模糊依赖决策熵的约简定义,进而给出了特征的重要性度量,以及基于模糊依赖决策熵的多标签特征选择方法和算法.最后在10个公共多标签数据集上对5种指标进行参数分析和性能对比.结果表明,所提算法具有一定的有效性,在大多数指标上优于PMU、MDDM等多标签特征选择算法.