基于属性间交互信息的ID3算法

启发式算法是决策树研究的核心。文中分析了最常见的一种决策树归纳启发式算法即ID3算法的不足,给出了一个改进版本,它在选择测试属性时不仅要求该属性带来的信息增益尽可能大,而且要求其与同一分支上已经使用过的各属性之间的交互信息尽可能小,从而避免了对冗余属性的选择,实现信息熵的真正减少。分析及实验结果表明,与ID3算法相比,该算法能构造出更优的决策树。

基于属性间交互信息的预剪枝ID3算法

ID3算法是决策树归纳中普遍而有效的启发式算法。本文针对ID3算法的不足,给出了一个改进版本,它在选择测试属性时不仅要求该属性和类的交互信息较大,而且要求和祖先结点使用过的属性之间的交互性息尽可能小,从而避免了对冗余属性的选择,实现信息熵的真正减少。在生成树的过程中,设定分类阈值,对树进行剪枝,以避免数据子集过小,使进一步划分失去统计意义。实验结果表明,该算法能构造出比ID3算法更优的决策树。

基于属性间交互信息的模糊ID3算法的扩展(英文)

模糊ID3算法是模糊决策树归纳中比较普遍和有效的启发式算法.以模糊ID3算法为例,分析了属性之间的冗余信息对构建模糊决策树的影响,并提出一个扩展算法,要求所选择的测试属性不仅和类的交互信息较大,而且和祖先节点上用过的属性之间的交互信息较小.实验结果表明:扩展算法优于模糊ID3算法.