基于熵的决策树分枝合并算法

目前，基于逻辑的示例学习算法主要分两大类，决策树算法和基于规则的算法，前者以ＩＤ３为代表，ＩＤ３使用“信息熵”作启发式得出较小的决策树，但ＩＤ３算法只注意到减少树的深度，忽视树的宽度，本文给出了一种决策树分枝合并算法。可减少决策树的宽度，从而得出比ＩＤ３更好的结果。

一种基于ID3决策树的优化算法

ID3算法是最为经典的分类方法,理论清晰,计算简便,已得到广泛应用。但ID3算法存在多值偏向问题,分类精度不够高,这些都限制了它的应用效果。本文依据决策树的改进思路,提出一种基于ID3算法的优化算法,分析了优化算法的建树过程和优缺点,并以实验数据验证了新算法的性能。结论中概述了新算法的特性和下一步研究重点。

一种改进的C4.5算法

为了提高C4.5算法的有效性,提出了一种改进的MB—C4.5算法。该算法主要改进了C4.5算法的分枝策略和属性选取的标准。把分类效果较差的分枝合并到分类效果较好的分枝中。引进一个平衡度系数,系数大小由决策者依靠先验知识或领域知识确定。MB—C4.5算法在提高重要属性的选择、减少无意义分枝、过度拟合等方面有一定提高。用该算法构造出的决策树进行分类更为准确、合理。对改进前后的算法用实例进行分析,说明MB—C4.5算法的有效性。