一种基于决策森林的单调分类方法

单调分类问题是特征与类别之间带有单调性约束的有序分类问题.对于符号数据的单调分类问题已有较好的方法,但对于数值数据,现有的方法分类精度和运行效率有限.提出一种基于决策森林的单调分类方法(monotonic classification method based on decision forest,MCDF),设计采样策略来构造决策树,可以保持数据子集与原数据集分布一致,并通过样本权重避免非单调数据的影响,在保持较高分类精度的同时有效提高了运行效率,同时这种策略可以自动确定决策森林中决策树的个数.在决策森林进行分类时,给出了决策冲突时的解决方法.提出的方法既可以处理符号数据,也可以处理数值数据.在人造数据集、UCI及真实数据集上的实验数据表明:该方法可以提高单调分类性能和运行效率,缩短分类规则的长度,解决数据集规模较大的单调分类问题.

基于双向有序互信息的单调分类决策树算法

决策树是一种智能进行实例分类的数据挖掘方法,已被广泛应用于机器学习、数据挖掘、智能控制等人工智能领域.单调决策树可以解决属性具有单调序关系的分类问题,近年来引起了国内外研究者的广泛关注.Hu提出了基于优势关系的有序信息熵的概念,并将其成功地运用于有序决策树的构造算法中,得到了较好的效果.在Hu的算法的基础上,利用双向的有序互信息生成不同的决策树,再集成其分类规则得到最后的决策结果,实验数据表明,相对于单向的有序分类树,此算法可以提高分类准确率,缩短分类规则的长度.

面向单调分类的简洁单调TSK模糊系统

Takagi-Sugeno-Kang(TSK)模糊系统的一致逼近能力和可解释性使其可以直观高效地描述复杂的非线性不确定系统,可以有效地应用于模式分类.然而,对于单调分类任务,现有的模糊分类算法并没有考虑单调数据存在的有序关系,因此这些算法对于单调分类任务在模型的复杂度和分类性能方面有待改进.针对此问题,提出了面向单调分类的简洁单调TSK模糊系统建模方法(Concise Monotonic TSK Fuzzy System for Monotonic Classification,CM-TSK-FS),引入有序互信息进行单调特征选择,然后利用抽取的特征来训练TSK模糊系统进行分类识别.该方法有如下优点:(1)由于对单调数据进行了特征选择,新方法降低了TSK模糊系统规则的复杂性,因而得到的模糊系统更加简洁;(2)由于在特征抽取时考虑了单调数据的特征值和决策值之间的单调性,使得训练的模型的分类性能也有了一定程度的提高.在多个单调数据集上进行了实验验证,实验结果表明:面向单调分类的简洁单调TSK模糊系统在处理单调数据集时,通过选取重要的单调数据特征,不仅可以降低其模型的复杂性,还可以提高分类精度.

面向单调特征选择的改进模糊排序互信息

缺失值、异常值等低质信息的大量存在使得实际应用中单调分类任务通常不满足一致性单调约束。然而,现有的面向单调分类的特征选择算法中用于评估特征相关性的互信息度量准则在处理不一致单调分类任务时不满足特征集合与度量准则之间的单调性限制关系。针对此问题,首先对经典的模糊排序信息熵进行了改进,使之满足单调性限制关系。进一步定义了模糊排序互信息(nFRMI)用于评估特征之间的单调一致性,并证明了该度量准则在一致性和不一致性单调分类任务中均满足单调性约束,此外结合最大相关最小冗余(mRMR)准则提出了两阶段的特征选择算法。算法第一阶段利用nFRMI计算每个特征的特征重要度,然后根据特征重要度得到特征排序;第二阶段采用Wrapper方法选出具有最优分类性能的特征子集。仿真实验从UCI挑选了四个单调分类数据集,并从分类精度指标对所提出的特征选择算法的有效性进行了验证。

区间值属性的单调决策树算法

目前存在的一些区间值属性决策树算法都是在无序情况下设计的,未考虑条件属性和决策属性之间的序关系.针对这些算法处理有序分类问题的不足,提出区间值属性的单调决策树算法,用于处理区间值属性的单调分类问题.该算法利用可能度确定区间值属性的序关系,使用排序互信息度量区间值属性的单调一致程度,通过排序互信息的最大化选取扩展属性.此外,将非平衡割点应用到区间值属性决策树构建过程中,减少排序互信息的计算次数,提高计算效率.实验表明文中算法提高了效率和测试精度.

单调约束的TSK模糊系统模型

TSK(Takagi-Sugeno-Kang)模糊系统已被广泛应用于回归、分类和决策等方面,并展现出了良好的精度和可解释性,但是对于存在单调数据的建模场景,TSK模糊系统的建模效果还不够理想。针对此,提出了一个新颖的单调TSK模糊系统(MC-TSK)。通过在原始的TSK模糊系统模型上添加单调约束使MC-TSK满足单调性。MC-TSK不要求特征和输出之间存在的单调关系是一致的,这放宽了用于处理单调分类问题时大多数现有方法中使用的一致单调性的假设。较广泛的实验结果表明,与已有的处理单调分类的方法相比,MC-TSK具有更好的分类性能并且保持了可解释性等方面的特点。