基于双向有序互信息的单调分类决策树算法

决策树是一种智能进行实例分类的数据挖掘方法,已被广泛应用于机器学习、数据挖掘、智能控制等人工智能领域.单调决策树可以解决属性具有单调序关系的分类问题,近年来引起了国内外研究者的广泛关注.Hu提出了基于优势关系的有序信息熵的概念,并将其成功地运用于有序决策树的构造算法中,得到了较好的效果.在Hu的算法的基础上,利用双向的有序互信息生成不同的决策树,再集成其分类规则得到最后的决策结果,实验数据表明,相对于单向的有序分类树,此算法可以提高分类准确率,缩短分类规则的长度.

基于有序条件互信息和有限父结点构建基因调控网络

基因调控网络重建是功能基因组研究的基础,有助于理解基因间的调控机理,探索复杂的生命系统及其本质.针对传统贝叶斯方法计算复杂度高、仅能构建小规模基因调控网络,而信息论方法假阳性边较多、且不能推测基因因果定向问题.本文基于有序条件互信息和有限父结点,提出一种快速构建基因调控网络的OCMIPN算法.OCMIPN方法首先采用有序条件互信息构建基因调控相关网络;然后根据基因调控网络拓扑先验知识,限制每个基因结点的父结点数量,利用贝叶斯方法推断出基因调控网络结构,有效降低算法的时间计算复杂度.人工合成网络及真实生物分子网络上仿真实验结果表明:OCMIPN方法不仅能构建出高精度的基因调控网络,且时间计算复杂度较低,其性能优于LASSO、ARACNE、Scan BMA和LBN等现有流行算法.

有序决策树的比较研究

有序分类是现实生活中广泛存在的一种分类问题。基于排序熵的有序决策树算法是处理有序分类问题的重要方法之一,这种方法是以排序互信息作为启发式来构建有序决策树。基于这项工作,通过引入模糊有序熵,并以模糊有序互信息作为启发式构建模糊有序决策树,对有序决策树进行了扩展。这两种算法在实际应用中各有自己的优劣之处,从四个方面对这两种算法进行了详细的比较,并指出了这两种算法的异同及优缺点。

面向单调分类的简洁单调TSK模糊系统

Takagi-Sugeno-Kang(TSK)模糊系统的一致逼近能力和可解释性使其可以直观高效地描述复杂的非线性不确定系统,可以有效地应用于模式分类.然而,对于单调分类任务,现有的模糊分类算法并没有考虑单调数据存在的有序关系,因此这些算法对于单调分类任务在模型的复杂度和分类性能方面有待改进.针对此问题,提出了面向单调分类的简洁单调TSK模糊系统建模方法(Concise Monotonic TSK Fuzzy System for Monotonic Classification,CM-TSK-FS),引入有序互信息进行单调特征选择,然后利用抽取的特征来训练TSK模糊系统进行分类识别.该方法有如下优点:(1)由于对单调数据进行了特征选择,新方法降低了TSK模糊系统规则的复杂性,因而得到的模糊系统更加简洁;(2)由于在特征抽取时考虑了单调数据的特征值和决策值之间的单调性,使得训练的模型的分类性能也有了一定程度的提高.在多个单调数据集上进行了实验验证,实验结果表明:面向单调分类的简洁单调TSK模糊系统在处理单调数据集时,通过选取重要的单调数据特征,不仅可以降低其模型的复杂性,还可以提高分类精度.

基于有序决策树的改进归纳算法

基于构建有序决策树,提出了一种新的归纳算法。该算法选择的扩展属性不仅和类的有序互信息值最大,而且要求和同一分支上已被用过的条件属性的有序互信息值最小。实验结果表明,考虑了条件属性之间的相关性后,可避免同一条件属性的重复选择,真正体现了条件属性和决策属性之间的有序互信息,与已有的算法相比,提高了测试精度。