最大相关与独立分类信息最大化特征选择算法

模式识别、自然语言处理和生物信息学等各领域的高维数据,存在着大量的无关和冗余特征,增加了数据分析时问题的复杂度,因此有必要通过特征选择来剔除无关和冗余特征。基于互信息的特征选择算法评价准则存在以下不足:评价标准单一,以最小化特征之间冗余性或最大化特征提供的新分类信息评价特征,选择出的特征不具有最佳的类辨别能力;基于累加求和的评价准则易过高估计特征的重要性。为此,提出一种基于最大相关性独立分类信息最大化(maximum relevance and independent classification information maximization,MRICIM)的特征选择算法。该算法以互信息评价特征与类别的相关性,采用独立分类信息综合衡量新分类信息和特征冗余,利用最大最小准则对特征的重要性进行非线性评价。在6个评测数据集上与4个具有代表性的特征选择算法进行比较,结果表明,MRICIM能够有效地提升分类准确率和F-measure。

最大化独立有效分类信息率的属性选择

粗糙集中的属性选择有着十分重要的应用价值。现有的属性选择方法大多忽视了衡量待选属性所提供的分类信息和冗余信息,以及新增待选属性时已选属性所保留的分类信息三者之间的关联。因此,首先利用传统互信息,定义了有效分类信息率的属性重要性评估函数,并提出了一种基于有效分类信息率的属性选择方法。该属性选择方法可以有效地选择能提供大量有效分类信息同时携带较少冗余信息的待选属性。另外,考虑到新增待选属性对已选属性所保留的分类信息的影响,进一步提出了独立有效分类信息率的概念,并构造一种基于独立分类有效信息率的改进属性选择方法。该改进的属性选择方法能够有助于平衡属性的有效分类信息和冗余信息的关系,同时提高属性子集的整体识别能力。最后,从分类性能和统计学检验等方面分别与现有的属性选择方法进行了对比实验,实验结果表明了所提出的两种属性选择方法的有效性。