基于对称不确定性和三路交互信息的特征子集选择算法

由于在评价冗余特征时只考虑对称不确定性或最大信息系数等某一种度量标准,使得现有的一些特征子集选择算法存在性能不理想的问题.针对该问题,提出了一种基于对称不确定性和三路交互信息的特征子集选择算法.首先,计算特征与类标签的对称不确定性,按照其值大小对特征作降序排序处理,并消除不相关特征;然后,计算特征间的对称不确定性以及特征与类标签的三路交互信息,并与特征与类标签的对称不确定性一起,经过比较和排序等运算以消除冗余特征而得到选取的特征.在评价冗余特征上同时考虑对称不确定性和三路交互信息两种度量标准,并结合比较和排序等运算,可以减少将相关特征当作冗余特征而消除的情况,使得一些效果显著的相关特征得以保留.为验证所提算法的性能,采用J48、IB1和Naïve Bayes 3种分类器将其与另外4种特征子集选择算法在3个UCI数据集和9个ASU数据集上进行实验.实验结果表明,所提算法能够在选取特征数和用时均较少的情况下取得很好的特征选择效果.

一种采用冗余性动态权重的特征选择算法

由于候选特征与类标签间的相关性,候选特征、已选特征与类标签间的交互性以及特征间的冗余性是特征选择算法应考虑的重要因素,而一些基于互信息和三维互信息的特征选择算法没有同时考虑相关性、交互性和冗余性信息,这影响了它们的性能。针对该问题,提出一种采用冗余性动态权重的特征选择算法,将对称不确定性和三路交互信息作为评价指标,采用一种动态更新特征权重的方法使目标函数在考虑相关性、交互性的基础上,同时考虑特征间的冗余性。在10种数据集上利用3种分类器与典型的基于互信息的特征选择算法做了对比实验,结果表明所提算法具有更好的特征选择性能。