基于信息熵的特征子集选择启发式算法的研究

特征子集选择问题是机器学习和模式识别中的一个重要问题．最优特征子集选择问题已被证明是ＮＰ难题．然而，目前的特征子集选择的启发式算法是基于正反例一致的，没有考虑到实际应用中的噪音数据影响，使得选择一个较好的特征子集非常困难．首先从统计学的角度分析了噪音对特征子集选择的影响，给出含有错误率的一致特征子集概念，然后利用信息熵和拉普拉斯错误估计函数构造了特征子集选择启发式算法ＥＦＳ（ｅｎｔｒｏｐｙｂａｓｅｄｆｅａｔｕｒｅｓｕｂｓｅｔｓｅｌｅｃｔｉｏｎ）．将该算法应用于两个实际领域的学习问题，并与ＧＦＳ（ｇｒｅｅｄｙｆｅａｔｕｒｅｓｕｂｓｅｔｓｅｌｅｃｔｉｏｎ）算法进行了比较．实验结果表明，ＥＦＳ选择的特征子集更具有代表性。

基于扩张矩阵的渐进式特征子集选择算法

特征子集选择问题一直是人工智能领域研究的重要内容,特别是近几年来,特征子集选择的算法研究已经成为机器学习和数据挖掘等领域的一个研究热点。该文在扩张矩阵的基础上提出了类扩张矩阵的概念,并将加权的期望信息和不一致错误率函数应用于特征子集的选择,实现了具有噪音处理功能的渐进式特征子集选择算法———IFSS_EM,实际领域的实验结果表明:IFSS_EM算法具有运行效率高、选择特征较具有代表性的优点,从而使其能够较好地应用于实际领域。