不完备信息系统的容差邻域熵和属性选择

邻域粗糙计算模型可以处理信息系统中名义属性和字符属性共存的问题而得到了广泛应用.现有的邻域粗糙计算方法仅讨论了其处理完备信息系统问题,然而实际应用中的数据往往是不完备的.针对这一问题,首先提出了可用于度量不完备信息系统的容差邻域熵;然后得出了一系列相关定义和性质,证明了容差邻域熵是香农熵在不完备信息系统上的自然推广;最后给出了基于容差邻域熵的属性选择算法.实验结果表明,所提出的算法避免了数据过分预处理而带来的冗余信息,使样本在算法选择的特征空间内保持了较高的分类精度,可以更好地处理信息系统不完备的问题.

基于邻域容差熵选择集成分类算法

针对不完备混合型信息系统的分类问题,融合粒计算和集成学习思想,引入邻域容差关系,提出基于邻域容差熵选择集成分类算法。首先根据样本中的缺失属性将不完备混合型数据集划分为不同的信息粒,并再次遍历数据集进行最大化信息粒,构成新的粒空间,用以BP神经网络为基分类器的集成算法在粒空间上训练最大化信息粒,构建新的基分类器;然后以每个信息粒的缺失属性作为条件计算出关于类别属性的邻域容差条件熵,各个信息粒的重要度通过邻域容差条件熵进行量化后,通过信息粒的大小、新训练出的基分类器预测准确率以及邻域容差条件熵重新定义各个基分类器的权重;最后根据预测样本对基分类器加权集成,预测分类结果,并与传统的集成分类算法进行对比分析。对于不完备混合型数据集,新提出的集成分类算法能有效提升分类准确率。