基于Fisher score与模糊邻域熵的多标记特征选择算法

针对Fisher score未充分考虑特征与标记以及标记之间的相关性,以及一些邻域粗糙集模型容易忽略边界域中知识粒的不确定性,导致算法分类性能偏低等问题,提出一种基于Fisher score与模糊邻域熵的多标记特征选择算法(MLFSF)。首先,利用最大信息系数(MIC)衡量特征与标记之间的关联程度,构建特征与标记关系矩阵;基于修正余弦相似度定义标记关系矩阵,分析标记之间的相关性。其次,给出一种二阶策略获得多个二阶标记关系组,以此重新划分多标记论域;通过增强标记之间的强相关性和削弱标记之间的弱相关性得到每个特征的得分,进而改进Fisher score模型,对多标记数据进行预处理。再次,引入多标记分类间隔,定义自适应邻域半径和邻域类并构造了上、下近似集;在此基础上提出了多标记粗糙隶属度函数,将多标记邻域粗糙集映射到模糊集,基于多标记模糊邻域给出了上、下近似集以及多标记模糊邻域粗糙集模型,由此定义模糊邻域熵和多标记模糊邻域熵,有效度量边界域的不确定性。最后,设计基于二阶标记相关性的多标记Fisher score特征选择算法(MFSLC),从而构建MLFSF。在多标记K近邻(MLKNN)分类器下11个多标记数据集上的实验结果表明,相较于ReliefF多标记特征选择(MFSR)等6种先进算法,MLFSF的平均分类精度(AP)的均值提高了2.47~6.66个百分点;同时,在多数数据集上,MLFSF在5个评价指标上均能取得最优值。

基于模糊邻域判别指数的在线流组特征选择

在线流组特征选择可以充分利用特征流中原始的组结构信息,以在线的方式处理特征选择问题。然而,现有方法大多无法处理具有模糊性和不确定性的数据。为此,提出一种基于模糊邻域判别指数的在线流组特征选择算法。设计一种模糊邻域判别指数,用于描述模糊邻域粒的判别信息,扩展相关的不确定性度量方法。在此基础上,用组内特征选择和组间特征选择两种策略选择具有强近似能力且非冗余的特征。在8个公共数据集上进行对比实验,验证了该算法具有更优且稳定的分类性能。

基于自适应邻域空间粗糙集模型的直觉模糊熵特征选择

特征选择是数据预处理中一项很重要的技术,主要从原始数据集的特征中选出一些最有效的特征以降低数据集的维度,从而提高学习算法性能.目前基于邻域粗糙集模型的特征选择算法中,由于没有考虑数据分布不均的问题,对象的邻域存在一定的缺陷.为了解决这个问题,采用方差来度量数据的分布情况,重新定义二元邻域空间,基于此提出自适应二元邻域空间的粗糙集模型,并将该模型与邻域直觉模糊熵结合作为特征评估的方式,进而构造相应的特征选择算法.UCI实验结果表明:所提出的算法能够选出更小且具有更高分类精度的特征子集,同时算法拥有更少的时间消耗.因此所提的特征选择算法具有更强的优越性.

基于模糊邻域熵的多粒度离群点检测方法

离群点检测是数据挖掘和机器学习领域重要的研究方向之一,其目的是识别与其他样本表现显著不同的样本。本文提出了一种基于模糊邻域熵的多粒度离群点检测方法。首先,将模糊相似性引入邻域熵和相对熵,提出模糊邻域熵和相对模糊邻域熵的不确定性度量。其次,分析了模糊邻域熵和相对模糊邻域熵在逻辑和几何上的差异特性。最后,结合理想解法(TOPSIS)和多粒度序列提出了新的样本离群程度评判标准TFMME-OF(TOPSIS and Fuzzy Multigranulation Mixed Entropy-based Outlier Factor)。实验结果表明,该方法相较于其它同类方法有更好的离群点检测效果。