基于相对密度信息的模糊代价敏感极限学习机

代价敏感学习是为了尽可能使得少数类样本不被误分,采用针对各个类别的样本设置不一样的误分代价的方法,是解决类别不平衡问题的重要方法之一。但是,其缺陷是未考虑样本在特征空间中的具体分布情况。针对这一问题,论文基于加权极限学习机,融合模糊加权的理念,提出一种鲁棒性更强的新概念——相对密度信息,该方法是通过K近邻概率密度估计策略计算各训练样本间的相对密度,可以避免在高维空间下直接进行概率密度的计算,然后进行隶属函数的设计,模糊化和个性化设置每个样本的权重,通过以上方法生成的权重矩阵来代替加权极限学习机中的权重矩阵,从而设计出基于类内相对密度信息的模糊代价敏感极限学习机和基于类间相对密度信息的模糊代价敏感极限学习机。最后通过从Keel仓库随机获取的20个二元不平衡数据集,对所提两种算法是否有效及可行进行验证。根据实验结果,与流行的类别不平衡学习算法相比,所提算法在G-mean等评价指标上具有较优表现,因此所提算法构造的预测模型具有更好的预测性能。

基于OCkNN+ENN的过采样算法研究

类不平衡学习是机器学习领域热点问题之一。在类别不平衡学习方法中,SMOTE被认为是其中的一个基准算法。虽然SMOTE算法在绝大多数的类不平衡数据集上表现良好,但它也存在一些问题,如会产生噪声干扰和噪声传播。基于对SMOTE改进算法的研究,提出了一种更加鲁棒和通用的算法:ONE-SMOTE。研究发现:使用ENN进行数据清洗,可以很好地消除数据噪声,使用基于KNN的一类分类器(OCkNN)可以探测样本空间的相对密度分布信息,并精确定位每个样本的相对密度位置以及边界。基于样本位置信息进行过采样可以很好地保持原始样本空间的密度分布。实验结果表明:该算法能有效提高数据分类的准确性。