面向高维不平衡数据的特征选择算法

针对传统高维不平衡数据集的分类算法存在偏向多数类、忽视少数类等问题,本文提出一种基于密度聚类和重要性度量的特征选择算法(DBIM).首先通过随机降采样的方法构造出多个平衡子集,使用DBSCAN密度聚类方法作为基分类器生成初始特征子空间.然后按照重要度对特征进行排序选择出较强分类的特征.最后,为了避免特征之间的冗余性,设计基于类分布的权重指标与冗余性评价指标相结合的方法进行计算,生成高质量的特征子集.在8个公开数据集上的实验结果表明,本文提出DBIM算法可以生成高相关度且低冗余度的特征子集,对高维不平衡数据集进行有效降维,提高分类性能.

基于不平衡数据的特征选择算法研究

不平衡分类问题广泛存在于医学检测、人脸识别、异常检测等领域,研究表明对于不平衡数据分类,有效的特征选择算法至关重要。对特征选择算法Laplacian进行改进,在考虑不平衡数据分类评价指标的同时,提出基于改进的Laplacian特征选择算法,该算法首先使用Laplacian分数对特征进行评估;其次通过聚类对选择的特征进行聚类;最后通过聚类后的标签和真实的标签来计算每个特征子集的归一化信息,有着最高归一化值的特征子集即为最优特征子集。实验结果表明,本文提出的算法能有效进行不平衡数据的特征选择,在一定程度上提高了小类的分类性能。

中医药领域不平衡数据的特征选择和分类方法研究

随着医院信息化进程的推进,医院产生了海量医学电子数据,利用信息技术探索和挖掘中医药数据成为推动中医药事业和产业高质量发展的重要手段。常见的分类模型方法对类别不平衡数据普适性差,而中医药领域对分类结果的准确性要求高,错误分类可能导致严重后果,因此文章综合归纳不平衡数据的分类方法,提出一种结合不平衡比的分类方法,为后续的研究提供参考。

基于不平衡数据的特征选择算法研究

不平衡分类问题广泛存在于医疗、经济等领域,对于不平衡数据集分类,特别是高维数据分类时,有效的特征选择算法至关重要。然而多数特征选择算法未考虑特征协同的影响,导致分类性能下降。对FAST特征选择算法进行改进,并考虑特征的协同作用,提出一种新的特征选择算法FSBS。运用AUC对特征进行评估,以相互增益衡量协同作用大小,选出有效特征,进而对不平衡数据进行分类。实验结果表明,该算法能有效地选择特征,尤其在特征数量较少的情况下可保持较高的分类准确率。

面向高维不平衡医学数据的特征选择算法

基于传统机器学习分类算法对影像组学的高维不平衡数据分类结果不理想的问题,本文提出一种改进海洋捕食者的不平衡特征选择算法.首先,对海洋捕食者算法MPA算法进行改进,引入精英反向矩阵增加算法迭代后期的种群多样性,引入新的CF参数改善算法的收敛速度与精度,同时合理分配原始参数分布和取值来满足算法在不同阶段的搜索需求;接着针对不平衡数据引入新的目标函数来帮助MPA算法收敛到更优的特征子集.最后,基于G-means的精英反向海洋捕食者算法GEMPA算法在14个基础测试函数上进行测试并在12个公开数据集上与MPA,基于K个最近邻相关性的在线特征选择算法K-OFSD以及其余的6种元启发式算法GA、PSO、CSO、SSA、SCA和MFO对比分析.以平均F-measure值,平均特征数量,平均运行时间为评估指标,通过实验可知GEMPA算法能够快速搜索到分类精度最高的特征子集,降低高维数据的冗余度,针对改善高维不平衡数据分类问题有很好的发展潜力.

基于邻域容差互信息和鲸鱼优化算法的非平衡数据特征选择

针对大多数特征选择算法未充分考虑数据的类不均匀分布、特征之间的相关性和不同参数对特征选择结果的影响等问题,提出一种基于邻域容差互信息和鲸鱼优化算法(WOA)的非平衡数据特征选择方法。首先,在不完备邻域决策系统中,针对二分类数据集和多分类数据集,基于上、下边界域定义两种非平衡数据的特征重要度;然后,为充分反映特征的决策能力和特征之间的相关性,构建邻域容差互信息;最后,通过将非平衡数据特征重要度和邻域容差互信息相结合,提出基于邻域容差互信息的非平衡数据特征选择(FSIDN)算法,该算法采用WOA获取特征选择算法中的最优参数,并引入非线性收敛因子和自适应惯性权重来改进WOA,以解决WOA易陷入局部最优的问题。在8个基准函数上进行实验,结果表明改进的WOA具有较好的优化性能;在13个二分类和4个多分类的非平衡数据集上进行特征选择实验,实验结果表明,与其他相关算法相比,所提算法能够有效地选择出具有良好分类性能的特征子集。

基于NMI-SC的糖尿病混合数据特征选择

针对糖尿病预测精度受高维混合数据影响的问题,提出基于NMI-SC的糖尿病特征选择方法,通过邻域互信息(NMI)计算混合属性特征邻域半径内的联合概率密度,构建相似度矩阵,通过糖尿病特征之间的相似性构建无向图,基于谱聚类(SC)将糖尿病特征切分为多个特征相似组,实现非线性特征间的聚类,根据特征分类重要性选出相似组中的代表特征。并将其与原始特征集在支持向量机分类器上的准确率进行比较,该特征选择方法在删除46个冗余特征后,准确率提高了13.07%。实验结果表明,该方法能有效删除冗余特征,得到糖尿病分类性能优异的特征子集。

基于熵的微阵列数据特征选择

针对基于熵的特征加权算法忽略了数据集内在特性对特征重要性的影响,导致特征选择效果不佳的问题,提出一种改进的基于熵的特征加权算法,根据信息熵计算特征维度的重要性权重,通过引入交叉验证实现不同数据集的阈值学习,确定用于度量特征重要性的最佳阈值参数,并基于该阈值对数据集进行特征选择。在微阵列数据集上的数值实验结果表明:相比于原算法,所提算法能够减少更多的维度,且特征子集用于分类得到的准确率与原算法基本持平甚至有所提高,说明改进的算法是可行和有效的。

基于冗余分析的数据中心服务器能耗特征选择

应用精确的服务器能耗模型对能耗进行预测,可为资源调度方法提供重要依据。考虑到云数据中心服务器能耗特征维度高、冗余特征难以判断的题,分析特征与特征之间、特征与目标值之间皮尔逊相关性系数的联系,并给出服务器能耗冗余特征的判断准则,在此基础上提出一种基于冗余分析的服务器能耗特征选择算法。实验结果表明了所提能耗特征选择算法在服务器能耗模型构建中的有效性。

最大相关和最大差异的高维数据特征选择算法

针对高维数据存在冗余信息且维度过高的问题,提出基于信息量的最大相关最大差异特征选择算法(MCD)。首先,利用互信息(MI)度量特征和标签之间的相关性,对特征进行排序,选择互信息最大的特征加入特征子集;然后,引入信息距离度量特征之间的信息冗余性及差异性,设计评价准则对每个特征进行评价,使特征子集中特征和标签的相关性、特征之间的差异性最大;最后,用前向搜索策略结合评价准则进行属性约简,最优化特征子集。采用2种不同的分类器,在6个数据集上和mRMR(minimal-Redundancy-Maximal-Relevance criterion)、RReliefF等5个经典算法进行对比实验,利用分类精度验证MCD的有效性。在支持向量机(SVM)分类器下,平均分类精度提高了5.67~23.80个百分点;在K-近邻(KNN)分类器下,平均分类精度提高了2.69~25.18个百分点。可见,MCD在绝大多数情况下,能有效去除冗余特征,分类精度有明显提高。

一种基于FKPCA和AHP的房屋安全大数据特征选择与分类算法

快速核主成分分析算法(fast kernel principal component analysis,FKPCA)和层次分析法(analytic hierarchy process,AHP)在房屋安全大数据分析中可以检测异常、预测故障、优化决策等,提供房屋安全管理和风险控制的支持。本文首先针对房屋安全大数据特征选择与分类问题,提出一种基于快速FKPCA与AHP的算法。其次,通过FKPCA对大数据进行降维,使用AHP方法进行特征权重计算,从而筛选出与房屋安全密切相关的特征,最后,用选定的特征进行优化分析。该算法通过特征选择性能评价和分类模型性能评价两方面进行评估,以提升分类模型的性能和准确性。

基于依赖度的时序数据的特征选择方法

随着大数据时代的不断发展,时序数据广泛存在于生活的各个领域。但现有的信息系统无法存放时序数据或者分类准确率较低。因此,本文构建时序模糊信息表,引入模糊相似关系,提出可以存放时序数据的时序模糊决策粗糙集模型,并研究其性质,给出基于时序依赖度的特征选择方法。

基于多准则决策的不平衡感知数据集成特征选择算法

在数据挖掘领域,不平衡数据普遍存在。在许多情况下,这些数据通常具有高维性和类不平衡性。不平衡数据集特征属性分布失衡,会造成分类性能下降,数据的高维性则会导致学习算法非常耗时。针对这一问题,提出了一种基于组合采样和集成学习的特征选择方法。首先使用组合采样方法,处理类不平衡问题,重点合成少数类样本,在保证数据集达到平衡的前提下去除噪声样本,将集成特征选择建模为一个多准则决策过程,使用VIKOR方法得到特征重要性排序,然后在序列前向搜索特征的过程中,使用XGBoost算法的准确率作为评估特征子集优劣的指标,确定最优特征子集。选择AUC、G-mean和F-measure作为评价指标,通过在5组不平衡数据集进行实验,证实了所提算法具有更好的分类效果,且模型的鲁棒性更好。

进化计算在大规模高维特征选择中的应用综述

随着大数据时代的到来,数据的规模和特征维度呈现爆炸式增长,这给数据处理带来了前所未有的挑战。特征选择作为数据预处理的关键环节,在处理大规模高维数据时显得尤为重要。而进化计算方法因其出色的全局搜索能力和高效的优化性能,越来越多的研究者开始对其进行研究,其在大规模高维特征选择中得到了广泛的应用。本文首先介绍了大规模高维数据处理的重要性;然后简单介绍了部分经典和较新的进化计算方法,并详细介绍了其在大规模高维特征选择中的应用情况;最后对目前进化计算在大规模高维特征选择中存在的问题进行总结,并展望了其未来的发展方向。

面向不平衡数据和特征冗余的网络入侵检测

为了解决传统方法因数据不平衡及特征冗余而导致检测准确率不高的问题,提出了一种结合SMOTE(synthetic minority over-sampling technique)算法采样的SDAE-LSTM(stacked deep auto-encoder-long short term memory)入侵检测模型。首先,针对数据不平衡问题,采用SMOTE算法在少数类样本点之间随机插入样本增加其数量,达到类间平衡的目的。其次,针对特征冗余问题,利用堆叠式深度自编码器(stacked deep auto-encoder,SDAE)进行降维,实现数据的深度特征提取。最后,基于长短期记忆(long short term memory,LSTM)神经网络,精准捕获网络入侵特征,准确地实现入侵检测。通过在UNSW-NB15数据集上的大量实验,有效证明了本文模型与其他模型相比有着更好的入侵检测效果。

不平衡数据集上的Relief特征选择算法

Relief算法为系列特征选择方法,包括最早提出的Relief算法和后来拓展的ReliefF算法,核心思想是对分类贡献大的特征赋予较大的权值;特点是算法简单,运行效率高,因此有着广泛的应用。但直接将Relief算法应用于有干扰的数据集或不平衡数据集,效果并不理想。基于Relief算法,提出一种干扰数据特征选择算法,称为阈值-Relief算法,有效消除了干扰数据对分类结果的影响。结合K-means算法,提出两种不平衡数据集特征选择算法,分别称为K-means-ReliefF算法和K-means-Relief抽样算法,有效弥补了Relief算法在不平衡数据集上表现出的不足。实验证明了本文算法的有效性。

不平衡数据集上的文本分类特征选择新方法

针对不平衡数据集上进行文本分类,传统的特征选择方法容易导致分类器倾向于大类而忽视小类,提出一种新的特征选择方法 IPR(integrated probability ratio)。该方法综合考虑特征在正类和负类中的分布性质,结合四种衡量特征类别相关性的指标对特征词进行评分,能够更好地解决传统特征选择方法在不平衡数据集上的不适应性,在不降低大类分类性能的同时提高了小类的识别率。实验结果表明,该方法有效可行。

基于后验概率的不平衡数据集特征选择算法

针对不平衡数据集,提出一种基于后验概率的特征选择算法。该算法引入基于Parzen-window方法估算的不均衡因子,并以Tomeklinks中点为初始值进行迭代,找出满足后验概率相等的判别边界点,通过对这些点法向量进行投影计算得到各特征的权值。实验表明,对于不平衡数据集,该算法在不降低分类器总体性能的基础上,不仅可以有效降低维度,节省计算开销,而且能够避免常规特征选择算法用于不平衡数据时忽视小类的缺点。

不平衡数据的无监督特征选择方法

传统特征选择方法大部分是以分布均衡的数据为研究对象,以优化总体分类精度为基本目标,所以很少有方法在不平衡数据集上得到理想的学习效果.依据数据的分布特点,提出一种新的面向不平衡数据集的特征选择方法.该方法在无监督环境下,依据聚类簇大小的变化以通过在不同簇的相同特征上对其特征重要性度量函数分配不同的权重来调整数据分布的不均衡性.在多个UCI不平衡数据集上的实验结果表明,相比于其它几种经典的特征选择方法,所提出的方法在不降低总体分类精度的情况下,不仅可以有效选择更少的特征数目,而且还可以提高少数类在不同分类器上的分类精度、召回率及F-Measure值.

基于近邻元分析的风电机组状态监测特征选择方法

针对现有特征选择方法难以从大量的SCADA参量中挑选出重要变量的问题,基于近邻元分析算法提出一种专门适用于风电机组状态监测的特征变量选择方法。所提方法根据每个待选变量对回归精度的贡献率为各变量赋予相应的重要度权值,从而挑选出最重要的特征变量。通过分析SCADA数据中冗余变量的特点,针对性地提出了基于相关系数矩阵的去除冗余方法。采用Pearson相关系数、互信息和随机森林三种方法作为对比,以门控循环神经网络作为模型预测齿轮箱油池温度,用预测精度指标和残差控制图对各特征选择方法的选择结果进行评价和对比,结果表明所提方法的特征选择结果更加直观、冗余变量更少、预测精度更高。