基于冗余性分析的改进ReliefF特征选择算法

为了解决ReliefF算法随机抽样会抽取到不具代表性的样本且未考虑特征间相关性的问题,提出基于冗余性分析的ReliefF特征选择算法。首先改进ReliefF的抽样策略,其次将特征权重序列划分为几个子集,分别利用最大信息系数及Pearson系数共同衡量特征相关性,设置相应采样比例剔除冗余特征。将改进算法与其他特征选择算法进行对比,结果表明相较于传统ReliefF,在LightGBM(Light Gradient Boosting Machine,轻量级梯度提升机器学习)上的分类准确率可提升0.63%~12.10%,在SVM(Support Vector Machine,支持向量机)上的分类准确率可提升0.92%~9.06%,改进算法的分类准确率明显优于其他几种特征选择算法,在考虑特征与标签相关性的同时,能有效剔除冗余信息。

基于ReliefF算法与遗传算法的肌电信号特征选择

针对肌电信号特征维数高、运算效率低等问题,提出了一种基于ReliefF算法与遗传算法(GA)相结合的肌电信号特征选择方法.分析了肌电信号的特征,运用小波分析对肌电信号进行特征提取,采用ReliefF算法评估所提取的高维特征信号的权值,以选出对分类效果影响显著(权值较大)的特征子集,采用GA进一步筛选出分类效果最佳的特征子集,并对比分析了基于ReliefFGA-Wrapper算法与全局搜索算法对肌电信号处理的时间和分类效果.结果表明,所提出的方法能够提高运算效率并具有很好的分类效果.

滚动轴承故障特征选择的Filter与改进灰狼优化混合算法

为了从原始高维特征空间中选择最具鉴别能力的特征,提高轴承故障诊断精度,提出了一种Filter与改进灰狼优化混合的故障特征选择算法。首先,针对滚动轴承的原始振动信号,利用一种基于Hilbert-Huang变换的时频域特征提取策略建立高维敏感特征集合。然后,通过由ReliefF算法与拉普拉斯分数构成的混合Filter方法对原始特征集合进行相关性评估并快速筛选重要特征,从而完成特征集合的一次预选。最后,引入改进灰狼优化算法对预选特征集合进行二次筛选,实现冗余特征去除的同时,完成对支持向量机模型参数的优化。利用旋转机械振动试验台获取故障轴承数据进行了验证,试验结果表明,该方法显著提高了分类器模型的诊断准确率,有效实现了故障数据集的特征降维,并且与同类方法相比,所提方法具有更好的综合性能。

基于ReliefF特征加权的人工蜂群聚类算法

针对模糊聚类算法对最优聚类中心的搜索能力偏弱,以及没有度量样本数据各维特征属性对聚类结果贡献度的问题,提出了一种ReliefF特征加权的人工蜂群聚类算法。算法利用人工蜂群算法搜索最优聚类中心,使用ReliefF算法度量数据各维特征权重,分析了各维特征对聚类的不同影响,减弱冗余特征对聚类的干扰,增强有效特征对聚类的贡献,对加权变换后的数据样本进行聚类以提高聚类效果。在UCI数据集上的对比实验结果表明,此算法具有很好的综合性能。

基于加权变异免疫算法的微钙化点特征选择

给出了一种乳腺X线照片微钙化点的特征选择方法,该方法运用基于加权变异算子的免疫算法进行特征优选。加权变异算子能够动态调整抗体各部位的变异率,在高亲和力抗体的邻近小范围搜索,在低亲和力抗体的周围跳跃式搜索;为了与支持向量机的分类准则保持一致性,该免疫算法在特征空间中通过核函数计算亲和力。实验使用该方法对微钙化点的20种常用特征进行选择,其结果与经验特征集基本相符但更精简,提高了计算效率,是一种可行的特征选择方法。

人工鱼群算法选择特征和加权的模拟电路故障诊断

为了准确跟踪模拟电路故障的变化特点,提出一种人工鱼群算法选择特征和加权的模拟电路故障诊断模型。首先根据Volterra级数获得模拟电路状态的原始特征集,然后采用相关向量机作为模拟电路故障的分类器,采用人工鱼群算法选择重要特征子集,并赋予每一个特征合理权值,最后将该模型应用于某一模拟电路故障中。结果表明,人工鱼群算法可以准确得到最优特征子集,模拟电路故障平均超过95%,而且其性能要显著优于经典模型。

高光谱图像分类的ReliefF-RFE特征选择算法构建与应用

高光谱图像具有波段连续、维数高、数据量大、相邻波段相关性强的特点,可为地物分类提供更为丰富的细节信息。但是,数据中存在大量冗余信息与噪声,在图像分类中如直接利用其所有波段特征而不进行有效分析与选择,将会导致较低的计算效率和较高的计算复杂度,分类精度亦可能随着波段维数增加而出现先增后减的“休斯(Hughes)现象”。为快速地从高达数十个甚至数百个波段的高光谱图像中提取出具有较好识别能力的特征子集,从而避免“维度灾难”,将过滤式ReliefF算法和封装式特征递归消除算法(RFE)相结合,构建了ReliefF-RFE特征选择算法,可用于高光谱图像分类的特征选择。该算法根据权重阈值,利用ReliefF算法快速剔除大量无关特征,缩小并优化特征子集的范围;利用RFE算法进一步搜索最优特征子集,将缩小范围后的特征子集中与分类器关联性小、冗余的特征进行递归筛选,进而得到分类性能最佳的特征子集。采用Indian pines数据集、Salinas-A数据集与KSC数据集等3个标准数据集作为实验数据,将ReliefF-RFE算法的应用效果与ReliefF和RFE算法进行对比。结果显示,在3个数据集中,应用ReliefF-RFE算法的高光谱图像分类平均总体精度(OA)为92.94%、F-measure为92.81%,Kappa系数为91.94%;ReliefF-RFE算法的平均特征维数是ReliefF算法的37%,而平均运算时间则是RFE算法的75%。由此表明,ReliefF-RFE算法能够在保证分类精度的同时,克服过滤式ReliefF算法无法有效减小特征之间冗余以及封装式RFE算法时间复杂度较高的缺陷,具有更为均衡的综合性能,适用于高光谱图像分类的特征选择。

基于ReliefF算法和相关度计算结合的故障特征降维方法及其应用

在对旋转机械进行故障诊断时,通常要从时域、频域或时频域提取故障特征参数,组成原始的故障特征向量,然而在众多的故障特征当中并不是每个特征对于故障分类都是敏感且有效的。为此,本研究提出了基于Relief F算法和相关度计算结合的故障特征降维方法。采用Relief F加权特征选择算法对原始各特征的分类能力进行评价,选择出分类能力较强的特征;再通过特征相关度算法剔除其中分类能力相近的冗余特征,将剩余的分类能力较强的特征组成最终的降维特征向量用于故障分类和诊断,实现原始特征的降维。通过液压泵和滚动轴承的故障诊断实验,并与传统的主元分析(PCA)方法对比,结果表明该方法能够用较少的降维后的信号特征获得更高的故障正确识别率。

基于最大信息系数的ReliefF和支持向量机交互的自动特征选择算法

为解决特征选择ReliefF算法在利用欧氏距离选取近邻样本过程中,算法稳定性差以及选取的特征子集分类准确率低的问题,提出了一种利用最大信息系数(MIC)作为近邻样本选择标准的MICReliefF算法;同时,以支持向量机(SVM)模型的分类准确率作为评价指标,并多次寻优,以自动确定其最优特征子集,从而实现MICReliefF算法与分类模型的交互优化,即MICReliefF-SVM自动特征选择算法。在多个UCI公开数据集上对MICReliefF-SVM算法的性能进行了验证。实验结果表明,MICReliefF-SVM自动特征选择算法不仅可以筛除更多的冗余特征,而且可以选择出具有良好稳定性和泛化能力的特征子集。与随机森林(RF)、最大相关最小冗余(mRMR)、相关性特征选择(CFS)等经典的特征选择算法相比,MICReliefF-SVM算法具有更高的分类准确率。

ReliefF与QPSO结合的故障特征选择算法

为提高故障数据集的分类精度,将ReliefF算法与量子粒子群算法(Quantum Particle Swarm Optimization,QPSO)进行结合,提出一种能够降低故障数据集维度的敏感故障特征选择方法。首先,在对经滤波消噪后的故障信号进行多域量化特征提取基础上,设定时域与频域特征、经小波包分解得到的各频带能量特征作为描述转子系统故障状态的初始故障特征集,并用转子系统的典型故障模拟信号集合得到了一种原始的故障数据集。随后,用ReliefF算法通过迭代计算得到的权值对故障数据集各特征向量进行加权、并设定阈值剔除不相关特征,据此实现了对原始故障数据集各特征的第一次筛选。最后,引入量子粒子群算法(QPSO)对特征集合进行二次筛选,剔除不利于实施分类的冗余特征并同时实现优化支持向量机的参数,通过处理得到了一种精简的最优特征子集和最合适的一组支持向量机参数。用得到的原始故障数据集对所建立的方法性能进行了计算验证。结果表明,该方法可有效地筛选出规模较小且故障模式辨识度高的低维故障数据集,它可显著提高故障分类器的辨识准确率。

基于ReliefF和蚁群算法的特征基因选择方法

针对高维小样本的DNA微阵列数据多分类问题,提出一种基于ReliefF和蚁群算法的特征基因选择方法(ReliefF and ant colony optimization,Re FACO)。该方法首先采用ReliefF算法评估特征权重,根据阈值筛选出无关基因;然后引入改进的蚁群算法,在迭代改进的过程中寻找最优基因子集;最后利用经典分类算法对维数约简后的数据分类识别。经实验证明,该方法可有效地剔除无关和冗余基因,并利用较少特征基因达到较高多分类效果。

ReliefF-MFO多标签特征选择算法

为解决启发式算法在多标签特征选择中可以达到较好效果但效率很低的问题,提出一种基于启发式算法的混合特征选择算法。使用ReliefF方法去除不相关特征,采用MFO算法进行特征子集寻优,提高分类器性能的同时达到较高的效率。将所提方法应用于多个典型多标签数据集分类问题并与现有启发式特征选择方法进行对比,实验结果表明了所提算法的有效性。

基于ReliefF的层次分类在线流特征选择算法

在图像标注、疾病诊断等实际分类任务中,数据标记空间的类别通常存在着层次化结构关系,且伴随着特征的高维性。许多层次特征选择算法因不同的实际任务需求而提出,但这些已有的特征选择算法忽略了特征空间的未知性和不确定性。针对上述问题,提出一种基于ReliefF的面向层次分类学习的在线流特征选择算法OH_ReliefF。首先将类别之间的层次关系融入ReliefF算法中,定义一种新的面向层次化数据的特征权重计算算法HF_ReliefF;其次,利用特征对决策属性的划分能力动态选择重要特征;最后,基于特征之间的独立性对特征进行动态冗余分析。实验结果表明,与五种先进的在线流特征选择算法作对比,OH_ReliefF算法在K最邻近(KNN)分类器和拉格朗日支持向量机(LSVM)分类器的各个评价指标中都取得较优的结果,准确率最少提高7个百分点。

基于ReliefF和蚁群算法的特征基因选择方法分析

文章以获得最佳特征分类效果为前提,针对ReliefF算法和蚁群算法,对其在特征基因选择中的运用展开了分析,从而确定了这两种方法对于特征分类的重要意义。

基于特征加权的分类器动态选择与循环集成算法

分类器动态选择性集成算法的研究通常利用局部近邻样本来评估基分类器的性能,从而导致由该方法建立的分类器模型预测精度不够高的不足,文章提出一种基于特征加权近邻样本评估的动态选择性循环集成方法。新方法利用支持向量机确定特征权重,通过加权的K近邻算法寻找近邻样本。计算多个基分类器对近邻样本的预测准确率,根据设定的误判容忍度阈值,动态筛选分类准确率较高及多样性较大的基分类器,实现系统的循环集成。采用UCI的四种数据集进行试验。结果表明,相比于普通的动态选择性集成算法,新算法分类准确率更高。

基于ReliefF和PSO混合特征选择的面向对象土地利用分类

针对面向对象土地利用分类存在特征维数过高的问题,提出了一种结合Relief F和粒子群优化算法(particle swarm optimization,PSO)的混合特征选择方法,即首先利用Relief F作为特征预选器滤除相关性小的特征,然后以PSO作为搜索算法,以支持向量机(support vector machine,SVM)的分类精度作为评估函数在剩余特征中选择出最优特征子集。该文以吉林省长春市部分区域为研究区,采用Landsat8遥感影像为数据源,首先对其进行多尺度分割,然后提取影像对象的光谱、纹理、形状和空间关系特征,利用提出的混合特征选择方法选取最优特征子集,最后使用SVM分类器对研究区进行土地利用分类,总体分类精度和Kappa系数分别为85.88%和0.8036,与基于4种其他特征选择方法的土地利用分类结果进行比较,基于Relief F和PSO的混合特征选择方法利用最少的特征获得最高的分类精度,能够有效地用于面向对象土地利用分类。

不平衡数据集上的Relief特征选择算法

Relief算法为系列特征选择方法,包括最早提出的Relief算法和后来拓展的ReliefF算法,核心思想是对分类贡献大的特征赋予较大的权值;特点是算法简单,运行效率高,因此有着广泛的应用。但直接将Relief算法应用于有干扰的数据集或不平衡数据集,效果并不理想。基于Relief算法,提出一种干扰数据特征选择算法,称为阈值-Relief算法,有效消除了干扰数据对分类结果的影响。结合K-means算法,提出两种不平衡数据集特征选择算法,分别称为K-means-ReliefF算法和K-means-Relief抽样算法,有效弥补了Relief算法在不平衡数据集上表现出的不足。实验证明了本文算法的有效性。

基于遗传算法和支持向量机的特征选择研究

为了让特征子集获得较高的分类准确率,提出了基于遗传算法和支持向量机的特征选择方法。该方法在ReliefF算法提供先验信息的基础上,将SVM参数混编入特征选择基因编码中,然后利用遗传算法寻求最优的特征子集和支持向量机参数组合。实验结果表明,通过该方法选择的特征子集和支持向量机参数组合能以较小的特征子集获得较高的分类准确率。

基于特征加权与特征选择的数据挖掘算法研究

现阶段我国的计算机网络技术有了迅速的发展,在数据化的处理需求也空前扩大,数据挖掘是人工智能及数据库领域一个研究的热点,其不仅是数据库知识发现当中的重要步骤,同时也是决策支持过程。随着数据获取技术的精度不断的提升,所产生的数据也会愈来愈多,基于此,本文则主要就特征加权以及特征选择的数据库挖掘算法进行研究,希望能够通过此次理论研究对实际操作起到一定指导作用。

基于特征权重与词间相关性的文本特征选择算法

传统的ReliefF算法使用二值法不能体现离散特征差异大小,且不能去除冗余特征。针对这种情况提出了mRMR-ReliefF特征选择算法。该算法利用概率弥补特征差异度量上的不足,提出新的差异函数。此函数使提取出的特征更能体现文本的类内相关性和类间差异性。该算法还结合了词间相关性。词间相关性在考虑选择和类别相关性大的特征词的同时还考虑了特征冗余的消除。通过三种算法的对比实验,表明该算法为文本分类提供了更有效的特征子集。