基于冗余性分析的改进ReliefF特征选择算法

为了解决ReliefF算法随机抽样会抽取到不具代表性的样本且未考虑特征间相关性的问题,提出基于冗余性分析的ReliefF特征选择算法。首先改进ReliefF的抽样策略,其次将特征权重序列划分为几个子集,分别利用最大信息系数及Pearson系数共同衡量特征相关性,设置相应采样比例剔除冗余特征。将改进算法与其他特征选择算法进行对比,结果表明相较于传统ReliefF,在LightGBM(Light Gradient Boosting Machine,轻量级梯度提升机器学习)上的分类准确率可提升0.63%~12.10%,在SVM(Support Vector Machine,支持向量机)上的分类准确率可提升0.92%~9.06%,改进算法的分类准确率明显优于其他几种特征选择算法,在考虑特征与标签相关性的同时,能有效剔除冗余信息。

滚动轴承故障特征选择的Filter与改进灰狼优化混合算法

为了从原始高维特征空间中选择最具鉴别能力的特征,提高轴承故障诊断精度,提出了一种Filter与改进灰狼优化混合的故障特征选择算法。首先,针对滚动轴承的原始振动信号,利用一种基于Hilbert-Huang变换的时频域特征提取策略建立高维敏感特征集合。然后,通过由ReliefF算法与拉普拉斯分数构成的混合Filter方法对原始特征集合进行相关性评估并快速筛选重要特征,从而完成特征集合的一次预选。最后,引入改进灰狼优化算法对预选特征集合进行二次筛选,实现冗余特征去除的同时,完成对支持向量机模型参数的优化。利用旋转机械振动试验台获取故障轴承数据进行了验证,试验结果表明,该方法显著提高了分类器模型的诊断准确率,有效实现了故障数据集的特征降维,并且与同类方法相比,所提方法具有更好的综合性能。

基于时序特征选择与改进MSPCA算法的电网暂态稳定态势智能评估

在充分利用电网海量历史运行数据及大量仿真分析数据评估暂态稳定态势过程中,恰当的选择与稳定特征以及提取非正常态势关键影响特征是实现电网暂态稳定态势评估的基础。文中提出了一种基于时序特征选择的暂态稳定态势智能评估方法。给出了基于未来运行点的邻域样本在线生成方法及稳定态势等级描述,选择输电断面作为主要特征;基于时序邻域信息度量算法,依据累积贡献率对特征降序排列,并采用基于邻域互信息的计算并伴随基于SVM的特征子集搜索实现冗余特征的剔除,形成稳定特征子集;在应用电网稳定特征子集进行态势评估场景中,采用改进的多尺度主元分析法对稳定相关信息进行提取,通过特征贡献率排序实现非正常态势关键影响特征识别。结合IEEE 39节点算例系统,仿真结果验证了文中所提方法的有效性。

顾及特征离散程度的SEaTH特征优化选择方法

特征选择是面向对象信息提取的关键步骤之一。本文针对分离阈值(separability and threshold,SEaTH)这一特征选择方法在实际应用中存在的不足,例如未考虑特征值的离散程度,仅利用J-M距离评判单一特征,特征间可能存在较强相关性,以及无法有效确定出分类顺序,提出了一种改进的SEaTH算法(optimized SEaTH,OPSEaTH)。OPSEaTH算法首先在J-M距离基础上构建了一类特征评价指标(E值),有效解决了特征值的离散度问题;然后,基于E值构建出特征组合评价指标(C_(e)值),可有效评估得到每种地物的最佳特征组合并自动确定出地物的分类顺序;最后基于eCognition等分类器可完成对地物对象的最终有效分类。利用高分二号遥感影像数据对本文方法进行了测试,并将结果分别与SEaTH算法、DPC、OIF和最近邻分类器的分类结果进行了对比,结果表明:OPSEaTH算法不仅能有效降低特征维数、优化特征空间,还能够对分类顺序进行自动化合理确定,总体精度和Kappa系数及其他精度指标,均显著优于基于SEaTH算法的特征选择结果。本文方法无论从特征降维效果、分类结果精度还是计算效率方面均优于DPC、OIF和最近邻分类器结果。OPSEaTH是一种更优的特征选择方法。

基于特征选择及ISSA-CNN-BiGRU的短期风功率预测

针对风电功率随机性大、平稳性低,以及直接输入预测模型往往难以取得较高精度等问题,提出了一种基于特征选择及改进麻雀搜索算法(ISSA)优化卷积神经网络-双向门控循环单元(CNN-BiGRU)的短期风电功率预测方法。首先,利用变分模态分解(VMD)将原始功率分解为一组包含不同信息的子分量,以降低原始功率序列的非平稳性,提升可预测性,同时通过观察中心频率方式确定模态分解数。其次,对每一分量采用随机森林(RF)特征重要度的方法进行特征选择,从风速、风向、温度、空气密度等气象特征因素中,选取对各个分量预测贡献度较高的影响因素组成输入特征向量。然后,建立各分量的CNN-BiGRU预测模型,针对神经网络算法参数难调、手动配置参数随机性大的问题,利用ISSA对模型超参数寻优,自适应搜寻最优参数组合。最后,叠加各分量的预测值,得到最终的预测结果。以中国内蒙古某风电场实际数据进行仿真实验,与多种单一及组合预测方法进行对比,结果表明,本文所提方法相比于其他方法具有更高的预测精度,其平均绝对百分比误差值达到2.644 0%;在其他4个数据集上进行的模型准确性及泛化性验证结果显示,模型平均绝对百分比误差值分别为4.385 3%、3.174 9%、1.576 1%和1.358 8%,均保持在5.000 0%以内,证明本文所提方法具有较好的预测精度及泛化能力。

基于改进TFIDF算法的文本特征选择和聚类分析

为了提高大量文本数据的特征选择能力,采用全覆盖粒计算方法对特征选择算法的数据高维性与稀疏性进行分析。针对TFIDF算法存在的缺陷,设计了一种经过改进后的TFIDF_SP算法,以区分文档内处于不同部位的特征词重要性,并根据不同特征选择方法对比结果判断算法有效性。研究结果表明,采用bLDA主题模型提取细主题粒度的时候也无法获得理想聚类效果,此时会对相同主题特征词造成弱化,将其判断为不同主题类型的特征词。在γ取值等于0.8时可以获得最优聚类效果,此时改进TFIDF算法能促进权重的进一步提升。所提出的改进TFIDF算法可以获得比TFIDF和bLDA主题模型更好的结果结合高1.62%的聚类准确率,表明当特征词方式词性与位置变化时会引起文档表达效果的显著影响。

基于ReliefF算法与遗传算法的肌电信号特征选择

针对肌电信号特征维数高、运算效率低等问题,提出了一种基于ReliefF算法与遗传算法(GA)相结合的肌电信号特征选择方法.分析了肌电信号的特征,运用小波分析对肌电信号进行特征提取,采用ReliefF算法评估所提取的高维特征信号的权值,以选出对分类效果影响显著(权值较大)的特征子集,采用GA进一步筛选出分类效果最佳的特征子集,并对比分析了基于ReliefFGA-Wrapper算法与全局搜索算法对肌电信号处理的时间和分类效果.结果表明,所提出的方法能够提高运算效率并具有很好的分类效果.

基于改进遗传算法的棉花异性纤维目标特征选择

为提高基于机器视觉的棉花异性纤维在线分类的精度和速度,提出了一种基于改进遗传算法的特征选择方法。采用分段式染色体管理方案实现对多质特征空间局部化管理;利用分段交叉和变异算子避免出现无效染色体,提高搜索效率;通过自适应调整交叉和变异概率实现强搜索能力和快收敛速度的动态平衡。实验结果表明,该方法比基本遗传算法搜索能力更强、收敛速度更快,所得最优特征子集较小,更适用于棉花异性纤维在线分类。

基于改进遗传算法的转炉炼钢过程数据特征选择

转炉炼钢生产过程数据特征选择是实现终点碳温预报的关键,针对生产过程高维数据不利于快速精确预测终点碳温的问题,提出一种改进遗传算法的转炉炼钢生产过程数据特征选择方法。首先采用皮尔逊相关系数衡量不同特征的重要贡献度,进而构造反映过程数据特征与终点碳温相关性的目标函数;然后通过目标函数定义了种群的最大、最小、平均适应度和随机个体适应度值4个变量,建立了一种自适应调节交叉变异概率机制,使得迭代寻优时种群分布更加合理的同时又提高了算法后期收敛速度,防止陷入局部最优。最后进行实际钢厂生产过程数据特征选择验证和对比实验,结果表明,特征选择平均用时为0.25 s,用于终点预报中温度误差在±5℃的精度为85.67%,碳含量预测误差在±0.01%的精度为80.67%。

基于混合式多类特征选择暖气管道腐蚀程度研究

近年来,北方工业厂房中存在暖气管道因腐蚀而造成供暖不足导致能源浪费,为实现暖气管道更精准的腐蚀预判,提出了一种使用敲击法采集暖气管道声音信号提取筛选特征并结合模式识别的腐蚀程度预测方法。其中针对经典ReliefF算法未考虑特征之间冗余和SVMRFE算法只能处理二分类以及运行速度慢的问题,提出了一种改进的ReliefFP-NMSVMRFE-SVM算法。前期对ReliefF算法处理后的特征集使用Pearson相关系数去除冗余特征,后在改进的MSVMRFE线性和非线性算法中二次筛选,分别获得一组得分递减排序的特征子集,再结合分类器BP、SVM对特征子集进行分类预测。结果表明,ReliefFP-NSVMRFE-SVM算法模型识别精度最高且用时短,在训练集上预测结果为99.85%,独立测试集上预测结果为97.14%,对暖气管道内部腐蚀程度的检测具有一定的适用性。

基于mRMR-IPSO的短期负荷预测双阶段特征选择

电力负荷具有时空多变的特性,受众多因素的影响,在短期负荷预测中较多的输入特征会造成维度灾难,导致模型预测性能不佳,因此选择合理的输入特征集至关重要。文章提出一种新的短期负荷预测特征选择方法——mRMR-IPSO双阶段法。利用最大相关最小冗余(maxrelevance and min-redundancy,mRMR)判据对原始特征进行排序,考虑输入特征与输出特征之间相关性和输入特征间冗余性,筛选掉一些排序靠后的特征,初选出对预测效果影响显著的特征子集;采用基于改进的粒子群优化算法(improved particle swarm optimization,IPSO)的搜索策略,以LightGBM模型的预测精度为适应度函数,对初选特征子集进行精选,得到最优特征子集。算例结果表明,所提方法能在对原始特征集大幅降维的情况下提升预测精度。

高光谱图像分类的ReliefF-RFE特征选择算法构建与应用

高光谱图像具有波段连续、维数高、数据量大、相邻波段相关性强的特点,可为地物分类提供更为丰富的细节信息。但是,数据中存在大量冗余信息与噪声,在图像分类中如直接利用其所有波段特征而不进行有效分析与选择,将会导致较低的计算效率和较高的计算复杂度,分类精度亦可能随着波段维数增加而出现先增后减的“休斯(Hughes)现象”。为快速地从高达数十个甚至数百个波段的高光谱图像中提取出具有较好识别能力的特征子集,从而避免“维度灾难”,将过滤式ReliefF算法和封装式特征递归消除算法(RFE)相结合,构建了ReliefF-RFE特征选择算法,可用于高光谱图像分类的特征选择。该算法根据权重阈值,利用ReliefF算法快速剔除大量无关特征,缩小并优化特征子集的范围;利用RFE算法进一步搜索最优特征子集,将缩小范围后的特征子集中与分类器关联性小、冗余的特征进行递归筛选,进而得到分类性能最佳的特征子集。采用Indian pines数据集、Salinas-A数据集与KSC数据集等3个标准数据集作为实验数据,将ReliefF-RFE算法的应用效果与ReliefF和RFE算法进行对比。结果显示,在3个数据集中,应用ReliefF-RFE算法的高光谱图像分类平均总体精度(OA)为92.94%、F-measure为92.81%,Kappa系数为91.94%;ReliefF-RFE算法的平均特征维数是ReliefF算法的37%,而平均运算时间则是RFE算法的75%。由此表明,ReliefF-RFE算法能够在保证分类精度的同时,克服过滤式ReliefF算法无法有效减小特征之间冗余以及封装式RFE算法时间复杂度较高的缺陷,具有更为均衡的综合性能,适用于高光谱图像分类的特征选择。

用于特征选择的改进二进制蝙蝠算法

二进制蝙蝠算法(BBA)是模仿蝙蝠狩猎行为的一种启发式特征选择算法,具有收敛快、模型简单、鲁棒性好的特点。但算法容易出现停滞问题,易陷入局部最优。为此,文中提出了改进的二进制蝙蝠算法(ABBA)。利用种群熵进行传递函数的改进,使得传递函数在适应算法收敛过程的同时赋予算法跳出停滞的能力。其次,加入辅助改进,用于保持算法的收敛性,加速收敛。最后,采用K近邻分类器在22个UCI数据集上进行了与6个较新特征选择算法的对比实验,各项实验结果表明,ABBA的分类准确率和可靠性相比,BA算法均有明显提高,并且在大部分数据集上优于6个其他特征选择算法。ABBA是一种有竞争力的特征选择算法,可以作为机器学习、数据挖掘等领域的有效数据预处理手段。

特征分层结合改进粒子群算法的近红外光谱特征选择方法研究

在近红外光谱数据定量建模中,数据的高冗余和高噪严重影响了建模的稳健性和精确性,因此提出了一种特征分层结合改进粒子群算法(PSO)的特征光谱选择方法。首先通过互信息度量特征的重要性得分,并按特征的重要性降序排序,有效避免了因采用降维方法得到主成分而引起的丢失重要信息的问题。其次,引入了跳跃度概念,并构造了一种特征分层的方法,重要性程度相似的特征并入同一个特征子集,将降序排列的特征集分割为不同的特征子集,避免了筛选特征过程中因人为设定特征重要性得分阈值而导致的不确定性。最后,采用收敛速度快、控制参数少的粒子群算法作为最优特征子集的优化方法,同时对粒子群算法做了两方面改进:引入混沌模型增加种群的多样性,提高了PSO的全局搜索能力,避免陷入局部最优;将特征数目引入到适应度函数中,在迭代前期通过惩罚因子调节特征数目对适应度函数的影响,提高了算法的适应能力。将分层后的数据以特征子集为单位,依次累加并作为改进粒子群算法的输入,从而选择出高辨别力的特征子集。以烟碱指标为例进行了特征选择过程的描述,实验采用尼高力公司的AntarisⅡ近红外光谱仪进行近红外光谱数据的采集,光谱扫描范围为4 000～10 000 cm^(-1)。首先,利用互信息理论计算全光谱1 557个特征对待测指标定量建模的重要性得分,得分取30次实验的均值。其次,将所有特征按照重要性得分降序排序,计算所有特征的跳跃度,依据跳跃度寻找特征分层的临界点,将特征划分到不同的特征层中,构建了包含8个特征子集的特征集合S={S′_1,S′_2,S′_3,S′_4,S′_5,S′_6,S′_7,S′_8}。然后,依次将特征子集S′_1,{S′_1,S′_2},{S′_1,S′_2,S′_3},…,{S′_1,S′_2,S′_3,S′_4,S′_5,S′_6,S′_7,S′_8}作为初始粒子群的候选集,以R/(1+RMSEP)作为特征子集优劣的评价标准,各自重复实验50次,比值最大的特征子集即为最优特征子集。为验证该算法的有效性,选取了具有代表性烟叶近红外光谱数据作为训练集和测试集,建立了烟碱、总糖两个指标的PLS定量模型,并分别与全光谱、分层后的特征光谱、粒子群算法选出的特征光谱进行了比较。仿真结果表明,本算法所选特征烟碱、总糖的建模相关系数r分别为0.988 5和0.982 2,交互验证均方差RMSECV分别为0.098 4和0.889 3,预测均方根误差RMSEP分别为0.100 7和0.901 6,模型准确率均明显高于其他三种方法。从所选特征数来看,该算法所选特征数最少,有效剔除了原特征集中的弱相关和噪声、冗余信息,所建模型的主因子数最少,降低了模型的复杂性,模型更加稳健,适应性更广。

基于改进人工蜂群算法的大数据特征选择方法

数据特征选择就是从初始的数据特征中选择指定数据进行子集筛选。目前,通常使用人工蜂群算法进行特征选择,但由于收敛慢、寻优差,无法满足人们的需求。因此,本文提出一种改进人工蜂群算法,通过特征选择绘制大数据特征选择框架图,建立多项搜索渠道;利用改进的人工蜂群算法提取并行特征,使用MapReduce模型降低编程难度,获取并行特征最优解;设计特征选择复杂粗糙集模型,并构建特征学习模型来实现大数据特征选择。试验结果表明,设计的特征选择方法性能优于传统方法。

基于最大信息系数的ReliefF和支持向量机交互的自动特征选择算法

为解决特征选择ReliefF算法在利用欧氏距离选取近邻样本过程中,算法稳定性差以及选取的特征子集分类准确率低的问题,提出了一种利用最大信息系数(MIC)作为近邻样本选择标准的MICReliefF算法;同时,以支持向量机(SVM)模型的分类准确率作为评价指标,并多次寻优,以自动确定其最优特征子集,从而实现MICReliefF算法与分类模型的交互优化,即MICReliefF-SVM自动特征选择算法。在多个UCI公开数据集上对MICReliefF-SVM算法的性能进行了验证。实验结果表明,MICReliefF-SVM自动特征选择算法不仅可以筛除更多的冗余特征,而且可以选择出具有良好稳定性和泛化能力的特征子集。与随机森林(RF)、最大相关最小冗余(mRMR)、相关性特征选择(CFS)等经典的特征选择算法相比,MICReliefF-SVM算法具有更高的分类准确率。

ReliefF与QPSO结合的故障特征选择算法

为提高故障数据集的分类精度,将ReliefF算法与量子粒子群算法(Quantum Particle Swarm Optimization,QPSO)进行结合,提出一种能够降低故障数据集维度的敏感故障特征选择方法。首先,在对经滤波消噪后的故障信号进行多域量化特征提取基础上,设定时域与频域特征、经小波包分解得到的各频带能量特征作为描述转子系统故障状态的初始故障特征集,并用转子系统的典型故障模拟信号集合得到了一种原始的故障数据集。随后,用ReliefF算法通过迭代计算得到的权值对故障数据集各特征向量进行加权、并设定阈值剔除不相关特征,据此实现了对原始故障数据集各特征的第一次筛选。最后,引入量子粒子群算法(QPSO)对特征集合进行二次筛选,剔除不利于实施分类的冗余特征并同时实现优化支持向量机的参数,通过处理得到了一种精简的最优特征子集和最合适的一组支持向量机参数。用得到的原始故障数据集对所建立的方法性能进行了计算验证。结果表明,该方法可有效地筛选出规模较小且故障模式辨识度高的低维故障数据集,它可显著提高故障分类器的辨识准确率。

基于ReliefF和蚁群算法的特征基因选择方法

针对高维小样本的DNA微阵列数据多分类问题,提出一种基于ReliefF和蚁群算法的特征基因选择方法(ReliefF and ant colony optimization,Re FACO)。该方法首先采用ReliefF算法评估特征权重,根据阈值筛选出无关基因;然后引入改进的蚁群算法,在迭代改进的过程中寻找最优基因子集;最后利用经典分类算法对维数约简后的数据分类识别。经实验证明,该方法可有效地剔除无关和冗余基因,并利用较少特征基因达到较高多分类效果。

ReliefF-MFO多标签特征选择算法

为解决启发式算法在多标签特征选择中可以达到较好效果但效率很低的问题,提出一种基于启发式算法的混合特征选择算法。使用ReliefF方法去除不相关特征,采用MFO算法进行特征子集寻优,提高分类器性能的同时达到较高的效率。将所提方法应用于多个典型多标签数据集分类问题并与现有启发式特征选择方法进行对比,实验结果表明了所提算法的有效性。

基于粗糙集和改进鲸鱼优化算法的特征选择方法

随着互联网和物联网技术的发展,数据的收集变得越发容易。但是,高维数据中包含了很多冗余和不相关的特征,直接使用会徒增模型的计算量,甚至会降低模型的表现性能,故很有必要对高维数据进行降维处理。特征选择可以通过减少特征维度来降低计算开销和去除冗余特征,以提高机器学习模型的性能,并保留了数据的原始特征,具有良好的可解释性。特征选择已经成为机器学习领域中重要的数据预处理步骤之一。粗糙集理论是一种可用于特征选择的有效方法,它可以通过去除冗余信息来保留原始特征的特性。然而,由于计算所有的特征子集组合的开销较大,传统的基于粗糙集的特征选择方法很难找到全局最优的特征子集。针对上述问题,文中提出了一种基于粗糙集和改进鲸鱼优化算法的特征选择方法。为避免鲸鱼算法陷入局部优化,文中提出了种群优化和扰动策略的改进鲸鱼算法。该算法首先随机初始化一系列特征子集,然后用基于粗糙集属性依赖度的目标函数来评价各子集的优劣,最后使用改进鲸鱼优化算法,通过不断迭代找到可接受的近似最优特征子集。在UCI数据集上的实验结果表明,当以支持向量机为评价所用的分类器时,文中提出的算法能找到具有较少信息损失的特征子集,且具有较高的分类精度。因此,所提算法在特征选择方面具有一定的优势。