基于多种相关性度量的特征选择方法研究

当前的数据挖掘和机器学习技术面临着大样本、高维度数据的挑战,使用特征选择方法作为重要的降维手段得到了极大的关注.然而,许多过滤式特征选择方法仅使用一种相关性度量去除冗余特征和不相关特征,并且没有考虑特征之间的交互性.因此,提出基于多种相关性度量的过滤式特征选择算法,另外,本文提出的算法也考虑了特征之间的交互性.该算法将转化为0-1标准形式的两种相关性度量进行融合,同时引入待选特征与已选特征的补充相关性因子解决特征之间的交互性.基于8个UCI数据集和3个常用分类器的实验验证了本文算法的有效性,同时与五种典型的过滤式特征选择方法相比,本文所提出的方法获得了更好的分类结果.

一种过滤式多标签特征选择算法

多标签数据的过滤式特征选择依靠特征评价对特征选择,快速有效得到候选特征.但现有算法多将标签集合简单化,将其视作独立标签加以研究,忽视了多标签集合内部相互关系.近年来,由于MRMR算法在单标签数据领域方面简单、快速、高效的特征选择能力,成为过滤式特征选择算法的流行算法之一.提出一种基于MRMR(Max-Relevance Min-Redundancy)过滤式多标签特征选择算法(ML-MRMR),直接通过对特征进行权重计算,得到特征与多标签集合的相互关系,以获得更好的候选特征子集.同时,算法的特征评价过程中不仅考虑了特征间以及特征与多标签的相互影响,更考虑到多标签内部可能存在的相互关系,将标签相关性加入特征评价当中,提出了可适应多标签数据的度量标准.最后,在真实多标签数据集上的实验结果表明:所提算法能够对数据大幅降维并稳定有效地提高降维后数据的分类效果.

基于FCBF特征选择和XGBoost原则的油纸绝缘介电响应特征量优选研究

针对高维特征空间中存在的相关特征、冗余特征等导致变压器油纸绝缘综合诊断的特征空间提取存在平均误差大、分类正确率低等问题,提出一种基于快速过滤相关算法和极限梯度上升相结合的特征量优选策略。首先,根据变压器的介电响应实测数据,提取多种类别的时域介电特征量形成初始高维特征空间。其次,提出一种两级式时域特征选择方法,第一级采用快速相关过滤算法剔除低相关、高冗余的特征量,第二级依照极限梯度提升评估特征的重要度,从而确定最优特征空间。最后设置不同对照组对最优特征空间进行对比论证,有效验证了采取所提优选策略得到的最优特征空间的合理性及准确性。

特征选择方法中三种度量的比较研究

不同类型数据中特征与类别以及特征与特征之间存在一定的线性和非线性相关性。针对基于不同度量的特征选择方法在不同类型数据集上选取的特征存在明显差别的问题,本文选择线性相关系数、对称不确定性和互信息三种常用的线性或非线性度量,将它们应用于基于相关性的快速特征选择方法中,对它们在基因微阵列和图像数据上的特征选择效果进行实验验证和比较。实验结果表明,基于相关性的快速特征选择方法使用线性相关系数在基因数据集上选取的特征集往往具有较好分类准确率,使用互信息在图像数据集上选取的特征集的分类效果较好,使用对称不确定性在两种类型数据上选取特征的分类效果较为稳定。

基于特征组合优化的工业互联网恶意行为实时检测方法

工业互联网中节点数据具有高维、冗余和海量等特性,传统的恶意行为检测模型无法对工业互联网恶意攻击行为做出快速且准确的判断,提出基于特征组合优化的工业互联网恶意行为实时检测方法.采用改进的相关性快速过滤算法和基于奇异值分解的主成分分析算法对工业互联网恶意行为样本数据进行特征组合优化,基于对称不确定性信息度量指标和近似马尔科夫毯准则进行特征相关性计算、冗余特征识别与排除,通过参数特征维度的不同配置得到若干候选特征组合;利用决策树评估器筛选出准确率最高的候选特征组合;通过奇异值分解的主成分分析进一步进行特征降维,得到低维高信息量的最优特征组合;结合极端梯度提升算法和优化的特征组合对工业互联网恶意行为样本进行分类,基于密西西比州立大学多分类电力系统攻击样本数据对本文方法进行了验证;实验结果表明,特征组合优化检测模型训练时间可缩减57.53%,单个样本的平均检测时间为0.002 ms,可减少23.99%,基于特征组合优化的检测模型的准确率、召回率和F1值较特征优化前分别提升了1.11%、1.25%和1.01%.本文方法的突出优势表现为在提升模型检测效果的同时可明显降低模型检测时间,能更好适应工业互联网的实时性要求.

基于最大相关信息系数的FCBF特征选择算法

在相关性快速过滤特征选择算法（FCBF）基础上,通过最大相关系数的方式改进FCBF算法.首先,通过最大相关系数和对称不确定性度量准则,计算出每个特征与标签之间的相关度量值,并按照数值大小顺序进行排序;其次,通过最大相关系数和近似马尔可夫毯原理进行无关特征和冗余特征的筛选,最终选择出最优特征子集.在加利福尼亚大学欧文分校的机器学习库（UCI）的8个公开数据集中进行对比实验结果表明基于最大相关系数的特征选择算法（NFCBF）总体优于FCBF算法,它所选择出特征数比FCBF算法所选择特征数平均少了3.625个,分类准确率平均提高了0.075%.与互信息最大算法（MIM）、最少的绝对收缩和选择算法（Lasso）和岭算法（Ridge）等相比也具有明显的优势.

基于归一化互信息的FCBF特征选择算法

针对高维数据中不相关特征、冗余特征等导致的分类任务计算量大、分类正确率低等问题,提出了一种基于归一化互信息的相关性快速过滤特征选择(FCBF-NMI)算法.该算法采用归一化互信息代替对称不确定性作为FCBF算法的相关性评价标准,进行特征与类别、特征与特征的相关性分析,删除不相关特征及冗余特征以获得最优特征子集.实验结果表明:FCBF-NMI算法得到的最优特征子集更合理,平均分类正确率为89.68%,所用时间平均低至2.64s.

一种轻量级入侵检测技术

入侵检测系统需要处理大量冗余与无关数据,使得系统耗用的计算资源很大,导致系统训练时间长、实时性差、检测效果不佳。提出一种轻量级的入侵检测技术,该技术首先采用快速相关性特征选择方法消除冗余及无关特征,然后采用主成分分析对特征进行抽取。实验结果表明,此方法能够大量消减入侵检测系统需要处理的数据量,有效提升了系统性能。

基于波动类型精细划分与聚类的短期负荷预测

为减少短期负荷预测中负荷波动特性对负荷整体运行趋势的影响,提出一种面向波动类型精细划分与聚类的短期负荷组合预测方法。首先,引入k-means++将全年负荷按日特性聚类,并将聚类后的日负荷划分为负荷典型时段。其次,根据雨流计数法思想对负荷典型时段中的波动进行划分并结合模糊c-均值聚类算法(fuzzy c-means,FCM)以负荷波动特性为依据对负荷波动进行聚类。进一步,考虑到关键变量与负荷波动过程的关联关系,利用快速过滤特征选择算法(fast correlation-based filter,FCBF)将各负荷波动下对应的相关因素特征进行筛选。最后,建立以日负荷波动与负荷重构最优特征集为输入、以负荷功率为输出的短期负荷组合预测模型。实际算例表明,所提出的短期负荷组合预测方法能够显著提升短期负荷预测的精度。

基于支持向量机的结肠癌信息基因提取

基于结肠癌基因表达谱数据集,提出了一种信息基因提取的新方法。该方法结合了支持向量机(SVM)、Bhattacharyya距离、递归特征消除(RFE)和快速基于相关性过滤器(FCBF)方法。首先,利用Bhattacharyya距离与SVM-RFE方法结合去除无关基因,然后运用FCBF方法得到信息基因,最后以支持向量机作为分类器对结肠癌样本进行分类识别。实验结果表明,同现有的方法相比,该方法在提取基因数量和准确率上都有明显的优势。