增强学习标签相关性的多标签特征选择方法

针对现有多标签特征选择方法存在的两个问题:第一,忽略了学习标签相关性过程中噪声信息的影响;第二,忽略探索每个簇的综合标签信息,提出一种增强学习标签相关性的多标签特征选择方法。首先,对样本进行聚类,并将每个簇中心视为一个综合样本语义信息的代表性实例,同时计算其对应的标签向量,而这些标签向量体现了每个簇包含不同标签的重要程度;其次,通过原始样本和每个簇中心的标签级自表示,既捕获了原始标签空间中的标签相关性,又探索了每一个簇内的标签相关性;最后,对自表示系数矩阵进行稀疏处理,以减少噪声的影响,并将原始样本和每个簇代表性实例分别从特征空间映射到重构标签空间进行特征选择。在9个多标签数据集上的实验结果表明,所提算法与其他方法相比具有更好的性能。

采用动态相关度权重的特征选择算法

基于互信息的特征选择算法在考虑候选特征提供的新分类信息时,通常忽略了候选特征的加入会使得已选特征和类标签的相关性发生变化而带来额外的新增信息量,以及在计算冗余信息时采用累加求和的形式可能导致低估候选特征的冗余程度。针对以上问题,提出动态相关度权重的定义,以更全面地考虑候选特征带来的新信息量成分;提出改进冗余项的定义,采用取最大值和归一化策略,以解决传统算法存在的低估冗余问题;在此基础上提出一种采用动态相关度权重的特征选择算法(feature selection using dynamic relevance weight,FSDRW)。选取五种当前主流的基于互信息的过滤式特征选择算法进行对比实验,在来自加州大学尔湾分校UCI和亚利桑那州立大学ASU的机器学习测试数据集上的实验表明,所提出的算法在分类准确率及综合性能方面具有较好的表现。最后将所提出算法应用于广西某水库工程的微震、爆破信号识别中,算法选取出的特征用于微震信号识别可达到98.86%的分类准确率,验证了算法在实际应用中的有效性。

最大相关和最大差异的高维数据特征选择算法

针对高维数据存在冗余信息且维度过高的问题,提出基于信息量的最大相关最大差异特征选择算法(MCD)。首先,利用互信息(MI)度量特征和标签之间的相关性,对特征进行排序,选择互信息最大的特征加入特征子集;然后,引入信息距离度量特征之间的信息冗余性及差异性,设计评价准则对每个特征进行评价,使特征子集中特征和标签的相关性、特征之间的差异性最大;最后,用前向搜索策略结合评价准则进行属性约简,最优化特征子集。采用2种不同的分类器,在6个数据集上和mRMR(minimal-Redundancy-Maximal-Relevance criterion)、RReliefF等5个经典算法进行对比实验,利用分类精度验证MCD的有效性。在支持向量机(SVM)分类器下,平均分类精度提高了5.67~23.80个百分点;在K-近邻(KNN)分类器下,平均分类精度提高了2.69~25.18个百分点。可见,MCD在绝大多数情况下,能有效去除冗余特征,分类精度有明显提高。

最大相关最小冗余两阶段文本特征选择方法

目的为解决传统卡方统计法(CHI)仅考虑文本特征与文本类别的相关性进行特征选择,未考虑特征之间的冗余性,导致文本分类的性能不佳的问题。方法使用最大相关最小冗余原则,对CHI法初次选择的特征子集,利用强相关低冗余思想有目的地筛选低冗余特征,提升文本特征选择效果,提出一种基于最大相关最小冗余的两阶段文本特征选择方法(CHI_impMI)。结果对复旦大学新闻文本语料进行分类,相比于CHI和CHI_MI特征选择方法,CHI_impMI方法的性能指标均为最优,文本分类效果最好。结论CHI_impMI方法在相关度与冗余度之间达到了很好的平衡,从而有效提升文本分类性能。

融合对比学习和特征选择的入侵检测模型

入侵检测系统可以主动识别恶意流量,是保护网络安全的重要工具.针对网络流量中存在的冗余特征以及现有的入侵检测算法在特征选择过程中存在的不足,提出一种融合对比学习和特征选择的入侵检测模型(contrastive learning and feature selection,CL-FS).利用皮尔逊相关系数(Pearson correlation coefficient,PCCs)对预处理后的网络流量进行相关性分析,过滤掉相似特征;使用自编码器(autoencoder,AE)进行深度特征提取,在提取阶段融入对比学习,减少类间相似性,将提取的新特征和过滤后的特征融合,得到表征能力更强的特征集;利用改进的鸽群算法进行包裹特征选择,根据贝叶斯分类器的性能选择最优特征子集,提高分类精度.在NSL-KDD,UNSW-NB15这2个数据集的实验结果表明,CL-FS模型可以提升分类精度并减少处理时间,在2个数据集上的2分类实验准确率分别为90.45%和88.52%,分类处理时间大约减少为原来的一半.

基于ReliefF和最大相关最小冗余的多标记特征选择

针对现有的特征选择模型未涉及特征和标记集之间的相关度,造成分类精度偏低等情况,提出了基于ReliefF和最大相关最小冗余(maximum Relevance and Minimum Redundancy,mRMR)的多标记特征选择.首先,运用互信息计算每个标记和标记集之间的相关度,使用每项相关度占其相关度之和的比例设计了标记权重,由此构建了特征和标记集间的相关度,初选与标记集相关度高的特征;其次,计算对象在特征上的距离,构建了新的特征权值更新公式,基于标记权重改进多标记ReliefF模型.然后,基于互信息和标记权重构建了最大相关性,设计了最小冗余性及其新的最大相关最小冗余评价准则,并将其应用于多标记特征选择,进一步剔除冗余特征;最后,设计了一种基于ReliefF和最大相关最小冗余的多标记特征选择算法,有效提高了多标记分类性能.在8个多标记数据集上测试所提算法的平均分类精度、覆盖率、汉明损失、1错误率和排序损失,实验结果证明了该算法的有效性.

面向高维不平衡数据的特征选择算法

针对传统高维不平衡数据集的分类算法存在偏向多数类、忽视少数类等问题,本文提出一种基于密度聚类和重要性度量的特征选择算法(DBIM).首先通过随机降采样的方法构造出多个平衡子集,使用DBSCAN密度聚类方法作为基分类器生成初始特征子空间.然后按照重要度对特征进行排序选择出较强分类的特征.最后,为了避免特征之间的冗余性,设计基于类分布的权重指标与冗余性评价指标相结合的方法进行计算,生成高质量的特征子集.在8个公开数据集上的实验结果表明,本文提出DBIM算法可以生成高相关度且低冗余度的特征子集,对高维不平衡数据集进行有效降维,提高分类性能.

基于特征选择与Transformer的涡扇发动机剩余使用寿命预测

针对传统剩余使用寿命预测模型难以解决长时依赖问题以及不同特征组合对模型预测精度影响大的问题,提出一种基于特征选择与Transformer的剩余使用寿命预测模型。首先利用以互信息为理论基础的最大相关最小冗余特征选择算法,捕获特征与标签、特征与特征的关系,得到最佳特征组合;然后以Transformer的编码器为主体并加入门控卷积单元组成预测模型,使模型可以充分捕捉全局信息且提高运算效率的基础上也更加注重局部信息;通过网格搜索与粒子群算法确定模型超参数。最后将最优特征组合的变量数据输入模型实现涡扇发动机剩余使用寿命预测。利用此方法在C-MAPSS数据集进行验证,并进行对比实验,结果表明预测误差与模型效率均有一定改进。

基于CFS-KNN的双能X射线废金属特征优选与分类

在基于双能X射线透射技术的废金属分选中,识别效果很大程度上受所选物料特征影响。已有废金属物料识别算法所用特征不够全面且各特征数据间冗余性较大,识别准确度不高。针对该问题,充分考虑特征间冗余性和特征与类别间关联性提出相关性特征选择方法(CFS),在众多物料特征中确定由特征I_(H)、I_(L)、x、T_(ML)和T_(MH)组成的最优特征子集。通过采用不同物料特征组合方法进行对比实验,并选择最优特征子集下K-最近邻(KNN)作为最优分类模型。实验结果表明:基于相关性特征选择K-最近邻(CFS-KNN)的废有色金属物料识别分类方法与已有分类方法相比用相对较少的特征获得更高的识别准确度(96.13%)。

基于神经网络和CFS特征选择的网络入侵检测系统

本文提出了一种新型的基于CFS特征选择和神经网络的高效入侵检测模型。通过使用该模型对经过特征提取后的攻击数据的训练学习,可以有效地识别各种入侵。在经典的KDD Cup 1999入侵检测数据集上的测试说明,该模型能够高效地对攻击模式进行训练学习,从而正确有效地检测网络攻击。

结合邻域信息和标记相关性的在线多标记流特征选择算法

现有大多数多标记流特征选择算法在进行特征选择时,往往忽略标记间的相关性,易导致算法预测精度的下降。为解决这一问题,提出一种结合邻域信息和标记相关性的在线多标记流特征选择算法;定义自适应邻域关系解决邻域粗糙集的粒度选择问题,将其推广到多标记学习中;利用互信息计算标记间的相关性得到标记权重;通过邻域粗糙集和标记权重评估特征和标记间的相关性,并设计特征在线重要度分析、在线相关性分析和在线冗余度分析3种指标,以实现在线评价动态候选特征。在7组多标记数据集以及5个评价指标上的实验结果表明,所提算法综合性能较优。

基于特征选择的BP神经网络算法滑行时间预测

为准确预测离港航班滑行时间,基于数理分析同时段场面航空器滑行数量、平均滑行时间等因素对离港航空器滑行时间的影响。将皮尔逊相关系数与随机森林算法相结合减少冗余特征变量,建立基于BP神经网络的滑行时间预测模型,提高离港航空器场面滑行时间预测精度,并通过交叉验证证明预测结果的稳定性。预测结果表明:通过皮尔逊相关系数与随机森林组合模型进行特征选择可提高BP神经网络预测结果的精度,离港航空器的滑行时间预测误差在±5min内的占比由88.23%提升至92.26%,且预测效果较为稳定。模型可以精确预测离港航班的滑行时间,为机场运行提供决策依据。

基于特征选择方法的高校图书馆馆员队伍建设影响因素分析——以江西省高校图书馆馆员队伍建设为例

目前学界关于高校图书馆馆员发展影响因素的定量分析研究相对较少,文章以江西省高校图书馆为例,通过特征选择方法对馆员发展影响因素展开定量分析。通过计算皮尔森相关系数,分析得出学生规模、纸本图书累积量、馆舍总面积等因素与馆员总量呈较强的负相关性,与馆员总量不足的矛盾较为严峻,且不同类型高校在某些方面存在较大差异;通过随机森林算法推断出电子资源下载量、纸本图书累积量、读者总量是影响馆员成长较为重要的因素。从高校图工委、高校图书馆、高校馆长群体三个层面对高校图书馆馆员队伍建设提出若干建议。

一种基于多信息融合的风电功率预测特征选择方法

风电功率波动性强、随机性大,机组监测数据变化复杂.为了提高风电功率预测的准确性,提出一种基于多信息度量融合(MIMF)的风电功率预测特征选择方法.在对决策树、L_(1)正则化和递归特征消除这三种典型的特征选择方法进行分析研究的基础上,综合决策树可以清晰表达特征的重要性、L_(1)正则化避免过拟合和递归特征消除考虑特征间相关性的特点,通过将这三种方法所选特征取合集并依据各特征相关性选出用于风电功率预测的特征集,构造了一种融合决策树、L_(1)正则化和递归特征消除三种特征选择内在信息度量的特征选择方法,对所构建的融合多信息度量的特征选择方法进行了仿真分析.在某风电场实测数据上的仿真结果表明,与采用单一特征选择方法相比,该方法可有效提高风电功率的预测精度.

基于复杂因果关系模型的特征选择新方法及其在蜡油加氢工业装置上的应用

复杂因果关系模型的特征选择方法是当前人工智能领域的难点问题,开发新的特征选择方法对于因果关系模型的发展意义重大。以蜡油加氢工业装置为研究对象,针对模型涉及输入原料性质、操作参数等自变量特征和输出因变量特征精制蜡油硫含量之间复杂的因果关系,综合考虑输入变量两两之间的关系和输入变量与输出变量之间的关系筛选出合适的特征。首先,分别求出自变量特征之间和自变量与因变量之间的相关关系;其次,设计阈值和判别函数,将自变量、因变量结合起来,综合考虑两类变量之间的关系,最终将蜡油原料馏程中的初馏点筛选出来并剔除。相比传统的相关性特征选择方法,新筛选特征模型预测精制蜡油硫质量分数的平均绝对误差(MAE)减少62.97μg/g,平均相对误差(MRE)减少2.02百分点,决定系数R 2增加0.395,充分说明了新特征筛选方法对复杂因果关系模型的有效性。

基于随机森林和最大互信息系数关键特征选择的配电网拓扑辨识研究

随着高比例分布式能源(distributed generation,DG)的接入,配电网的拓扑变化更加频繁。针对含DG的配电网拓扑辨识所需量测特征多、辨识准确率低的问题,提出基于随机森林(random forest,RF)算法和最大互信息系数(maximal information coefficient,MIC)关键特征选择的配电网拓扑辨识方法。首先,考虑风光出力的不确定性和相关性,基于Frank-Copula函数得到典型风光出力场景,与配电网不同拓扑相结合构建数据集。然后,根据RF和MIC进行特征选择,筛选出对拓扑辨识最重要且不含冗余信息的关键特征。最后,利用蝙蝠算法(bat algorithm,BA)优化BP(back propagation,BP)神经网络模型对配电网拓扑模型进行辨识。通过IEEE 33节点配电网和PG&E 69节点配电网进行仿真分析,验证所提模型的可行性。

基于mRMR-IPSO的短期负荷预测双阶段特征选择

电力负荷具有时空多变的特性,受众多因素的影响,在短期负荷预测中较多的输入特征会造成维度灾难,导致模型预测性能不佳,因此选择合理的输入特征集至关重要。文章提出一种新的短期负荷预测特征选择方法——mRMR-IPSO双阶段法。利用最大相关最小冗余(maxrelevance and min-redundancy,mRMR)判据对原始特征进行排序,考虑输入特征与输出特征之间相关性和输入特征间冗余性,筛选掉一些排序靠后的特征,初选出对预测效果影响显著的特征子集;采用基于改进的粒子群优化算法(improved particle swarm optimization,IPSO)的搜索策略,以LightGBM模型的预测精度为适应度函数,对初选特征子集进行精选,得到最优特征子集。算例结果表明,所提方法能在对原始特征集大幅降维的情况下提升预测精度。

基于相关性分析及遗传算法的高维数据特征选择

特征选择是模式识别及数据挖掘等领域的重要问题之一。针对高维数据对象,特征选择一方面可以提高分类精度和效率,另一方面可以找出富含信息的特征子集。针对此问题,提出了一种综合了filter模型及wrapper模型的特征选择方法,首先基于特征与类别标签的相关性分析进行特征筛选,只保留与类别标签具有较强相关性的特征,然后针对经过筛选而精简的特征子集采用遗传算法进行随机搜索,并采用感知器模型的分类错误率作为评价指标。实验结果表明,该算法可有效地找出具有较好的线性可分离性的特征子集,从而实现降维并提高分类精度。

基于相关性和冗余度的联合特征选择方法

比较研究了与类别信息无关的文档频率和与类别信息有关的信息增益、互信息和χ2统计特征选择方法,在此基础上分析了以往直接组合这两类特征选择方法的弊端,并提出基于相关性和冗余度的联合特征选择算法。该算法将文档频率方法分别与信息增益、互信息和χ2统计方法联合进行特征选择,旨在删除冗余特征,并保留有利于分类的特征,从而提高文本情感分类效果。实验结果表明,该联合特征选择方法具有较好的性能,并且能够有效降低特征维数。

棕色田鼠的配偶选择和相关特征

为了确定野外生态研究中对棕色田鼠婚配制度为单配制的预测 ,在实验室观察记录了棕色田鼠在配偶选择箱内对配偶鼠 (与选择鼠交配刚生过仔 ,雌鼠产后动情 )与陌生鼠、熟悉鼠 (雌雄田鼠同居一段时间后 ,开始进行交配 )与陌生鼠的选择 ,发现棕色田鼠访问、追逐、嗅闻、爬胯配偶鼠和熟悉鼠以及与配偶鼠和熟悉鼠交配和相伴的时间明显地多于对陌生鼠 ,而且攻击陌生鼠的时间明显多于配偶鼠和熟悉鼠 (Wilcoxon检验 ,P<0 0 5 )。结果表明 :雌雄棕色田鼠特异性地选择配偶鼠和熟悉鼠 ,对陌生鼠表现出较多的排斥 ,从而在配偶选择上呈现单配制特征。通过统计计算棕色田鼠社会组织特征和室内的个体形态、幼仔发育、交配行为、双亲育幼行为、社交倾向等参数 ,然后把这些参数和婚配制度较明确的草原田鼠、松田鼠、山地田鼠、草甸田鼠的相关数据进行比较 ,发现它与多配制种类差异较大 ,而与单配制的田鼠种类相似。通过以上实验分析结果推断棕色田鼠的婚配制度可能呈单配制 ,和野外生态研究的推测相一致。