基于集成特征选择的中小微企业信贷风险分类模型研究

文章以客户违约率作为中小微企业信用风险的评价标准,尝试构造基于集成特征选择的中小微企业信用风险分类模型,结合互信息矩阵、基于k折交叉验证的随机森林和支持向量机对模型进行分析。研究表明企业的信誉等级、销项有效率和最高销项对信用风险有显著影响,其他因素对信用风险的影响不显著,实验说明基于k折交叉验证的支持向量机具有可靠的信贷风险预测能力,对中小微企业信用风险评估有较强的参考价值。

采用快速迁移模型的集成特征选择方法

相较于传统集成特征选择方法,目前的基于块正则化m×2交叉验证的集成特征选择方法(EFSBCV)不仅具有估计量的方差小于随机m×2交叉验证的方差之特点,而且提高了重要特征的入选概率,降低了噪声特征的入选概率。但EFSBCV所采用的线性回归模型因只有误差项而不包含偏置项,故拟合出来的超平面总是过原点的,因而很容易导致欠拟合,而且EFSBCV没有考虑每个特征子集的重要程度。针对EFSBCV方法存在的这两点问题,提出了基于快速迁移模型的集成特征选择方法(EFSFT)。基本思想是EFSBCV中的基特征选择器采用提出的快速迁移模型,从而引入了偏置项,EFSFT将2m个特征子集作为源知识进行迁移,然后重新量化每个特征子集的权重,加入偏置项的线性模型拟合能力更好。真实数据实验表明,EFSFT相对于EFSBCV,FP平均值降低了58%,证明EFSFT在去除噪声特征方面更具优势。EFSFT相对于最小二乘支持向量机(LSSVM),TP平均值提高了5%,证明EFSFT在筛选重要特征方面更具优势。

基于集成特征选择的个性化差分隐私LightGBM算法

针对高维度数据在数据挖掘过程中的隐私泄露及直接添加差分隐私噪声导致模型预测准确率低的问题,提出一种基于集成特征选择的差分隐私LightGBM算法,实现数据隐私性保护与可用性之间的平衡。将皮尔逊相关系数、随机森林、L1正则化、互信息、LightGBM等5种基本特征选择方法进行特征选择的结果使用投票累加法进行集成,根据集成特征选择出的前50个重要特征进行个性化隐私预算分配并使用拉普拉斯机制添加差分隐私噪声,再进行LightGBM算法进行模型训练。实验结果表明,提出的算法满足差分隐私机制,能够防止数据隐私信息发生泄漏,且相较于基于单一特征选择结果,加噪后再预测的方法准确率提高10.86%,F1-score值提高11.08%。

基于判别结构向量互补的集成特征选择方法

提出一种基于判别结构向量互补的集成特征选择方法,分别使用互信息、ReliefF和Fisher判别比度量特征对子问题的分类能力,并根据判别结构向量互补分别确定特征子集,再将其合并为最优特征子集.使用4个UCI数据集和2个基因表达数据集进行实验,将本文算法与基于排序的特征选择算法、特征子集选择算法和其基特征选择算法进行比较,结果表明,本文算法的整体性能优于其他算法.

广义邻域粗集下的集成特征选择及其选择性集成算法

针对实际模式识别系统中样本特征常具有的连续值属性、高维性、强相关性和冗余性等影响分类效果的问题,在广义邻域粗集模型下提出一种集成特征选择及其选择性集成算法.该算法先提取样本特征并利用所提出的马氏距离分布熵评估其重要度,再基于特征重要度构建广义邻域粗集模型,并在此模型上以特征重要度为启发式信息设计基于蚁群算法的属性约简算法,然后通过改变广义邻域粗集模型参数的方式获得更多具有更大差异性的基分类器,最后利用主成分分析法对产生的基分类器进行选择性集成.模拟电路故障诊断结果表明,该算法比AdaBoost等算法取得的分类精度至少提高了2.6%.

基于正则化互信息和差异度的集成特征选择

如何构造差异性大的基分类器是集成学习研究的重点,为此提出迭代循环选择法:以最大化正则互信息为准则提取最优特征子集,进而基于此训练得到基分类器;同时以错分样本个数作为差异性度量准则来评价所得基分类器的性能,若满足条件则停止,反之则循环迭代直至结束。最后用加权投票法融合所选基分类器的识别结果。通过仿真实验验证算法的有效性,以支持向量机为分类器,在公共数据集UCI上进行实验,并与单SVM及经典的Bagging集成算法和特征Bagging集成算法进行对比。实验结果显示,该方法可获得较高的分类精度。

集成特征选择的广义粗集方法与多分类器融合

为改善多分类器系统的分类性能,提出了基于广义粗集的集成特征选择方法.为在集成特征选择的同时获取各特征空间中的多类模式可分性信息,研究并提出了关于多决策表的相对优势决策约简,给出了关于集成特征选择的集成属性约简(Ensemble attribute reduction,EAR)方法,结合基于知识发现的KD-DWV算法进行了高光谱遥感图像植被分类比较实验.结果表明,EAR方法与合适的多分类器融合算法结合可有效提高多分类器融合的推广性.

F-score结合核极限学习机的集成特征选择算法

特征选择是高维小样本癌症基因数据分析的首要和关键步骤,但是现有特征选择算法存在特征子集依赖于训练样本且随训练样本不同而变化的问题。为了解决特征选择过程的特征子集不稳定问题,提出一种基于核极限学习机的集成特征选择方法,利用5-折交叉验证划分原始数据,对各训练集继续采用5-折交叉验证进行划分并进行特征选择,以所得5个特征子集之并集作为该训练集的特征子集,构造核极限学习机评价该特征子集的分类性能,以原始数据集5-折交叉验证所得特征子集的平均Jaccard系数评价特征选择算法所选特征子集的稳定性。5个基因数据集的实验测试以及与经典特征选择算法SVM-RFE、LLE Score、ARCO、DRJMIM、Random Forest和mRMR的实验比较表明,本文算法不仅能选择到稳定的特征子集,且所选特征子集具有很好的泛化能力。

基于近邻传播聚类的集成特征选择方法

针对高维数据中的类标记仅与少部分特征关联紧密的问题,提出了基于排序聚合和聚类分组的特征随机选择集成学习方法。采用排序聚合技术对特征进行过滤,选出与样本分类相关的特征,以bicor关联系数作为关联衡量标准,利用近邻传播聚类算法进行分组,使不同组的特征互不关联,然后从每个分组中随机选择一个特征生成特征子集,便可得到多个既存在差异性又具备区分能力的特征子集,最后分别在对应的特征子空间训练基分类器,采用多数投票进行融合集成。在7个基因表达数据集上的实验结果表明,提出的方法分类误差较低,分类性能稳定,可扩展性好。

采用集成特征选择的网络书写纹识别研究

网络书写纹识别技术通过分析用户在网络留言中的书写风格识别其身份.针对网络书写纹特征具有高维、冗余的特点,提出一种基于集成特征选择的识别方法.采用基于Filter与Wrapper的混合式特征选择算法对特征空间进行划分,训练出与待识别用户数相同的基分类器,使每一个基分类器成为代表一个用户的专家.通过对20个校园BBS用户的实验研究,结果表明该方法有效提高了网络书写纹的识别性能与识别模型的可理解性.

基于集成特征选择策略的基因共表达模式识别

为有效识别内含子miRNA及其宿主基因共表达模式,提出了一种基于集成特征选择的识别方法。首先使用基于支持度的集成特征选择算法,获取相关性和稳定性较高的特征子集,再使用封装式特征选择方法结合FCBF(Fast Correlation-Based Filter)搜索策略进一步去除冗余特征和弱相关的特征,获得最优的特征子集。实验结果表明,该方法融合了多个特征选择方法的优点,能提高学习模型的泛化能力并能有效识别内含子miRNA及其宿主基因的共表达模式。

基于集成特征选择的网络异常流量检测

随着互联网技术的不断发展,网络的安全问题日益受到人们的重视.网络异常流量检测能够为拦截网络攻击提供有效的保障.然而,为了准确检测网络中的异常流量,通常需要分析海量的数据.分析这些数据不仅消耗巨大的计算资源,降低检测的实时性,还有可能降低检测的准确率.为解决这些问题,提出了一种基于集成特征选择的网络异常流量检测方法:采用5种不同的特征选择算法,设计了一种投票机制以选择特征子集;用朴素贝叶斯、决策树、XGBoost(eXtreme Gradient Boosting)这3种不同的机器学习算法,评估所采用的特征选择算法;选择表现最好的算法以实现网络异常流量检测.实验结果表明,在使用提出的算法所选取出的最优子特征上,所提方法的运行时间比在原始数据集上少了84.38%,平均准确率比单个特征选择算法提高了16.93%.

基于集成特征选择的FSSD算法

FSSD(fast and efficient subgroup set discovery)是一种子群发现算法,旨在短时间内提供多样性模式集,然而此算法为了减少运行时间,选择域数量少的特征子集,当特征子集与目标类不相关或者弱相关时,模式集质量下降.针对这个问题,提出一种基于集成特征选择的FSSD算法,它在预处理阶段使用基于ReliefF(Relief-F)和方差分析的集成特征选择来获得多样性和相关性强的特征子集,再使用FSSD算法返回高质量模式集.在UCI数据集、全国健康和营养调查报告(NHANES)数据集上的实验结果表明,改进后的FSSD算法提高了模式集质量,归纳出更有趣的知识.在NHANES数据集上,进一步分析模式集的特征有效性和阳性预测值.

基于集成特征选择的森林火灾风险评估

采用集成学习的思想,提出了一种基于集成特征选择的森林火灾风险评估方法。以特征选择方法的多样性和独立性为考量,选择了15种特征选择器并利用差异度进行筛选,获得异质选择器集合,进而得到特征子集集合。其次,利用各特征子集分别构建基于BP神经网络的森林火灾风险评估模型,并依据模型准确度筛选林火重要影响因子,构建最优森林火灾风险评估模型。结果表明,该算法准确度为85.96%,具有良好的泛化能力,可实现对森林火灾风险的有效评估。

基于集成特征选择的点击欺诈检测方法

网络在线广告中以套取广告费为目的的点击欺诈已经严重影响了网络广告的稳定发展。从FDMA2012竞赛提供的欺诈发布商检测的真实数据集出发,针对冗余特征会降低训练效率以及不平衡数据会使决策边界发生偏倚的问题,提出了一种基于集成特征选择的网络在线广告点击欺诈检测方法。采用Bagging方法和合成少数类过采样技术(Synthetic Minority Oversampling Technique,SMOTE)相结合的方法将多数的正常点击广告发布商样本与少数的欺诈点击广告发布商样本构造为多个袋装子集,利用基于相关性度量的特征选择算法对每个袋装子集中筛选出特征子集,设置阈值得到特征合集,利用随机森林算法构建点击欺诈检测模型。实验结果表明该方法能够有效识别出实施欺诈点击行为的非法发布商,达到网络在线广告中点击欺诈检测的要求。

集成特征选择的基因微阵列数据分类算法

多分类器集成是机器学习领域的一个研究热点,基因微阵列技术是多领域综合交叉技术,在医学与生物学上有广泛的应用。但是,基因微阵列数据维度高且样本少等问题使得传统的分类器不能总是取得理想的分类效果。现提出一种基于多目标遗传算法的集成特征选择方法。首先,确定使用基于进化计算的集成特征选择方法进行微阵列数据分析;其次,实现最大化最小边缘的目标设计并不断完善适应值函数;最后,引导算法生成高差异度与精确度的基分类器。在前列腺癌数据集和乳腺癌数据集上与已有方法进行对比,实验表明,提出的方法在对基因微阵列数据进行分类判别方面性能表现良好。

基于集成特征选择和SVR的热连轧板凸度预测

热连轧板凸度作为评价板形质量的关键指标,具有多变量、非线性、遗传性等复杂特性。传统的热连轧板凸度模型存在机理复杂、理论情况与实际情况存在差异以及模型精度受限等问题。为了解决这些问题,提出了一种基于集成特征选择和支持向量回归的热连轧板凸度预测模型。首先,建立了基于随机森林(Random Forest,RF)、极端梯度提升(eXtreme Gradient Boosting,XGBoost)和梯度提升决策树(Gradient Boosting Decision Tree,GBDT)的集成学习模型,综合应用这些基学习器可以充分挖掘数据中的特征信息;其次,通过集成学习模型对基学习器得到的特征重要性进行加权融合,并根据融合后的特征重要性排序来筛选最具有信息量的模型输入特征,可有效地降低特征维度;然后,采用灰狼优化算法(Grey Wolf Optimization,GWO)来优化支持向量机回归(Support Vector Regression,SVR)预测模型中的参数,其不仅能够消除传统人工参数选择的主观性和盲目性,还能更好地适应数据的特性;最后,将筛选后的特征输入到参数优化的SVR预测模型中,用于对热连轧板凸度进行预测。使用国内某热连轧厂的实际生产数据进行多组试验验证,试验结果表明,模型的预测绝对误差在15μm内的比例超过99%。该预测模型不仅提高了预测精度,还为热连轧板凸度的精确控制和板形质量的改善提供了有力的指导和支持。为解决复杂热连轧生产中的关键问题,以及提高生产过程的可持续性和效率提供了有益的方法和思路。

基于Spark的肿瘤基因混合特征选择方法

为处理随微阵列技术发展而急剧增长的肿瘤基因数据,实现对肿瘤基因数据的特征选择,结合集成特征选择和混合特征选择,提出一种Spark分布式计算框架的混合特征选择方法。利用F-score特征选择方法去除无关特征,进行初步特征选择,结合F-score、多分类支持向量机递归消除法、基于随机森林的特征选择3种方法得到最优的特征子集,并采用支持向量机对特征子集进行分类预测。实验结果表明,该方法能通过选择较少的基因达到较高的分类准确率。

基于集成学习的燃料十六烷值预测

十六烷值(cetane number,CN)是衡量柴油燃烧性能的主要指标之一,由于实验测定方法成本高且耗时长,所以人们一直在研究燃料结构与其对应的十六烷值之间关系的方法,以期替代实验测定方法。文中提出一种基于定量结构-性质关系(quantitative structure-property relationship,QSPR)研究燃料结构与十六烷值之间关系的方法。该方法应用多种特征选择算法结合投票机制构成集成特征选择方法——从大量的结构参数中筛选出与燃料十六烷值最相关的15个分子描述符作为特征。然后对比人工神经网络算法和极端随机树算法建立的分子结构预测燃料十六烷值的模型。结果显示:(1)集成特征选择方法比单一特征选择方法更优;(2)极端随机树模型比人工神经网络模型对燃料的十六烷值预测精度更高。

基于磁共振影像特征集成融合的AD诊断

为了得到更高更稳定的阿尔茨海默病(AD)诊断准确率,对脑磁共振影像纹理特征进行了集成融合,并用于AD分类诊断.首先,基于病理知识提取脑磁共振影像中左右脑相关解剖结构的体积、纹理特征;然后,采用链式智能体遗传算法与支持向量机相结合的封装式特征选择分类集成模型,对提取的特征集进行特征选择,从而实现融合;最后,利用融合后的特征进行分类诊断,并将融合后的分类结果与融合前以及采用p值法特征选择的分类结果进行对比.实验结果表明,相比融合前的特征以及采用p值法进行选择的特征,利用所提算法融合后的特征具有更高且更稳定的分类准确率、灵敏度和特异度.