基于Stacking算法集成学习的页岩油储层总有机碳含量评价方法

总有机碳含量(TOC)是页岩油储层评价的重要参数,而传统总有机碳含量测井评价方法精度较低且普适性较差,机器学习模型在一定程度上提高了总有机碳含量预测精度,但结果存在不稳定性。为了进一步提高页岩油储层总有机碳含量预测精度,基于有机质岩石物理特征和不同总有机碳含量测井响应特征的深入分析,优选出深侧向电阻率、声波时差、补偿中子和密度测井曲线作为总有机碳含量的敏感测井响应,并将其作为输入特征,以岩心分析总有机碳含量作为期望输出值,分别建立了决策树模型、支持向量回归机模型、BP(Back Propagation)神经网络模型,并建立了以决策树模型为基模型、支持向量回归机模型为元模型的Stacking算法集成学习模型。利用B油田A区块的岩心样本数据和实际井数据对不同模型预测总有机碳含量结果进行了验证,结果表明,基于Stacking算法的集成学习模型的总有机碳含量预测精度最高,相较于决策树模型、支持向量回归机模型、BP神经网络模型和改进的ΔlgR法,预测精度有较大提高。因此,基于Stacking算法的集成学习模型为该研究区最有效的总有机碳含量计算方法,这为准确地评估页岩油储层的生烃潜力、确保页岩油储层的高效开采及资源利用奠定了基础。

面向Stacking算法的差分隐私保护研究

为解决同质集成学习算法对噪声更敏感,难以兼顾较好的预测性能和有效的隐私保护这一问题,提出一种基于差分隐私的DPStacking算法,将异质Stacking算法与差分隐私技术相结合,以优化算法的隐私保护和预测性能。但是,由于Stacking算法的低层和高层模型都可以由不同的学习器构成,若对某个具体学习器设计隐私预算分配方案来提供差分隐私保护,该方案往往无法适用于由任意基学习器和元学习构成的Stacking算法。基于此,设计了一种基于元学习器的隐私预算分配方案,此方案根据皮尔逊相关系数及差分隐私并行组合的特性为元学习器输入的不同构成体分配不同的隐私预算。通过理论与实验验证,DPStacking算法符合ε-差分隐私保护,与基于差分隐私的随机森林算法(DiffRFs)、Adaboost算法(DP-AdaBoost)、XGBoost算法(DPXGB)相比,能有效保护数据隐私的同时拥有更好的预测性能,并较好地解决了单一同质集成学习算法对噪声更加敏感的问题。

基于Stacking算法的转炉吹炼终点钢水磷含量预测

根据中天钢铁集团有限公司120 t转炉的实际生产数据,建立基于Stacking集成学习算法的转炉终点钢水磷含量预测模型。通过脱磷热力学分析确定影响脱磷的主要因素,进而确定模型的输入变量。在数据预处理完成后使用6种机器学习算法(RF、ET、XGBoost、LightGBM、CatBoost、NN)分别建立模型,再将这6种模型的预测结果使用多元线性回归算法进行Stacking集成建模。通过对比这7种模型的预测结果可以得到:Stacking集成模型的预测效果最好,其预测终点钢水磷质量分数误差为±0.004%、±0.005%时的命中率分别为90.59%、97.56%。

基于Stacking算法的烟支空头率影响因子及其效应挖掘研究

为推动烟草行业由“信息化”向“智能化”迈进,深入挖掘烟草行业大数据价值,反哺工艺质量控制。文章选取烟支缺陷中最核心的项目空头作为研究对象,运用Stacking集成机器学习算法识别出烟支空头率的重要影响因子为VE段流化槽压力、筛风风机转速、VE段比例系数、吸丝带与前后道修整器后侧之间的距离。数值试验结果显示:SE段的工艺参数对烟支空头率的影响高于VE段,且SE段与VE段参数之间存在显著交互。为降低空头率,通过提取决策树最优决策路径输出重要影响因子的参数设定组合建议值为:VE段的流化槽压力终值设定在-2.5~-2.0hPa,针辊比例系数设定在115%~120%,筛分风机风速不高于1350r/min;SE段修整器/吸丝带的距离-前道修整器后设定为0~1mm,修整器/吸丝带的距离-后道修整器后设定为0.5~1mm或者1~2mm。基于数据科学模型探究烟支空头率影响因素,不仅可以降低试验前期探索成本、规避科学试验片面性,而且为提高烟支质量控制稳定性、降低烟支剔除率和生产消耗提供有效依据。

基于Stacking算法的特高压直流输电线路合成电场预测方法研究

特高压输电线路是我国电网重要的组成部分,周围电磁环境复杂多变,地面合成电场是特高压输电线路主要电磁环境指标之一,进行准确预测和长期监测对电网安全运行具有重要意义。本文对宁东-浙江±800 kV特高压直流输电工程(灵绍线)进行了合成电场数据采集,将测量得到的合成电场数据进行了异常值分析及处理,通过实际算例表明:局部离群因子(LOF)异常值剔除算法差值平均值小,优于基于密度的有噪声的应用空间聚类(DBSCAN)和孤立森林剔除算法;使用Stacking算法及多种算法基于两组不同数据对合成电场进行预测,预测结果显示Stacking算法预测精度均优于多种同类预测算法;与传统有限元法预测合成电场进行对比,结果显示该预测方法可有效进行特高压直流输电线路地面合成电场预测、有效监测合成电场、及时发现隐患,保证输电线路安全稳定运行。

基于Stacking算法集成的我国信用债违约预测

通过对2014~2019年我国信用债违约案例的原因分析及相关文献综述,从债券资质、债务主体、财务数据、宏观因素四个维度构建债券违约的指标体系,利用随机森林算法优化,研究发现当影响因素选择18项与37项时,样本内外预测结果达到均衡。基于不同角度的七种算法对比分析,择优选取三种作为底层算法:随机森林算法、梯度提升决策树算法与贝叶斯算法,并结合逻辑回归算法为次级训练算法融合构建基于Stacking算法集成的债券违约预测模型。实证结果表明,第一,Stacking算法的双重集成作用相对底层的单次集成总体精确度提升了1%到8%;第二,对不同指标数量的Stacking算法集成模型的评估表明所构建的指标体系提高了预测水平;第三,基于样本内外预测均衡的底层算法选择方法有效可取,分别纳入相对劣势的底层算法时,会逐渐影响模型稳定性。研究成果可以为我国债券市场风险管理提供技术支持与参考。

基于SE-Stacking算法的心肺复苏结果预测分析

为解决心肺复苏(cardiopulmonary resuscitation,CPR)预测模型中性能无法满足临床应用要求,缺乏可解释性等问题,提出一种改进的堆叠融合CPR预测模型。首先采用人工少数类过采样算法(synthetic minority over-sampling technique,SMOTE)将数据均衡处理,嵌入法(Embed)进行特征筛选,其次使用4种树模型进行堆叠融合,五折交叉验证网格搜索算法进行参数优化,最后引入模型解释算法(shapley additive explanation,SHAP)量化特征重要性。结果表明,该模型具有良好的预测效果,准确率、精确率、召回率和F1分数分别达到了0.91、0.93、0.94和0.93,得到了CPR总时间、肾上腺素总剂量、年龄和既往疾病等重要影响因素。预测结果具有可解释性,可作为有效的辅助诊断模型。

基于多特征和Stacking算法的Android恶意软件检测方法

Android由于其广泛的普及率使得其平台上的恶意软件数量不断增加,针对目前大部分方法采用单一特征和单一算法进行检验,准确率不高的不足,提出了一种基于多特征与Stacking算法的静态检测方法,该方法能够弥补这两方面的不足.首先使用多种特征信息组成特征向量,并且使用Stacking集成学习算法组合Logistic,SVM,k近邻和CART决策树多个基本算法,再通过训练样本进行学习形成分类器.实验结果表明,相对于使用单一特征和单一算法其识别准确率得到提高,可达94.05%,该分类器对测试样本拥有较好的识别性能.

一种适用于卷积神经网络的Stacking算法

为提高卷积神经网络的分类精度,提出一种结合多个网络的改进Stacking算法。将卷积神经网络作为基分类器对数据进行分类,得到新的样本再经过元分类器分类。为降低元分类器输入数据的维度和多个网络分类结果之间的相关性,采用主成分分析方法对基分类器的输出进行降维。在数据集上进行分类精度对比实验,结果表明,与传统Stacking、基于平均后验概率算法和基于类投票算法相比,该算法在同类型网络和不同类型网络中,分类精度均较高且更具有稳定性。

改进Stacking算法的光伏发电功率预测

针对Stacking算法计算时间较长和样本数据较少的问题,提出了一种基于新向量表示和交叉验证精度加权的改进Stacking算法。采用三层算法结构,第1、2层为初级层,使用随机森林、SVR、XGBoost 3个学习器;第3层为次级层,使用LightGBM对第2层输出再次学习以减弱噪声。用一种新的向量表示法来增大层级之间输入输出数据的样本规模和样本分布密度,来保证数据维度不会随着初级层学习器数目的增多而增大;根据在交叉验证下初级层不同预测模型表现出预测准确度的差异性对结果进行加权处理。利用某光伏电站的发电数据进行实际算例分析,提出的模型在MAE、MSE及R2指标上,相比随机森林和Stacking等模型其预测性能有很大的提升。

基于AHP的Stacking算法基分类器选择

为找到与分类任务最贴切的基分类器组合,提出一种基于层次分析法(analytic hierarchy process, AHP)的Stacking算法基分类器选择方法。通过AHP确定分类器单一性能指标的权值,以各指标加权求和的结果作为评价分类器好坏的标准来选择基分类器。通过对不同组合的基分类器进行Stacking集成发现,性能最优的单个分类器集成效果并不是最佳的,基分类器个数最多的模型也不是最适合任务需求的。结果表明,该方法在提高分类器性能方面具有可行性和有效性。

基于动态聚类的Stacking算法及其应用

针对传统Stacking算法手动选择基学习器存在效率低和无法选择最优基学习器的问题,提出一种基于动态聚类的Stacking算法并将其应用于销量预测任务中。首先,通过轮廓系数法对多个初始基学习器的输出以不同的簇数计算其轮廓系数值;然后,动态选择系数值最大时的簇数进行k-means聚类,每轮聚类后根据各簇心与标签值的误差给予回报值奖励;最后,选择回报值最大的簇所包含的基学习器作为最优基学习器。实验结果表明,所提算法与基于特征融合的Stacking算法相比,均方根百分比误差(RMSPE)降低了1.3个百分点,平均绝对百分比误差(MAPE)降低了1.0个百分点;与基于层次分析的Stacking算法相比,RMSPE降低了1.1个百分点,MAPE降低了0.8个百分点。

一种基于Stacking算法的乙烯裂解炉炉管结焦智能诊断方法

为提高炉管结焦诊断的准确度,提出一种基于Stacking算法的炉管结焦智能诊断方法。该方法首先利用多重层次聚类算法实现了对炉管外表面温度的精准计量;然后融合相关性度量和网格搜索算法,实现了基学习器和次级学习器的最优组合;最后构建了基于支持向量机、朴素贝叶斯、径向基函数神经网络、逻辑回归和随机森林的炉管结焦诊断模型。对比实验表明,基于Stacking算法的炉管结焦诊断模型的准确率(99.82%)、有效性和稳定性比使用单一的基于学习器SVM、朴素贝叶斯、RBF和LR算法训练的结焦诊断模型均有一定程度的提高。因此,本文方法可为乙烯生产过程中裂解炉炉管结焦程度的判断提供可靠依据。

基于Stacking算法的组合分类器及其应用于中文组块分析

与基于Voting方法的组合分类器相比,提出基于Stacking算法的多分类器组合方法,通过构造一个两层的叠加式框架结构,将4种分类器(fnTBL,SNoW,SVM,MBL)进行了组合,并融合各种可能的上下文信息作为各层分类器的输入特征向量,在中文组块识别中取得了较好的效果.实验结果表明,组合后的分类器无论在准确率还是召回率上都有所提高,在哈尔滨工业大学树库语料的测试下达到了F=93.64的结果.

基于Stacking算法的银行定期存款产品购买行为研究

研究客户的购买行为以及客户的价值成为提高银行收益与优化营销策略的主要途径。本文通过研究客户购买某商业银行定期存款产品的相关数据,预测客户是否会购买该产品。使用LabelEncoding编码方法和SMOTE算法对数据进行处理。使用RFECV和GBDT算法进行特征选择,根据特征重要性获得影响客户是否购买的重要指标。使用决策树、SVM与GBDT算法以及Stacking算法对银行客户是否会购买定期存款产品进行研究,结果显示Stacking算法的预测效果比单一模型的预测效果更好。

采用全卷积神经网络与Stacking算法的湿地分类方法

高精度湿地制图对湿地生态保护与精细管理具有重要的支撑作用。针对传统湿地分类方法的精度不高等问题,提出了一种采用全卷积神经(Fully Convolutional Neural,FCN)网络与集成学习的湿地分类方法。首先利用全卷积神经网络(SegNet、UNet及RefineNet)对GF-6影像的语义特征进行提取与融合,然后利用Stacking集成算法对融合后的特征进行判别和分类。结果表明,采用全卷积神经网络与Stacking算法能有效提取湿地信息,总体分类精度为88.16%,Kappa系数为0.85。与采用全卷积神经网络与单一机器学习的随机森林(Random Forest,RF)、支持向量机(Support Vector Machin,SVM)与k-近邻(Nearest Neighbor,kNN)算法相比,该研究提出的湿地分类方法在总体分类精度上分别提高了4.87,5.31和5.08个百分点;与采用单一全卷积神经网络(RefineNet、SegNet、UNet)与Stacking算法下的湿地分类结果,该文提出的湿地分类方法在总体分类精度上分别提高了2.78,4.48与4.91个百分点;该方法一方面能通过卷积神经网络提取遥感影像深层的语义特征,另一方面通过集成学习根据各分类器的表征性能进行合理的选择并重组,从而提高分类精度及其泛化能力。该方法能为湿地信息提取及土地覆盖分类方法的研究提供参考。

融合类Stacking算法的杭州臭氧浓度预测

针对目前单机器学习模型对臭氧日均浓度预测精度较低的问题,提出一种融合类Stacking算法的臭氧浓度预测方法(FSOP),将统计方法普通最小二乘法(OLS)与机器学习算法相融合,通过集成不同学习器的优势来提高臭氧浓度预测模型的预测精度.采用杭州市2017年1月至2022年12月臭氧日最大8h浓度平均值的观测数据和气象再分析数据,根据Stacking算法的原理,先分别建立基于轻量级梯度提升机(LightGBM)算法、长短期记忆模型(LSTM)和Informer模型的特定臭氧浓度预测模型,再将以上模型的预测结果作为元特征,利用OLS算法获取臭氧浓度的预测表达式对臭氧浓度观测值进行拟合.结果表明,融合类Stacking算法后的模型预测精度获得提升,臭氧浓度拟合效果更好.其中,R2、RMSE和MAE分别为0.84、19.65μg·m^(−3)和15.50μg·m^(−3),较单个机器学习模型预测精度提升了8%左右.

融合改进SMOTE与Stacking算法的输电通道树线放电因子风险状态评估

当前,对电力系统输电通道的风险评估手段以规则方法为主,往往对输电线路结构本身的特征考虑较少。基于KNN、决策树和SVM模型,提出了一种融合改进SMOTE与Stacking的机器学习算法,实现了对输电通道中树线放电因子的风险评估预测,该算法能较好地解决数据集没有明确正常样本数据,且异常样本类型分布不平衡的问题。通过与Bagging集成算法、融合SMOTE与Stacking算法对比,验证了所提算法的有效性与先进性,为后续输电通道其他因子基于机器学习的风险评估奠定了基础。

基于Stacking算法的员工离职预测分析与研究

针对员工离职会增加企业运营成本,降低企业盈利能力的问题,提出使用机器学习的离职员工预测算法;通过Stacking集成学习算法组合Adaboost和Random Forest基本算法构建LRA预测模型,实现对某企业的员工离职预测;实验结果显示,LRA模型的预测准确率为89. 09%,相对于单一算法所构建验证的模型预测准确率明显提高,LRA模型的查准率、查全率以及F1度量指标证实模型的可行性与可靠性,通过对输入LRA模型的特征进行重要性排序,得到影响员工离职的主要因素有加班、工龄(0-3年)、收入、职业级别等,丰富已有研究的结论,有利于企业决策者,针对离职行为进行合理决策。

Stacking算法在小样本预测上的适用性研究:以实验室金属挂片的腐蚀速率预测为例

集成学习在处理小样本问题上具有相当的优势,相较于其他集成模式,Stacking模式对集成单元的类型并没有限制,所以具有相当的研究潜力。在油气领域,如何对实验室条件下对金属腐蚀数据的充分利用,是当前急需解决的问题。为了探究stacking算法在小样本预测上的适用性,本研究以实验室条件下获得的99组金属腐蚀数据为基础,在预处理后,然后选择了11组基础集成模型以stacking的模式进行集成并预测。最终的结果表明stacking模式并不适用于该数据集下的小样本预测。