基于Stacking算法集成学习的页岩油储层总有机碳含量评价方法

总有机碳含量(TOC)是页岩油储层评价的重要参数,而传统总有机碳含量测井评价方法精度较低且普适性较差,机器学习模型在一定程度上提高了总有机碳含量预测精度,但结果存在不稳定性。为了进一步提高页岩油储层总有机碳含量预测精度,基于有机质岩石物理特征和不同总有机碳含量测井响应特征的深入分析,优选出深侧向电阻率、声波时差、补偿中子和密度测井曲线作为总有机碳含量的敏感测井响应,并将其作为输入特征,以岩心分析总有机碳含量作为期望输出值,分别建立了决策树模型、支持向量回归机模型、BP(Back Propagation)神经网络模型,并建立了以决策树模型为基模型、支持向量回归机模型为元模型的Stacking算法集成学习模型。利用B油田A区块的岩心样本数据和实际井数据对不同模型预测总有机碳含量结果进行了验证,结果表明,基于Stacking算法的集成学习模型的总有机碳含量预测精度最高,相较于决策树模型、支持向量回归机模型、BP神经网络模型和改进的ΔlgR法,预测精度有较大提高。因此,基于Stacking算法的集成学习模型为该研究区最有效的总有机碳含量计算方法,这为准确地评估页岩油储层的生烃潜力、确保页岩油储层的高效开采及资源利用奠定了基础。

联合星载高光谱影像和堆栈集成学习回归算法的红树林冠层叶绿素含量遥感反演

红树林是世界上生产力最高、价值最高的湿地生态系统之一。冠层叶绿素含量CCC(Canopy Chlorophyll Content)作为红树林重要的生物物理参量,是估算其生产力和评价其健康状况的重要指标。本文利用珠海一号高光谱卫星(OHS)影像与Sentinel-2A多光谱数据计算传统植被指数与组合植被指数并构建了高维数据集,综合利用正态分布检验、最大相关系数法与变量重要性评价进行数据降维和变量优选;分别基于单一线性回归算法、机器学习回归算法和堆栈集成学习回归算法构建了红树林CCC遥感反演模型,探明北部湾红树林CCC的最佳遥感反演模型,验证OHS高光谱影像与Sentinel-2A数据反演红树林CCC的精度差异,评估SNAP-SL2P算法反演红树林CCC的适用性。研究结果表明:(1)通过数据降维和变量选择处理,从高维度OHS数据集选取了8个特征变量,其中RSI_((12,17))、DSI_((12,18))和NDSI_((6,12))组合植被指数对红树林CCC反演精度的贡献率较高;(2)联合OHS数据和最优堆栈GBRT集成学习回归模型(Score=0.999,RMSE=0.963μg/cm^(2))的训练精度优于最优RF机器学习回归模型(RMSE降低了7.531μg/cm^(2)),明显优于最优Lasso线性回归模型(RMSE降低了19.383μg/cm^(2));(3)在最优堆栈集成学习回归模型下,OHS数据反演红树林CCC的精度(R^(2)=0.761,RMSE=16.738μg/cm^(2))高于Sentinel-2A影像(R^(2)=0.615,RMSE=20.701μg/cm^(2));(4)联合OHS和Sentinel-2A数据的最优堆栈集成学习回归模型反演红树林CCC的精度都明显优于SNAP-SL2P算法(R^(2)=0.356,RMSE=49.419μg/cm^(2))。研究结果论证了正态分布检验、最大相关系数法和基于XGBoost的特征选择方法有效降低了高维数据集的维度,并得到了最优特征变量;OHS数据的最优堆栈GBRT集成学习回归模型训练精度最高,是估算红树林CCC的最优反演模型;OHS和Sentinel-2A数据都能有效反演红树林CCC(R^(2)均大于0.61),而OHS数据的估算精度更高(R^(2)大于0.75);SNAPSL2P算法不能有效反演红树林CCC(R^(2)小于0.4),且对红树林CCC数值存在系统性低估。

堆栈式集成学习驱动的电力系统暂态稳定预防控制优化方法

针对暂态稳定预防控制在线计算的快速性要求和时域方程计算复杂性之间的矛盾,提出一种堆栈式集成学习驱动的电力系统暂态稳定预防控制优化方法。首先,构建了基于堆栈式集成深度置信网络的暂态稳定评估器,用以代替暂态稳定判定所需的非线性微分代数方程求解过程;其次,将训练好的暂态稳定评估器作为暂态稳定约束判别器,嵌入帝企鹅启发式优化算法的迭代寻优过程中;最后,以预防控制代价最小为目标,建立集成学习驱动的电力系统暂态稳定预防控制启发式优化算法,该算法实现了预防控制中暂态稳定约束的高效判断,提高了发电再调度预防控制决策水平。基于IEEE39节点系统对所提预防控制优化方法进行实验验证,结果表明,该方法在评估准确率和计算效率上都具有良好的效果。

基于高维数据的集成逻辑回归分类算法的研究与应用

针对逻辑回归分类模型,提出基于高维数据的集成逻辑回归分类算法,该算法随机抽取多个特征集,并针对各个特征集构建多个回归模型。并最终针对多个逻辑回归模型结果,利用集成学习方法进行最终预测。实验结果表明,集成逻辑回归分类算法具有很高的预测精度,与传统算法相比有明显的提高。

基于新型集成学习算法的基岩潜山油藏储层裂缝开度预测算法

天然裂缝是基岩潜山油藏油气存储及运输的重要场所,而裂缝开度是表征潜山油藏储层品质、油气储量及产能评价的关键参数。为此,提出一种基于集成学习算法的新型裂缝开度预测算法。以B盆地中非乍得某基岩潜山油藏岩心描述、关键井成像测井、裂缝参数解释获取开度数据,以相同深度测井数据作为特征变量构成学习样本。利用K均值聚类算法对学习样本进行降噪,剔除异常数据,以支持向量机回归和XGBoost回归算法为基础模型,再利用随机搜索进行参数优化,通过岭回归算法对基础模型进行集成组合,再进行裂缝开度预测。结果表明所提出的新型集成学习算法比基础模型性能有明显提升。测试集样本预测值与实际值均方根误差为0.047,相关系数达0.931。该算法弥补了单一回归算法不稳定的特点,提高了泛化能力,为裂缝开度预测提供了新思路。

基于斜回归树及其集成算法的静态电压稳定规则提取

可再生能源渗透率的增加给电力系统安全稳定运行带来持续性的挑战,传统方法分析系统稳定性、控制电网稳定运行变得愈加困难。针对这一难题,提出了内嵌安全稳定约束的电力系统优化运行框架以及用于电力系统安全稳定规则提取的斜回归树及其集成算法。该算法首先优化斜划分系数以训练单棵斜回归树,然后利用boosting思想集成斜回归树,并通过正则化方法保证树的稀疏度,增强算法的可解释性。相比神经网络等黑箱模型,文中提出的方法能够提取显式安全稳定规则,为内嵌安全稳定约束的电力系统优化运行奠定了基础。最后,以静态电压稳定问题为例验证算法的有效性,算例验证结果表明所提算法具有良好的可解释性、较强的表示能力和较高的集成效率。

进化集成学习算法综述

进化集成学习结合了集成学习和进化算法两方面的优势,并在机器学习、数据挖掘和模式识别等领域被广泛应用。首先对进化集成学习算法的理论基础、组成结构及分类情况进行了概述。然后根据进化算法在集成学习中的优化任务,从样本选择、特征选择、集成模型参数组合优化、集成模型结构优化以及集成模型融合策略优化几个方面对当前进化集成学习领域的一些代表性研究成果进行了详细的综述,并分析和总结了各种进化集成学习算法的特点。最后对现有的进化集成研究的优缺点进行探讨,并给出了未来的研究方向。

基于交叉验证的集成学习误差分析

目前关于集成学习的泛化性能的研究已取得很大成功,但是关于集成学习的误差分析还需要进一步研究.考虑交叉验证在统计机器学习中对于模型性能评估有重要应用,为此,应用组块3×2交叉验证和k折交叉验证方法为每个样本点进行赋予权重的预测值的集成,并进行误差分析.在模拟数据和真实数据上进行实验,结果表明基于组块3×2交叉验证的集成学习预测误差小于单个学习器的预测误差,并且集成学习的方差比单个学习器方差小.与基于k折交叉验证的集成学习方法相比,基于组块3×2交叉验证的泛化误差小于基于k折交叉验证的泛化误差,说明基于组块3×2交叉验证的集成学习模型稳定性好.

用于航班延误预测的集成式增量学习算法

为持续高效地学习不断产生的航班运行信息,提高航班延误预测模型学习新到达数据的效率,采用集成学习思想,提出了一种基于分类与回归树(classification and regression tree,CART)的增量学习算法.首先,将CART算法与Learn++算法结合实现了增量分类与回归树(incremental classification and regression tree,I-CART)算法;然后,进一步分析了基分类器间的区别和与精确度的关系,使用选择性集成算法来提高I-CART算法预测速率;最后,将该算法应用到航班延误预测中,增量地学习航班动态运行信息.实验结果表明,该算法有效地提高了模型预测效果.

基于混合梯度提升决策树和逻辑回归模型的分组密码算法识别方案

针对密码算法识别工作中因密码算法数量增多、密文数据复杂化以及数据间干扰增加,导致单层识别方案的识别准确率和稳定性变差等问题,提出一种基于混合梯度提升决策树和逻辑回归模型,并基于该模型构造分组密码算法识别方案。在该方案中,首先,采用NIST随机性测试标准中的15种测试方法作为密文特征提取方法对密文文件进行特征提取,并选定有意义的10种特征值作为分类器的输入;然后,使用这10组特征训练梯度提升决策树模型,并利用其学习而生成的树来构造新特征;最后,将这些新特征做one-hot编码,并将其加入到原有特征中训练逻辑回归模型进行预测。在唯密文情况下,基于9种不同的分类器模型分别构造9种不同的密码算法识别方案,并利用这9种方案对2种典型的分组密码算法AES和3DES加密的不同大小的密文文件进行密码算法二分类实验,对5种常用的分组密码算法AES、3DES、Blowfish、CAST和RC2加密的不同大小的密文文件进行密码算法五分类实验。实验结果表明,相较于其他识别方案,当密文长度相同时,本文所提方案在二分类和五分类识别问题中几乎均有最高的识别准确率。同时,随着密文长度的变化,识别准确率呈波动性变化,本文所提方案波动幅度最小,受影响程度最小,稳定性最高。

基于属性权重的Bagging回归算法研究

提出一种新的回归算法——基于属性权重的Bagging回归算法。首先使用支持向量机回归或主成分分析方法对样本数据的属性赋以一定的权值,以表明该属性在回归过程中的贡献大小;再根据不同属性的权重大小构建训练使用的多个属性子集。在构建这些属性子集的过程中,按照不同属性权重在总权重中所占比重为概率进行,使得对回归贡献大的属性有更大的可能被选入属性子集当中参与训练;最后,对这些属性子集进行训练,生成相应的多个回归子模型,这些子模型的集合就是通过基于属性权重的Bagging回归算法训练得到的最终模型。

基于集成学习的风电功率概率预测方法研究

风电功率有较强的不确定性。为了解决大规模风电并网下电网的安全稳定运行问题,需要对风电功率进行概率预测。通过对概率预测算法进行研究,在充分融合多种算法优势的基础上,提出了一种新型的、基于集成学习的风电功率概率预测方法。首先,使用极限学习机-分位数回归模型作为个体学习器,并通过灰狼优化算法对新型综合性能评价指标进行极大化寻优,得到各个体学习器的加权系数。然后,融合个体学习器的输出以及加权系数,得到最终的预测区间。最后,使用现场实际运行数据进行仿真测试,并与其他算法预测结果进行对比。对比结果表明,所提出的算法在获得较窄预测区间的同时具有高可靠性,可以为电网优化调度提供有效的数据支撑。

基于改进鲸鱼优化算法的GBDT回归预测模型

针对梯度提升决策树(gradient boosting decision tree,GBDT)参数难以选择的问题,提出一种基于改进鲸鱼优化算法(improved whale optimization algorithm,IWOA)的GBDT回归预测算法.首先,提出一种改进的鲸鱼优化算法,利用混沌映射初始化种群提高种群多样性,引入惯性权重与差分进化算法中的变异交叉策略解决迭代后期易陷入局部最优的问题;其次,利用IWOA对GBDT的关键参数寻优,避免参数选择的盲目性,提高回归预测模型的泛化能力;最后,建立IWOA-GBDT回归预测模型,并利用UCI数据集对模型进行验证.实验结果表明,相比于决策树、支持向量机、Adaboost和GBDT算法,该模型算法具有更好的拟合效果,并有一定的实用价值.

基于数据流集成回归的短时交通流预测

传统的交通流预测技术使用静态和离线算法,无法对模型的参数值和内部结构进行在线调整。然而,交通流变化具有明显的动态性,其内在模式会随时间发生变化,导致构建好的模型准确度下降。针对上述问题,提出了基于数据流集成回归的短时交通流预测模型。将不断产生的交通流数据划分成数据块,每个数据块训练1个基础回归模型,然后加权组合为集成模型。通过不断训练新的基础模型,并置换出集成模型中准确度最差的基础模型,实现在线更新。在实测数据上的对比实验结果表明,与静态离线的BN模型相比,模型的均方根误差降低了19.5%,运算时间降低了48.7%,并能够快速适应交通状况发生明显变化的情况,适用于城市主干道路的短时交通流预测问题。

基于Bagging集成高斯过程回归模型的刀具寿命预测

提出了一种集成高斯过程回归(Gaussian process regression,GPR)模型的预测方法,首先将信号进行时域和频域分析,提取信号时频域特征,再结合距离相关系数(distance correlation,DC)进行特征筛选;为了提高模型的预测精度,采用Bagging算法对多个基学习器进行GPR集成,最大限度地降低噪声信号的影响;最后根据贝叶斯后验概率计算得到各子模型的权重,对子模型的输出进行融合,得到全局预测值。进行对比分析实验,验证了该方法的有效性,较之人工神经网络和支持向量机,该方法预测精度更好,具有一定的工程实用意义。

基于LNN-DPC加权集成学习的转炉炼钢终点碳温软测量方法

转炉炼钢终点控制的关键是碳温准确预报。针对实际生产中因原料品质差异导致的炉次样本波动性较大所造成全局单一模型无法精确预测终点碳温的问题,提出一种局部最近邻密度峰值聚类算法(LNN-DPC)加权集成学习软测量方法。首先,采用改进的峰值密度聚类算法划分降维后的训练数据形成局部样本子集,构建子集与原始数据间的一一对应关系生成高斯过程回归子模型,并在原始数据子集下度量得到熵值加权的子集“质心”;其次,通过灰色关联分析选择与测试样本关联度较强的模型作为局部模型,提出关联度加权集成策略输出碳温预测结果。在实际转炉炼钢生产过程数据仿真结果下,碳含量在±0.02%的误差范围内精度达到85.2%,温度在±10℃的误差范围内精度达到84.8%。

基于最大信息系数和多目标Stacking集成学习的综合能源系统多元负荷预测

精确的多元负荷预测对于综合能源系统的能源调度与运行规划起到重要的作用。对电、热、冷负荷单独进行预测的传统方法会忽略多元负荷间的耦合关系。针对这一问题,提出一种基于多目标Stacking集成学习的多元负荷协同预测模型。引入最大信息系数对多元负荷及天气因素进行相关性分析,并提出负荷耦合形态指标来深度挖掘多元负荷间的耦合关系;将多目标回归与Stacking集成学习模型相结合,建立多元负荷协同预测模型;通过实际算例验证所提模型的有效性,算例结果表明,与其他预测模型相比,所提模型预测精度更高。

基于spark平台的供电煤耗并行回归预测

针对火电厂数据量大且复杂的特点,通过采用基于spark的并行回归算法,解决了传统供电煤耗回归预测模型所需的运行时间较长且预测精度较低的问题。本文采用了大数据平台中采集到的某电厂周期为一年的运行数据,对数据进行异常值筛选、空值填补等清洗及预处理过程,并对工况进行判稳,选取稳定工况下的健康数据进行数据分析,最后利用灰色关联度分析方法选择关联度最大的12个特征,对火电厂供电煤耗进行预测。通过参数调优建立基于spark的火电厂供电煤耗的随机森林和梯度提升决策树的并行回归模型,最后对实验结果进行比较分析和总结。结果表明,随机森林回归模型和梯度提升决策树回归模型对火电厂的供电煤耗都有较好的预测效果,但随机森林回归模型预测的准确度相对更高。

基于深度学习特征提取与多目标优化集成修剪的选择性集成学习软测量方法

集成学习已成为一种广泛使用的软测量建模框架,但是建立高性能的集成学习软测量模型依然面临特征选择不当、基模型多样性不足、基模型估计性能不佳等诸多挑战.为此,提出一种基于堆栈自编码器多样性生成机制的选择性集成学习高斯过程回归(selective ensemble of stacked autoencoder based Gaussian process regression, SESAEGPR)软测量建模方法.该方法充分发挥深度学习在特征提取方面的优势,通过构建多样性的堆栈自编码器(stacked autoencoder, SAE)网络,建立基于隐特征的高斯过程回归(Gaussian process regression, GPR)基模型.基于模型性能提升率和进化多目标优化对SAEGPR基模型实施两次集成修剪,以降低集成模型复杂度、保持甚至进一步提升模型估计性能,最后,引入PLS Stacking集成策略实现基模型融合.所提出方法显著优于传统全局和全集成软测量建模方法,其有效性和优越性通过青霉素发酵过程和Tennessee Eastman化工过程得到验证.

基于SDN的一体化信息网络业务流分类策略

一体化信息网络有多种类型协议的网络接入,流量管理与调度困难,针对这种情况设计基于软件定义网络(SDN)架构的一体化信息网络业务流分类技术。根据SDN框架转控分离的特点,设计流量感知节点采集流量信息,针对一体化信息网络流量连续特征属性多、业务类别分布不平衡、存在大量噪声的特点,设计基于Fayyad边界点定理改进CART算法,与基于弱分类器系数和分类误差相似度改进的Adaboost算法相结合的分类模型。实验结果表明,该技术能够对采集到的业务流进行分类,与相关算法相比,分类精度和用时均有明显改进。