基于极限梯度提升和探地雷达时频特征的水泥路面脱空识别

针对探地雷达(GPR)数据解译依赖于人工经验,存在费时费力和主观偏差的问题,提出了基于极限梯度提升(XGBoost)和GPR时频特征的水泥路面脱空识别方法。采用正演模拟、室内试验和现场试验获得了脱空病害数据源,建立含有标签的脱空GPR数据集;通过重采样方法统一GPR数据采样频率,并对预处理后的GPR数据进行时频域特征提取,建立了包含18个时域和12个频域特征的数据集。以时频域特征为输入,是否存在脱空病害为输出,采用XGBoost算法构建脱空识别模型,并与随机森林(RF)和人工神经网络(ANN)算法进行对比。结果表明,模型的识别准确率排序为XGBoost(98.10%)>ANN(95.10%)>RF(93.17%),XGBoost模型识别精度最高,并能在实际路面上准确定位脱空区域。

基于梯度提升的优化集成机器学习算法对滑坡易发性评价:以雅鲁藏布江与尼洋河两岸为例

雅鲁藏布江与尼洋河两岸地质构造活跃,山体滑坡时常发生,滑坡易发性评价能有效的减少因灾害发生所造成的对人类生命和财产的伤害。笔者基于基尼系数的加权随机森林、XGBoost和LightGBM算法在滑坡易发性中的性能。选取188个滑坡样本和7个影响因素,应用五折交叉验证法训练模型,训练过程中同时考虑特征选择算法、运用贝叶斯方法优化超参数后,采用precision、recall、F1、Accuracy指标对各个级别的预测结果进行分析。结果表明:在高程为32~1544 m与2722~3752 m、坡度为30°~40°、距断裂带、河流与道路200 m以内的区域最容易发生滑坡;滑坡极高与高易发性分布为12.14%和12.41%,低和极低易发性占比分别为26.47%与29.55%,区内一半以上的地区不容易发生滑坡灾害;LightGBM模型在所有模型中表现最好,AUC值为0.8432,准确度为0.8531,F1分数为0.8345;墨脱县的达木乡、帮辛乡,林芝县的丹娘、里龙、扎西饶登乡,朗县的陇村,工布江达的江达乡位于极高易发区,发生滑坡概率极大,在这些地区应采取相应的地质灾害防治措施。

基于极致梯度提升和支持向量机的高速公路服务区供暖系统健康状态评估

为保障高速公路服务区供暖系统的健康运行,本文结合供暖系统的构成和运行特征,设计了一种用于评估服务区供暖系统运行健康状态的极致梯度提升(Extreme Gradient Boosting,XGBoost)和支持向量机(Support Vector Machine,SVM)的双层机器学习模型,并将系统运行健康状态分为健康、亚健康、故障和异常四个等级。首先,分析电压、电流、水温、机组运行状态、蓄热泵、循环泵和泵运行状态7个子系统的运行特征,使用随机函数和欠采样处理构建特征向量集。其次,采用XGBoost构建下层各子系统健康状态评估模型,并输出各子系统的健康状态。然后,融合各子系统健康状态的评估结果,输入至上层SVM系统评估模型,得到整个供暖系统的健康状态。最后,将实验与决策树、AdaBoost和XGBoost等模型进行对比,结果表明所提出的XGBoost+SVM双层机器学习模型相较对比模型而言,不仅判断精度更高,同时还可评估整个供暖系统以及各子系统的健康状态。

基于Nadam-TimeGAN和XGBoost的时序信号故障诊断方法

为了提高故障诊断模型在数据不平衡场景下的诊断性能和模型泛化能力,提出了一种基于Nadam-TimeGAN和XGBoost的时序信号故障诊断方法。首先对比基于LSTM和GRU的TimeGAN模型,选取性能更优的GRU网络作为TimeGAN模型的组成单元,然后采用Nadam优化算法对TimeGAN模型的各组件进行优化,即构建Nadam-TimeGAN模型用以数据扩充,最后构建一个平衡的数据集输入XGBoost集成学习模型进行分类训练。实验选取转辙机动作电流数据集进行验证性实验,选取MFPT轴承数据集和CWRU轴承数据集进行泛化性实验,并与8种方法进行对比,结果表明,所提方法在准确率、召回率以及F1-score这3种评价指标上均高于其他方法,从而验证了所提方法在不平衡数据故障诊断方面的有效性和泛化性。

基于模态分解及GRU-XGBoost短期电力负荷预测

精确的短期电力负荷预测能有效提高电力系统运营水平。针对电力负荷数据受多种因素影响,波动性和随机性强等问题,提出了一种基于模态分解及混合模型的负荷预测方法。首先,采用主成分分析法(principal component analysis,PCA)对负荷特征向量进行处理,去掉冗余信息,再用完全自适应噪声集合经验模态分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)将历史负荷分解为简化的几个子序列;其次,选择引入样本熵(sample entropy,SE)来计算子序列熵值,将相近的子序列重构得到随机、细节、低频和趋势分量后选用不同结构门控循环单元(gate recurrent unit,GRU)对不同分量类型进行预测,再使用极致梯度提升模型(extreme gradient boosting,XGBoost)对各分量残差进行拟合,各重组序列的预测值为GRU预测值与XBGoost拟合值之和,重组各序列得到最终预测值。选取3年时电力负荷数据进行实验,结果表明,所提模型的均方根误差(root mean square error,RMSE)、平均绝对百分比误差(mean absolutepercentage error,MAPE)和平均绝对误差(mean absolute error,MAE)分别为370.676 MW、99.07%和246.89 MW,与单一模型和混合模型相比,实现了评价指标的明显减少。

基于SC-XGBoost的电站燃煤低位发热量软测量方法

随着国家大力推进能源供给侧结构性改革,新能源装机容量不断提升,电力市场竞争愈加激烈。另一方面,全球煤炭市场的复杂多变,导致以煤炭为能量来源的发电企业成本上涨。燃煤发热量是衡量煤质的重要评价标准之一,也是采购煤炭最重要的依据,对燃煤发热量进行准确预测能够有效地控制电厂运行采购成本。为了实现燃煤发热量的高效预测,采用Pearson系数对相关变量进行特征选取,采用基于密度的噪点空间聚类(Density-Based Spatial Clustering of Applications with Noise,DBSCAN)算法对某电厂自备煤厂近2年1733条化验数据进行去噪,对去噪后数据进行谱聚类(Spectral Clustering,SC)分析。将分类后的子样本集采用极致梯度提升(Extreme Gradient Boosting,XGBoost)算法分别建立预测模型,并与最小二乘法回归(Ordinary Least Squares,OLS)、支持向量机(Support Vector Machines,SVM)模型进行性能比较。结果表明,基于XGBoost的电站燃煤发热量预测模型相较于其他算法准确性有明显提升,泛化能力更强。对经过SC算法分类后的燃煤分别建立预测模型能够进一步提高模型的精细化水平,为燃煤电站发热量预测提供一种可靠高效的方法。

基于ISSA-XGBoost的毕赤酵母菌发酵软测量

针对毕赤酵母菌发酵过程菌体浓度难以在线检测,离线测量又存在极易染菌导致数据集不完整等问题,提出了一种基于改进麻雀搜索算法(ISSA)优化极致梯度提升(XGBoost)的软测量建模方法。首先,利用主成分分析(PCA)算法对样本数据进行主元分析,降低噪声和冗余度;然后,在标准麻雀算法(SSA)中引入自适应超参数和混合变异策略,增强了算法跳出局部极值和全局搜索的能力;最后,构建菌体浓度的ISSA-XGBoost软测量模型,并与XGBoost、SSA-XGBoost模型进行比较。仿真实验结果表明:ISSA-XGBoost模型的均方根误差(RMSE)、平均相对误差(MRE)均比XGBoost、SSA-XGBoost模型低,且ISSA-XGBoost的决定系数(R^(2))更接近于1,说明预测精度明显优于改进前,能够满足对毕赤酵母菌发酵过程菌体浓度的实时测量。

基于贝叶斯优化XGBoost的多元输入模型对滑坡位移预测效果研究

针对滑坡区降雨量较少以及受库水位影响小,从而导致滑坡位移预测效果不理想的问题,提出多元滑坡影响因素作为输入和贝叶斯优化极致梯度提升(BO-XGBoost)模型预测滑坡位移的方法。通过随机森林模型、XGBoost模型和Pearson相关系数法对影响滑坡位移的6个特征进行训练得到融合的特征重要度,并以此特征重要度排序选择5种不同特征数量的输入量,最后建立BO-XGBoost模型预测滑坡位移。以杨家坡滑坡为例,将降雨量、土壤含水率和水平位移作为输入对高程方向位移进行预测,并与自适应提升(AdaBoost)、线性回归(LR)和XGBoost模型比较预测结果。实验结果表明,该模型采用多元化输入后,决定系数提高了0.161,均方误差和平均绝对误差分别减小了79.83%和58.85%,且预测效果优于其他3个模型。

在线医药电商评论情感分析——基于XGBoost集成加权词向量和大语言模型的情感识别模型

消费者评论是考察消费者情感的重要数据源,对商品评论进行数据挖掘是帮助在线医药电商改善经营的重要途径。立足于在线医药电商的用户评论,基于SO-PMI(情感倾向点互信息)算法构建该领域情感词典,对评论词向量进行情感加权。利用XGBoost(极限梯度提升树)集成词向量和LLM(大语言模型)构建情感识别模型,最后得出评论情感指数,从多个维度展开,分析消费者评论中的情感趋势。实证分析表明,构建的情感识别模型的AUC(曲线下的面积)等验证指标较LLM模型相比有进一步提升,具有一定的应用价值。

采用极限梯度提升算法的电力系统电压稳定裕度预测

将极限梯度提升树(XGBoost)算法应用于电力系统电压稳定评估问题.根据电压稳定问题特点,提出能够反映电力系统运行状态的特征集;把电压稳定裕度绝对值作为映射目标,并介绍生成样本集的方法.在介绍XGBoost算法基本原理的基础上,研究该算法的技术细节.在IEEE-39节点系统上进行验证,结果表明,XGBoost算法在R方值和平均绝对百分误差2项回归指标上均优于其他几类机器学习算法,且模型的计算速度最快,可以满足在线应用要求.同时,XGBoost算法具有良好的数值错误和数值缺失容错性,并可以针对预测偏差较大的样本进行数据补充,实现模型的更新,使得模型表现趋于稳定.

极端梯度提升与随机森林融合的天然气露点预测方法

目的解决目前水露点数据多为人工采用测量仪器测得,时效性低且成本高昂的问题。方法建立一种基于极端梯度提升(XGBoost)和随机森林(RF)的天然气水露点预测方法。采用XGBoost方法对所有监测工艺参数进行分析,筛选出主要影响水露点的关键工艺特征参数,以排除无关特征参数对预测的干扰。建立RF预测模型,输入关键特征集参数,实现对水露点的实时预测。以重庆气矿某脱水监测系统监测数据与生产数据为例,对所提预测方法进行对比分析验证。结果相较于XGBoost、SVM等预测方法,RF模型具有最佳的预测性能,且经过XGBoost特征选择后,RF预测结果的MAE值降低了0.0169℃,RMSE值降低了0.0146℃。结论基于极端梯度提升与随机森林融合的水露点预测方法具有更优的预测精度与鲁棒性,对指导脱水现场生产具有积极作用。

一种基于梯度提升树算法的DGA域名检测方法

勒索病毒、僵尸网络等恶意软件在互联网日益泛滥,已成为威胁网络安全运行的重要因素。域名作为恶意软件与命令和控制(Command and Control,C&C)服务器的主要通信方式,是检测和防范的重要途径。但域名生成算法(Domain Generation Algorithm,DGA)的不断改进发展,给传统的基于威胁情报的检测方式带来了巨大挑战,而机器学习技术逐渐成为应对DGA域名的主要途径。梯度提升树算法作为机器学习中重要的分类算法,能够适应DGA域名检测场景。基于XGBoost框架,采用开放域名数据作为样本集,研究了基于梯度提升树算法的DGA域名检测方法,并通过域名向量转换、检测模型训练、参数调优,实现了一个高效的DGA域名检测模型。

群智能算法优化XGBoost的信贷风险预测

为改善极端梯度提升(extreme gradient boosting,XGBoost)集成算法的信贷风险预测准确率,提出了一种改进的麻雀算法(improved sparrow search algorithm based on golden sine search,Cauchy mutation and oppositionbased learning,GCOSSA)来优化XGBoost参数。采用黄金正弦搜索策略来更新发现者位置,既增强全局搜索能力又增强局部搜索能力;在算法中引入反向学习策略和柯西变异进行扰动来扩大搜索领域改善陷入局部最优,同时使用贪婪规则确定最优解;将改进的算法用6个基准函数进行测试,并对SSA和GCOSSA进行对比,评估GCOSSA寻优性能;用GCOSSA优化XGBoost参数。在数据集上测试,并与网格搜索寻优、SSA及其混合正余弦改进算法(improved sparrow search algorithm based on sine and cosine,ISSA)方法进行对比。结果表明改进后的GCOSSA优化XGBoost参数,在信贷风险预测中准确率更高。

基于XGBoost-SHAP的钢管混凝土柱轴向承载力预测模型

为了可靠、准确地预测钢管混凝土(CFST)柱的轴向承载力,建立和解释集成机器学习的CFST柱轴向承载力预测模型.使用马氏距离评估CFST柱数据库质量,通过极限梯度提升(XGBoost)算法建立CFST柱轴向承载力预测模型,使用K折交叉验证(K-Fold CV)和树结构概率密度估计(TPE)算法寻找模型的最优超参数组合.采用不同评价指标将优化后XGBoost模型的预测值与已有方法和未优化XGBoost模型的计算值比较.使用SHAP方法给出XGBoost模型预测结果的整体和局部的解释.结果表明,经过超参数调整优化的XGBoost模型的性能超越了相关规范和经验公式的性能,且SHAP方法能够有效地解释XGBoost模型的输出.

基于XGBoost扩展金融因子的风电功率预测方法

现有风电功率预测模型的主要输入特征包括气象数据和功率数据,高精度气象数据获取困难、数据间潜在关系难以表示、预测模型收敛缓慢,提出基于极端梯度提升回归树算法(XGBoost)扩展金融因子的超短期风电功率预测新方法,以及基于风电时序数据衍生金融因子的预测模型.采用具有较高预测准确率与较快训练速度的XGBoost算法进行预测,使得预测模型快速收敛.在中国内蒙古某风电场的风电功率数据集与德国Tennet公司风电功率数据集上进行实验验证.实验结果表明,以R2score为例,所提方法与基准方法相比提升约14.71%.所提方法中的建模与预测合计时间不超过500 ms.

结合珠海一号高光谱影像和XGBoost算法的珠江口滨海湿地分类

由于湿地类别多样且结构复杂,湿地遥感分类工作极具挑战性。本文以珠江口滨海湿地为研究区,基于珠海一号高光谱影像获取的光谱特征、形状特征、纹理特征和指数特征构建优选特征集,采用极端梯度提升(XGBoost)算法和面向对象技术提取湿地类型和空间分布,并对比分析基于支持向量机(SVM)算法和随机森林(RF)算法的湿地分类结果。结果表明:(1)珠海一号高光谱影像能够有效应用于湿地分类,且光谱特征在湿地分类中发挥了重要作用;(2)使用的机器学习算法中XGBoost算法的湿地分类效果最佳,总体精度为87.2%,Kappa系数为0.84;(3)优选的影像特征能够保证更高的湿地类型识别精度,验证了特征筛选有助于提高分类效果。本文发展了一种基于珠海一号高光谱影像和集成学习的大区域湿地类型识别方法,可为湿地资源调查提供有效的技术参考,服务于湿地的保护与开发利用。

基于双层XGBoost和数据增强的空间负荷预测方法

为了解决空间负荷预测面临的特征变量众多和数据匮乏问题,文中提出一种基于双层极端梯度提升(extreme gradient boosting,XGBoost)和数据增强的空间负荷预测方法。该方法首先将待预测区域按馈线供电范围划分为若干子区域;其次构建基于双层XGBoost的特征选择模型,第一层XGBoost对特征进行评分及排序,将组合特征和负荷输入第二层XGBoost并进行子区域负荷预测,根据子区域负荷预测结果选择每个子区域的最佳特征变量;然后利用生成对抗网络(generative adversarial network,GAN)增强每个子区域的训练集样本,并通过极限学习机(extreme learning machine,ELM)实现子区域预测;最后将每个子区域的预测值相加得到待预测区域的预测值。以上海市局部区域为例,对文中方法进行仿真实验和对比分析。结果表明,文中方法可同时解决特征变量选择和数据匮乏问题,具有更高的预测精度。

基于CFS特征选取与极限梯度提升树的短期风电功率预测

在风力发电工程的实际应用中,气候是影响风电输出功率的主要因素。为从众多气候因素中筛选重要的特征建立精准的预测模型,本文首先利用基于相关性的CFS特征选择算法对原始特征集进行精简。然后,以精简后的特征集作为模型输入,建立基于极限梯度提升树的短期风功率预测模型。最后,对测试集进行短期风功率预测,验证模型的准确性。实例分析结果表明,CFS特征选取算法能够对特征集进行有效精简,而极限梯度提升树相对传统的机器学习模型而言具备更佳的预测效果。

基于XGBoost-MTL的综合能源系统多元负荷预测

精确的多元负荷预测是综合能源系统(integrated energy system,IES)优化调度和稳定运行的前提。针对IES中多元负荷之间耦合关系复杂以及影响负荷预测的因素众多等问题,文中提出一种基于极限梯度提升(extreme gradient boosting,XGBoost)与多任务学习(multi task learning,MTL)的多元负荷预测方法。首先通过XGBoost重要度排序得到各影响因素对于多元负荷的贡献度,依据贡献度来选取影响负荷预测的关键性因素作为预测模型的输入,保证了输入特征对于多元负荷预测有效的修正作用;其次以门控循环单元(gated recurrent unit,GRU)作为共享层来搭建MTL预测模型,各子任务通过共享信息来有效利用各负荷之间复杂的耦合关系;最后以上海某综合能源站的负荷数据为例对文中所提模型的有效性进行验证。结果表明:该模型能够适应实际综合能源系统中各类负荷的变化,有效提高预测精度并减少训练时间。

基于XGBoost模型的三峡库区燕山乡滑坡易发性评价与区划

滑坡易发性评价是精细化滑坡灾害风险评价的基础。为了提升滑坡易发性评价模型的精度和稳健性,以三峡库区万州区燕山乡为例,选取工程地质岩组、堆积层厚度等九个影响因子构建滑坡易发性评价指标体系,应用信息量模型定量分析滑坡发育与指标之间的关系。在此基础上,随机选取70%/30%的滑坡样本作为训练/验证数据集,应用极致梯度提升模型(extreme gradient boosting,XGBoost)开展易发性评价。随后从模型预测精度和模型稳定性两方面将其与决策树模型(deci-sion tree,DT)和梯度提升树模型(gradient boosting decision tree,GBDT)进行对比。结果表明:研究区堆积层滑坡主要受长江水系、堆积层厚度和工程地质岩组影响。XGBoost模型具有最高的准确率(94.3%)和预测精度(97.3%)。在模型稳定性验证中,平均预测精度最高(97.3%),优于DT(91.3%)和GBDT(95.7%),模型标准差和变异系数均为0.01,低于其余两种模型。XGBoost在区域滑坡易发性评价与制图中得到了可靠的结果,为滑坡灾害空间预测提供了新的技术支撑。