基于极限梯度提升和探地雷达时频特征的水泥路面脱空识别

针对探地雷达(GPR)数据解译依赖于人工经验,存在费时费力和主观偏差的问题,提出了基于极限梯度提升(XGBoost)和GPR时频特征的水泥路面脱空识别方法。采用正演模拟、室内试验和现场试验获得了脱空病害数据源,建立含有标签的脱空GPR数据集;通过重采样方法统一GPR数据采样频率,并对预处理后的GPR数据进行时频域特征提取,建立了包含18个时域和12个频域特征的数据集。以时频域特征为输入,是否存在脱空病害为输出,采用XGBoost算法构建脱空识别模型,并与随机森林(RF)和人工神经网络(ANN)算法进行对比。结果表明,模型的识别准确率排序为XGBoost(98.10%)>ANN(95.10%)>RF(93.17%),XGBoost模型识别精度最高,并能在实际路面上准确定位脱空区域。

变分模态分解与极限梯度提升树融合的高速轴向柱塞泵空化等级识别

针对高速轴向柱塞泵在不同空化程度下故障特征不明显导致识别准确率低的问题,提出了一种变分模态分解和极限梯度提升树融合的识别方法。在不同空化等级下进行高速轴向柱塞泵空化试验,采集壳体的振动加速度信号,对信号采用变分模态分解方法并从中提取故障特征以构造特征数据集,最后利用极限梯度提升树进行空化等级的识别。为证明所提方法的抗噪性能,在测试集中加入了随机高斯白噪声。结果表明,加入不同信噪比的噪声后,该识别模型仍能准确地识别出高速轴向柱塞泵的空化等级。

同步压缩小波与极限梯度提升树融合的柴油机失火故障诊断

针对柴油机失火故障诊断特征提取分辨率较低和分类评估容易出现过拟合的问题,提出了一种同步压缩小波变换和极限梯度提升树融合的诊断方法。在不同转速下进行柴油机失火性能试验,采集缸盖振动信号,对信号利用时域统计、同步压缩小波提取特征,再采用局部线性嵌入方法进行特征降维,最后利用极限梯度提升树进行失火评估分类。不同工况与评估方法下的对比实验结果表明,所提方法的分类准确率最高可达99.828%,相比小波包特征提取的评估方法提升至少10%。在低模型复杂度下,所提方法具有最小的模型预测均方根误差,证明了方法的鲁棒性和抑制模型过拟合的能力。

基于CFS特征选取与极限梯度提升树的短期风电功率预测

在风力发电工程的实际应用中,气候是影响风电输出功率的主要因素。为从众多气候因素中筛选重要的特征建立精准的预测模型,本文首先利用基于相关性的CFS特征选择算法对原始特征集进行精简。然后,以精简后的特征集作为模型输入,建立基于极限梯度提升树的短期风功率预测模型。最后,对测试集进行短期风功率预测,验证模型的准确性。实例分析结果表明,CFS特征选取算法能够对特征集进行有效精简,而极限梯度提升树相对传统的机器学习模型而言具备更佳的预测效果。

采用极限梯度提升算法的电力系统电压稳定裕度预测

将极限梯度提升树(XGBoost)算法应用于电力系统电压稳定评估问题.根据电压稳定问题特点,提出能够反映电力系统运行状态的特征集;把电压稳定裕度绝对值作为映射目标,并介绍生成样本集的方法.在介绍XGBoost算法基本原理的基础上,研究该算法的技术细节.在IEEE-39节点系统上进行验证,结果表明,XGBoost算法在R方值和平均绝对百分误差2项回归指标上均优于其他几类机器学习算法,且模型的计算速度最快,可以满足在线应用要求.同时,XGBoost算法具有良好的数值错误和数值缺失容错性,并可以针对预测偏差较大的样本进行数据补充,实现模型的更新,使得模型表现趋于稳定.

一种基于梯度提升树算法的DGA域名检测方法

勒索病毒、僵尸网络等恶意软件在互联网日益泛滥,已成为威胁网络安全运行的重要因素。域名作为恶意软件与命令和控制(Command and Control,C&C)服务器的主要通信方式,是检测和防范的重要途径。但域名生成算法(Domain Generation Algorithm,DGA)的不断改进发展,给传统的基于威胁情报的检测方式带来了巨大挑战,而机器学习技术逐渐成为应对DGA域名的主要途径。梯度提升树算法作为机器学习中重要的分类算法,能够适应DGA域名检测场景。基于XGBoost框架,采用开放域名数据作为样本集,研究了基于梯度提升树算法的DGA域名检测方法,并通过域名向量转换、检测模型训练、参数调优,实现了一个高效的DGA域名检测模型。

基于PCA-GA-XGBoost模型的吉林省水资源 承载力评价

为了提高水资源承载力评价的效率和准确性,提出了一种基于主成分分析(PCA)、遗传算法(GA)和极限梯度提升树(XGBoost)的指标评价模型。定义了以水资源、社会经济、生态环境为子系统的14项评价指标;采用主成分分析法对评价指标进行降维处理;基于梯度提升决策树对吉林省2011—2021年的水资源承载力进行评价分析,并利用遗传算法对极限梯度提升树中4个参数进行优化。结果表明:经主成分分析简化评价指标后,PCA-GA-XGBoost模型的相关系数等指标均优于GA-BP、GA-SVM、GA-XGBoost和XGBoost;2011—2021年吉林省水资源承载力位于0.192~0.724,为先上升后下降再上升趋势,承载力状况逐年改善;利用模型内置的特征值重要度排序功能,识别得出重要度最大的指标为每公顷化肥施用量(0.5307),是影响吉林省水资源承载力的关键因素。

基于XGBoost和数值天气预报的黄淮海平原参考作物蒸散量预测模型研究

为提高黄淮海平原参考作物蒸散量(ET_(0))的预测精度,在豫北地区新乡市利用2020—2021年历史气象数据和2022年日数值天气预报数据(最高气温、最低气温、太阳总辐射量、日照时数、相对湿度和2 m风速),建立反向传播(BP)、极限梯度提升(XGBoost)和梯度提升决策树(CatBoost)3种预测ET_(0)的机器学习模型,并与FAO-56 Penman-Monteith模型的结果进行比较。结果显示,气象参数中太阳总辐射量(Ra)、最高气温(T_(max))和最低气温(T_(min))与ET_(0)的相关性最高,可作为模型的输入因子。从预测时间尺度来看,3种机器学习模型对1~16 d的ET_(0)预报效果最佳。其中,XGBoost模型在验证期的R=0.875、RMSE=0.230 mm/d、MAE=0.181 mm/d、MAPE=8.45%。R较CatBoost和BP模型平均提高10.2%,RMSE、MAE和MAPE平均下降39.9%~62.4%。鉴于XGBoost模型预测ET_(0)的精度和稳定性,推荐将其作为黄淮海平原参考作物蒸散量的预测方法。

基于α-shape与SSA-XGBoost算法的无人机点云孔洞修补

针对极限梯度提升树算法在进行无人机点云孔洞修补时核心超参数难以选取、点云孔洞修补范围识别困难以及孔洞修补精度较低等问题,提出基于麻雀搜索算法优化极限梯度提升树的点云孔洞修补方法。首先利用α-shape算法进行点云的孔洞识别,在此基础上,获取点云孔洞和周围点云的位置信息并将其作为模型的输入样本。再利用麻雀搜索算法优化极限梯度提升树算法中的核心超参数,构建SSA-XGBoost点云孔洞修补模型,并将该模型应用于无人机点云孔洞的修补中。最后将SSA-XGBoost与XGBoost、BP神经网络两组算法进行预测精度的对比。实验结果表明:SSA-XGBoost模型的预测结果相较于其它两组对比算法预测精度更高,在点云孔洞修补方面具有一定的意义。

在线医药电商评论情感分析——基于XGBoost集成加权词向量和大语言模型的情感识别模型

消费者评论是考察消费者情感的重要数据源,对商品评论进行数据挖掘是帮助在线医药电商改善经营的重要途径。立足于在线医药电商的用户评论,基于SO-PMI(情感倾向点互信息)算法构建该领域情感词典,对评论词向量进行情感加权。利用XGBoost(极限梯度提升树)集成词向量和LLM(大语言模型)构建情感识别模型,最后得出评论情感指数,从多个维度展开,分析消费者评论中的情感趋势。实证分析表明,构建的情感识别模型的AUC(曲线下的面积)等验证指标较LLM模型相比有进一步提升,具有一定的应用价值。

基于XGBoostShapley的玉米不同生育期LAI遥感估算

针对当前快速准确获取叶面积指数(Leaf area index,LAI)时大部分遥感预测方法将光谱信息作为模型主要特征,忽略时序变化特征的问题,利用无人机搭载五通道多光谱相机获取研究区玉米不同生育期的影像数据,基于该数据计算玉米相应生育期植被指数,然后采用植被指数建立各生育期子模型,采用Shapley理论计算子模型均方根误差对全生育期模型均方根误差的贡献度,从而确定各子模型权重,根据权重组合形成具有LAI时序变化特征的估算模型,分别基于支持向量回归(SVR)、多层感知机(MLP)、随机森林(RF)和极限梯度提升树(XGBoost)算法构建组合估算模型。结果表明:采用Shapley理论构建的组合LAI估算模型估算效果优于直接构建的全生育期LAI估算模型。相较于SVRShapley、MLPShapley以及RFShapley模型,XGBoostShapley模型的估算效果最佳(R^(2)为0.97,RMSE为0.021,RPD为6.9)。将最优模型XGBoostShapley应用于研究区LAI预测,预测结果符合不同生育期玉米长势。本研究为大田玉米长势遥感监测提供了新的思路和方法。

基于XGBoost和LightGBM双层模型的恶意软件检测方法

目前基于网络流量的恶意软件检测方法大多依靠专家经验获取特征,此过程耗时费力且提取的流量特征较少,同时,传统特征工程在特征维度较高时复杂度大大增加。针对上述问题,文章提出一种使用极限梯度提升树(XGBoost)和轻量级梯度提升机(LightGBM)双层模型的恶意软件检测方法。在获取目标软件网络流量并提取相关特征后,使用过滤法和互信息法进行特征处理,将数据集导入首层XGBoost模型进行训练;然后结合网格搜索的调参方式得到最优参数组合,获取每个样本在最佳XGBoost模型中各棵树的叶子节点位置,以此创造新特征集;再利用LightGBM模型对新数据集进行训练,从而得到最终检测模型。实验结果表明,与其他检测方法相比,文章方法在恶意软件检测的准确率和实时性方面有显著提高。

基于XGBoost与Stacking融合模型的恶意程序多分类检测方法

当前在恶意程序多分类检测领域,传统静态和动态检测方法受反取证技术影响较大;在新型基于网络流量的检测方法中,由于各类恶意程序流量特征的相似性较大,使用人工提取的数据流特征和传统机器学习方法不能取得较高的准确率。针对上述问题,文章提出一种基于XGBoost与Stacking融合模型的恶意程序多分类检测方法。在获取目标恶意程序对外通信流量并自动提取初始网络特征后,对初始数据集进行预处理和多重特征选择,而后使用基于XGBoost的特征创造算法,在初始特征基础上自动化生成高级特征集,并结合Stacking集成算法实现多模型融合以提升恶意程序多分类检测的准确率。在此过程中,为减少寻找最优参数组合的时间,使用贝叶斯优化方法确定各个模型的最优参数组合,并采取多种正则化策略解决模型过拟合问题。实验结果表明,与其他传统方法相比,该检测方法在恶意程序多分类的准确率上有较大提升。

基于XGBoost特征选取和迭加权相关权重矩阵的高分五号遥感影像变化检测

提出一种基于迭加权相关权重矩阵(IR-CWM),使用XGBoost机器学习模型训练选取特征变化波段,训练预测变化检测结果的方法(IR-CWM-XGB).以国产高分五号(GF-5)高光谱遥感影像为数据源,经过预处理后,通过迭代加权得到迭加权相关权重矩阵(IR-CWM),然后经过XGBoost算法选取特征波段,选取随机样本进行模型训练,使用最终模型生成变化的结果.实验结果表明:本研究方法与变化矢量分析(CVA)变化检测方法、主成分变化矢量分析(PCA-CVA)变化检测方法、迭加权多元(IR-MAD)方法、卷积神经网络(CNN)等方法进行对比,本研究方法变化检测结果的Kappa系数和总体精度较高,误检率较低.

基于CSI-XGBoost的高精度WiFi室内定位算法

考虑到室内环境的复杂性和多径效应对Wi Fi指纹定位性能的影响从Intel5300无线网卡中提取信道状态信息(CSI),利用修正后的CSI幅值和相位信息作为指纹特征,使用极限梯度提升(XGBoost)算法构建高精度指纹库,实现分米级的高精度室内定位。进一步通过实测数据分析了采样间隔、室内视距(LOS)和非视距(NLOS)环境、缺失值和数据维度等因素对所提算法定位性能的影响。实际室内环境下的实验结果表明,本文算法受NLOS影响较小,对室内复杂环境有很强的鲁棒性;此外,该算法能够很好地处理高维稀疏数据,解决CSI指纹特征的"误匹配"问题,且对缺失数据不敏感,定位准确度优于90%。

基于XGBoost-SHAP的钢管混凝土柱轴向承载力预测模型

为了可靠、准确地预测钢管混凝土(CFST)柱的轴向承载力,建立和解释集成机器学习的CFST柱轴向承载力预测模型.使用马氏距离评估CFST柱数据库质量,通过极限梯度提升(XGBoost)算法建立CFST柱轴向承载力预测模型,使用K折交叉验证(K-Fold CV)和树结构概率密度估计(TPE)算法寻找模型的最优超参数组合.采用不同评价指标将优化后XGBoost模型的预测值与已有方法和未优化XGBoost模型的计算值比较.使用SHAP方法给出XGBoost模型预测结果的整体和局部的解释.结果表明,经过超参数调整优化的XGBoost模型的性能超越了相关规范和经验公式的性能,且SHAP方法能够有效地解释XGBoost模型的输出.

一种改进XGboost的DoH流量分类方法

加密流量已经成为互联网中的主要流量,其分类问题一直是当前研究热点之一。针对当前网络中DoH(DNS-over-HTTPS)流量的准确识别,处理速度偏慢,检测效率不高的问题,提出了一种基于截断奇异值分解(truncated singular value decomposition, TSVD)降维,贝叶斯优化方法改进的极限梯度提升树(improve extreme gradient boosting, IXGboost)的DoH流量分类方法。通过网络公开数据集,此方法将加密流量分为非DoH流量,良性DoH流量和恶意DoH流量。实验结果表明,其分类准确率达到了99%以上,处理每条数据的时间仅为0.3ms,进而证明所提方法有着较高的准确率和较强的实时性,提升了入侵检测性能,可有效实现对DoH流量的精确分类。

基于XGBoost扩展金融因子的风电功率预测方法

现有风电功率预测模型的主要输入特征包括气象数据和功率数据,高精度气象数据获取困难、数据间潜在关系难以表示、预测模型收敛缓慢,提出基于极端梯度提升回归树算法(XGBoost)扩展金融因子的超短期风电功率预测新方法,以及基于风电时序数据衍生金融因子的预测模型.采用具有较高预测准确率与较快训练速度的XGBoost算法进行预测,使得预测模型快速收敛.在中国内蒙古某风电场的风电功率数据集与德国Tennet公司风电功率数据集上进行实验验证.实验结果表明,以R2score为例,所提方法与基准方法相比提升约14.71%.所提方法中的建模与预测合计时间不超过500 ms.

基于混合域相对特征和FOA-XGBoost滚动轴承退化评估

针对使用多域特征进行滚动轴承退化评估建模时准确度较低的问题,提出一种基于果蝇优化算法(fruit fly optimization algorithms,简称FOA)集成极限梯度提升树(extreme gradient boosting,简称XGBoost)的轴承退化状态评估方法。提取滚动轴承全寿命周期的时域、频域及时频域等多维特征参数,构建混合域相对特征集,利用相对方均根值初始化轴承退化相应参数,进而利用混合域特征训练XGBoost模型并结合FOA算法对退化评估模型进行参数调优。结果表明:所构建的退化评估模型比常用的支持向量回归(support vactor regerssion,简称SVR)模型在2个数据集上的性能分别提高了27.15%和34.96%,所提方法可以准确有效地评估轴承退化状态。

基于ADASYN-XGBoost的交通事故自动检测方法

基于数据驱动的交通事故自动检测对道路事故的及时救援与降低事故影响具有重要作用。为解决道路交通事故自动检测中的样本不均衡问题,研究了混合自适应过采样技术与极限梯度提升树算法的交通事故自动检测方法(ADASYN-XGBoost)。其中,为从不均衡的交通事故样本中有效挖掘数据的时空特征与事故发生之间的内在关联规律,构建了初始特征变量组合,引入自适应合成过采样方法(adaptive synthetic oversampling method,ADASYN)来平衡事故类与非事故类的样本数量,以增强训练数据的质量;其次,为提高检测效果,构建了基于XGBoost的交通事故检测模型,利用该模型对增强后的数据样本进行特征筛选;最后,为获取最佳参数组合,采用了贝叶斯优化算法对XGBoost进行参数的快速标定。本文使用波特兰高速公路数据集对ADASYN-XGBoost方法进行模型验证与实证研究。结果表明:与先进的基准模型相比,ADASYN-XGBoost的各项检测指标均最优,其F1分数达到94.47%且误检率低至8.95%。在模型训练样本数为2800,500(18%的初始样本量),150(5%的初始样本量)时,ADASYN-XGBoost的F1分数分别为94.47%,88.89%,81.93%。在进一步的消融实验中,均衡正负样本后各基准模型的性能指标提高了2.68%~44.85%。本文提出的方法能够有效解决道路交通事故检测中的样本不均衡问题,同时也为道路交通安全预防与事故处理等提供了技术保障。