基于极限梯度提升和探地雷达时频特征的水泥路面脱空识别

针对探地雷达(GPR)数据解译依赖于人工经验,存在费时费力和主观偏差的问题,提出了基于极限梯度提升(XGBoost)和GPR时频特征的水泥路面脱空识别方法。采用正演模拟、室内试验和现场试验获得了脱空病害数据源,建立含有标签的脱空GPR数据集;通过重采样方法统一GPR数据采样频率,并对预处理后的GPR数据进行时频域特征提取,建立了包含18个时域和12个频域特征的数据集。以时频域特征为输入,是否存在脱空病害为输出,采用XGBoost算法构建脱空识别模型,并与随机森林(RF)和人工神经网络(ANN)算法进行对比。结果表明,模型的识别准确率排序为XGBoost(98.10%)>ANN(95.10%)>RF(93.17%),XGBoost模型识别精度最高,并能在实际路面上准确定位脱空区域。

基于极限梯度提升的完美匹配单层智能算法实现航空瞬变电磁问题高效吸收

对于航空瞬变电磁的低频探地问题,除了精度和效率需要考虑,深地探测问题的复杂度也不容忽视,特别是对于低频复杂问题存在异常体与背景间的多尺度效应.为了模拟开域问题,有限厚度区域的完全匹配层被用于截断计算域,然而这也无形中增大了整个模型,造成计算复杂度增加.鉴于此,提出了一种新的基于极限梯度提升(extreme gradient boosting,XGB)的完美匹配单层模型,并将该模型集成到时域有限差分求解器中,以进一步提高时域有限差分仿真的性能.所提出的基于XGB的完美匹配单层模型通过特征注意力集成学习方法可以获得更高的精度,同时占用更少的内存、消耗更少的时间.此外,由于该模型依托于传统机器学习模型,因此它在模型训练的稳定性和轻量级方面具有显著的优势.最后,通过对航空瞬变电磁应用进行三维数值模拟,验证了该方法的有效性和稳定性.该模型不仅在精度、效率和问题复杂性方面具有优势,而且还可以成功地集成到时域有限差分求解器中,解决低频航空瞬变电磁问题.

基于极限梯度提升算法和特征筛选方法的羊角月牙藻(Selenastrum capricornutum)急性毒性定量构效关系(QSAR)模型的建立与应用

藻类是水生食物网中主要的初级生产者,对水生生态系统的可持续性起着重要作用。随着社会发展、工业进步和人类活动,大量化学品被释放到水生环境中,对藻类产生了极大的威胁。若藻类受到危害势必会影响其他水生生物,因此有必要开展藻类的毒性评估。藻类的毒性评估需要大量的毒性数据,通过实验的方法获得水生毒性数据成本较高且比较耗时,定量构效关系(QSAR)是解决这类问题的一种良好的替代方法。本研究基于Web of Science与中国知网数据库文献中的53条急性毒性数据,利用极限梯度提升(XGB)算法和特征筛选方法建立了羊角月牙藻(Selenastrum capricornutum)急性毒性的QSAR模型。最优模型的训练集决定系数(R^(2)_(TR))达到了0.97,验证集决定系数(Q^(2)_(EXT))达到了0.78,留一法交叉验证系数(Q^(2)_(LOO))也达到了0.51,表明建立的QSAR模型具有较好的拟合优度、稳健性和预测能力。机理解释结果表明,化合物的拓扑电荷数、总原子序数和电负性是影响羊角月牙藻急性毒性的关键因素。在此基础上,采用建立的QSAR模型和EPI Suite分别预测了16种典型多环芳烃(PAHs)对藻类的急性毒性,并对其进行了毒性分级。研究结果为藻类的急性毒性数据的获取提供了一个高效预测工具,有利于加快化学品的水环境风险评估工作。

基于改进极限梯度提升算法的配电网合环转供电影响因素评估

合环电流大小与母线电压幅值差、相角差、环路阻抗等因素有关,而各因素重要程度不清晰,合环电流调控缺乏针对性。为此,提出一种基于改进极限梯度提升(extreme gradient boosting,XGBoost)算法的配电网合环转供电影响因素评估方法,以得出各影响因素的权重大小并采取针对性措施。首先,结合实际配电网的特点,确定影响合环电流大小的特征因素集;然后,基于PSCAD/EMTDC仿真软件搭建配电网合环模型,改变参数取值以获取大量样本数据;最后,利用XGBoost算法对样本数据进行训练,得出合环电流影响因素的权重排序。研究结果表明,各因素优先级排序为:母线电压相角差>环路阻抗>综合负荷大小>母线电压幅值差>综合负荷分布,按此制定相应的合环电流调控策略,实现配电网精细化管理,对电网调度运行具有一定的借鉴价值。

基于梯度提升的优化集成机器学习算法对滑坡易发性评价:以雅鲁藏布江与尼洋河两岸为例

雅鲁藏布江与尼洋河两岸地质构造活跃,山体滑坡时常发生,滑坡易发性评价能有效的减少因灾害发生所造成的对人类生命和财产的伤害。笔者基于基尼系数的加权随机森林、XGBoost和LightGBM算法在滑坡易发性中的性能。选取188个滑坡样本和7个影响因素,应用五折交叉验证法训练模型,训练过程中同时考虑特征选择算法、运用贝叶斯方法优化超参数后,采用precision、recall、F1、Accuracy指标对各个级别的预测结果进行分析。结果表明:在高程为32~1544 m与2722~3752 m、坡度为30°~40°、距断裂带、河流与道路200 m以内的区域最容易发生滑坡;滑坡极高与高易发性分布为12.14%和12.41%,低和极低易发性占比分别为26.47%与29.55%,区内一半以上的地区不容易发生滑坡灾害;LightGBM模型在所有模型中表现最好,AUC值为0.8432,准确度为0.8531,F1分数为0.8345;墨脱县的达木乡、帮辛乡,林芝县的丹娘、里龙、扎西饶登乡,朗县的陇村,工布江达的江达乡位于极高易发区,发生滑坡概率极大,在这些地区应采取相应的地质灾害防治措施。

采用极限梯度提升算法的电力系统电压稳定裕度预测

将极限梯度提升树(XGBoost)算法应用于电力系统电压稳定评估问题.根据电压稳定问题特点,提出能够反映电力系统运行状态的特征集;把电压稳定裕度绝对值作为映射目标,并介绍生成样本集的方法.在介绍XGBoost算法基本原理的基础上,研究该算法的技术细节.在IEEE-39节点系统上进行验证,结果表明,XGBoost算法在R方值和平均绝对百分误差2项回归指标上均优于其他几类机器学习算法,且模型的计算速度最快,可以满足在线应用要求.同时,XGBoost算法具有良好的数值错误和数值缺失容错性,并可以针对预测偏差较大的样本进行数据补充,实现模型的更新,使得模型表现趋于稳定.

贝叶斯极限梯度提升机结合粒子群算法的电阻点焊参数预测

电阻点焊是多种因素交互作用的复杂过程。该过程的复杂性加上数据规模小和工艺不稳定问题使得难以建立精确的数学模型来对电阻点焊参数进行预测。该文提出一种将贝叶斯极限梯度提升机(Bayes-XGBoost)与粒子群优化(PSO)算法结合的方法,对厚度为0.15 mm的镍片和0.4 mm的不锈钢电池正极帽选取合适的样本特征和样本组合;利用极限梯度提升机(XGBoost)的非线性切分能力和防控过拟合机制对点焊工艺参数进行正向训练,并引入贝叶斯优化为梯度提升机选取最佳超参数;利用粒子群优化算法的全局寻优能力,对可变目标值的工艺参数进行反向预测,从而得到最优工艺参数。电阻点焊实验表明该方法比文中其他对比算法具有较强的综合性能,能够有效辅助点焊工艺。

基于PCA-SSA-XGBoost算法的拱坝应力预测模型研究

由于大坝应力受水位、温度等众多因素共同作用,各影响因子间的相互关联会引起多重共线性问题,容易导致以此为输入的预测模型出现伪回归现象。此外,现有基于机器学习算法的应力预测模型由于训练特征过多、过度训练易产生过拟合现象,其预测精度还有待提高。针对上述问题,提出了基于主成分分析法(PCA)和麻雀搜索算法(SSA)改进的极限梯度提升算法(PCA-SSA-XGBoost)构建拱坝应力预测模型。该模型首先采用主成分分析法对参数进行降维,降低影响因子的多重共线性影响;进而通过SSA算法优化XGBoost的超参数,以避免传统算法过拟合,进一步提高模型预测性能。将该模型应用于我国西南某混凝土拱坝工程,对应力及应力相关监测数据进行处理、分析和预测,并与多元线性回归模型(MVLR)、神经网络模型(RBFNN)、极限梯度提升回归预测模型(XGBR)的预测结果进行对比分析。结果表明,基于PCA-SSA-XGBoost算法的应力预测模型可克服输入变量的多重共线性和过拟合问题,在预测精度方面具有优越性。

极限梯度提升和长短期记忆网络相融合的土壤温度预测

土壤温度是地球科学多个领域的重要变量。其时空变化受多种环境因素影响,这对土壤温度的准确预测带来巨大挑战。以机器学习为核心的数据驱动方法,在土壤温度预测中是重要研究领域,为基于物理过程模型提供重要补充。然而目前针对土壤温度影响因素量性研究较少,因此本文提出XGBoost-LSTM的数据驱动方法。基于极限梯度提升算法(XGBoost)分析土壤温度影响因素的重要性,然后根据影响因素重要性依次组合,并输入至长短期记忆网络(LSTM),得到最优预测模型并实现土壤温度预测。最后在长白山和海北两个气象站完成实验,本文方法的最优均方根误差为2.234、平均绝对误差为1.716、纳什效率系数为0.932、LMI系数为0.729和威尔莫特一致性指数为0.983。结果表明本文提出的XGBoost-LSTM预测模型与目前土壤温度中常用的数据驱动模型相比,均表现出更高的精确度。

变分模态分解与极限梯度提升树融合的高速轴向柱塞泵空化等级识别

针对高速轴向柱塞泵在不同空化程度下故障特征不明显导致识别准确率低的问题,提出了一种变分模态分解和极限梯度提升树融合的识别方法。在不同空化等级下进行高速轴向柱塞泵空化试验,采集壳体的振动加速度信号,对信号采用变分模态分解方法并从中提取故障特征以构造特征数据集,最后利用极限梯度提升树进行空化等级的识别。为证明所提方法的抗噪性能,在测试集中加入了随机高斯白噪声。结果表明,加入不同信噪比的噪声后,该识别模型仍能准确地识别出高速轴向柱塞泵的空化等级。

同步压缩小波与极限梯度提升树融合的柴油机失火故障诊断

针对柴油机失火故障诊断特征提取分辨率较低和分类评估容易出现过拟合的问题,提出了一种同步压缩小波变换和极限梯度提升树融合的诊断方法。在不同转速下进行柴油机失火性能试验,采集缸盖振动信号,对信号利用时域统计、同步压缩小波提取特征,再采用局部线性嵌入方法进行特征降维,最后利用极限梯度提升树进行失火评估分类。不同工况与评估方法下的对比实验结果表明,所提方法的分类准确率最高可达99.828%,相比小波包特征提取的评估方法提升至少10%。在低模型复杂度下,所提方法具有最小的模型预测均方根误差,证明了方法的鲁棒性和抑制模型过拟合的能力。

融合残差网络和极限梯度提升的音频隐写检测模型

针对目前音频隐写检测方法对基于校验网格编码(STC)的音频隐写检测准确较低的问题,考虑到卷积神经网络(CNN)在抽象特征提取上的优势,提出一种融合深度残差网络(DRN)和极限梯度提升(XGBoost)的音频隐写检测模型。首先,利用固定参数的高通滤波器(HPF)预处理输入的音频,并通过三个卷积层提取特征,其中第一个卷积层使用了截断线性单元(TLU)激活函数,使得模型适应低信噪比(SNR)下的隐写信号分布;其次,通过五个阶段的残差块和池化操作进一步提取抽象特征;最后,经过全连接层和Dropout层将提取的高维特征作为XGBoost模型的输入进行分类。分别对STC隐写和最低有效位匹配(LSBM)隐写进行检测,实验结果表明,所提出的模型在0.5 bps、0.2 bps、0.1 bps三种嵌入率下,即音频每个采样值平均修改的比特数分别为0.5、0.2、0.1时,对子校验矩阵高度为7的STC隐写的平均检测准确率分别为73.27%、70.16%、65.18%,对LSBM隐写的平均检测准确率分别为86.58%、76.08%、72.82%。相较于传统提取手工特征的隐写检测方法和深度学习隐写检测方法,所提模型对两种隐写算法的平均检测准确率均提高了10个百分点以上。

XGBoost-SHAP机器学习可解释框架用于轻度认知障碍分类研究

目的利用机器学习算法对轻度认知障碍(mild cognitive impairment,MCI)亚型分类有利于患者的个性化治疗,而复杂模型常因分类过程的内部机制不可洞察而饱受诟病,本研究借助可解释技术梳理模型的输出结果,以期为相关领域研究者的决策提供统计支持。方法本研究联合极限梯度提升(eXtreme Gradient Boosting,XGBoost)与沙普利可加性(SHapley Additive exPlanations,SHAP)构建可解释性框架,用于遗忘型MCI(amnestic MCI,aMCI)和非遗忘型MCI(non-amnestic naMCI)的分类,并根据联合框架输出结果进行解读。结果联合框架输出aMCI和naMCI的最佳分界值为0.51,XGBoost分类准确率、灵敏度、特异度、F1值、AUC分别为92.81%、94.94%、90.54%、0.93、0.96。SHAP个性化预测结果,7号和31号示例个体被预测为aMCI的概率分别为0.27和0.91;全局性解释结果,不同个体随着CEREALL、ORIENT、CDRSUM、LCMF、RSUPMAR、RMEDORBF、LPOSCENM等指标的shapley值增大,患aMCI的风险越大,上述指标可以解释为aMCI发生的危险因素,而RENT、MMSEORDA、CRAFTVRS等则相反,可以解释为aMCI发生的保护因素。结论XGBoost-SHAP联合框架用于MCI亚型分类效果较为理想,实现了特定个体不同特征预测效果的比较、不同个体给定特征预测能力的判断,为相关研究者打开了洞察复杂模型内在机制的大门。

基于CNN和XgBoost的香蕉成熟度判别

目的:提高香蕉成熟度的判别准确率。方法:基于卷积神经网络和极限梯度提升算法建立香蕉成熟度的判别方法。先通过卷积神经网络提取香蕉图像特征,并采用全连接层网络和线性判别分析方法精简香蕉图像特征;通过贝叶斯优化算法优化极限梯度提升算法超参数;将简化后的香蕉图像特征输入极限梯度提升算法,通过极限梯度提升算法对香蕉成熟度进行判别。结果:所提方法对香蕉成熟度的判别准确度为91.25%;与已有方法相比,所提方法对小数据量香蕉的成熟度判别准确率明显提高。结论:该方法可实现被测香蕉成熟度的准确判别,有助于仓库经理、出口商实时监测香蕉的成熟度状况。

基于PCA-GA-XGBoost模型的吉林省水资源 承载力评价

为了提高水资源承载力评价的效率和准确性,提出了一种基于主成分分析(PCA)、遗传算法(GA)和极限梯度提升树(XGBoost)的指标评价模型。定义了以水资源、社会经济、生态环境为子系统的14项评价指标;采用主成分分析法对评价指标进行降维处理;基于梯度提升决策树对吉林省2011—2021年的水资源承载力进行评价分析,并利用遗传算法对极限梯度提升树中4个参数进行优化。结果表明:经主成分分析简化评价指标后,PCA-GA-XGBoost模型的相关系数等指标均优于GA-BP、GA-SVM、GA-XGBoost和XGBoost;2011—2021年吉林省水资源承载力位于0.192~0.724,为先上升后下降再上升趋势,承载力状况逐年改善;利用模型内置的特征值重要度排序功能,识别得出重要度最大的指标为每公顷化肥施用量(0.5307),是影响吉林省水资源承载力的关键因素。

在线医药电商评论情感分析——基于XGBoost集成加权词向量和大语言模型的情感识别模型

消费者评论是考察消费者情感的重要数据源,对商品评论进行数据挖掘是帮助在线医药电商改善经营的重要途径。立足于在线医药电商的用户评论,基于SO-PMI(情感倾向点互信息)算法构建该领域情感词典,对评论词向量进行情感加权。利用XGBoost(极限梯度提升树)集成词向量和LLM(大语言模型)构建情感识别模型,最后得出评论情感指数,从多个维度展开,分析消费者评论中的情感趋势。实证分析表明,构建的情感识别模型的AUC(曲线下的面积)等验证指标较LLM模型相比有进一步提升,具有一定的应用价值。

基于CFS特征选取与极限梯度提升树的短期风电功率预测

在风力发电工程的实际应用中,气候是影响风电输出功率的主要因素。为从众多气候因素中筛选重要的特征建立精准的预测模型,本文首先利用基于相关性的CFS特征选择算法对原始特征集进行精简。然后,以精简后的特征集作为模型输入,建立基于极限梯度提升树的短期风功率预测模型。最后,对测试集进行短期风功率预测,验证模型的准确性。实例分析结果表明,CFS特征选取算法能够对特征集进行有效精简,而极限梯度提升树相对传统的机器学习模型而言具备更佳的预测效果。

基于PRSGMD-XGBoost的光伏直流电能质量扰动识别

光伏电网受天气因素和非线性负载等影响,直流电信号中存在的扰动成分使得电能质量评估的准确性难以保障。利用复合多尺度模糊熵可克服光伏直流电信号初始单分量相似性度量突变的问题,构建了正则化CMFE算子评估各初始单分量重构后的复杂度并约束残余量能量最小,从而实现电信号和噪声等扰动的准确分离,在此基础上,提出了基于部分重构辛几何模态分解(PRSGMD)的光伏直流电信号自适应去噪方法,结合极限梯度提升机(XGBoost)可有效挖掘特征与暂态稳定性之间关系的优势,实现了光伏直流电信号中复合扰动的分离和识别。

极端梯度提升与随机森林融合的天然气露点预测方法

目的解决目前水露点数据多为人工采用测量仪器测得,时效性低且成本高昂的问题。方法建立一种基于极端梯度提升(XGBoost)和随机森林(RF)的天然气水露点预测方法。采用XGBoost方法对所有监测工艺参数进行分析,筛选出主要影响水露点的关键工艺特征参数,以排除无关特征参数对预测的干扰。建立RF预测模型,输入关键特征集参数,实现对水露点的实时预测。以重庆气矿某脱水监测系统监测数据与生产数据为例,对所提预测方法进行对比分析验证。结果相较于XGBoost、SVM等预测方法,RF模型具有最佳的预测性能,且经过XGBoost特征选择后,RF预测结果的MAE值降低了0.0169℃,RMSE值降低了0.0146℃。结论基于极端梯度提升与随机森林融合的水露点预测方法具有更优的预测精度与鲁棒性,对指导脱水现场生产具有积极作用。

一种基于梯度提升树算法的DGA域名检测方法

勒索病毒、僵尸网络等恶意软件在互联网日益泛滥,已成为威胁网络安全运行的重要因素。域名作为恶意软件与命令和控制(Command and Control,C&C)服务器的主要通信方式,是检测和防范的重要途径。但域名生成算法(Domain Generation Algorithm,DGA)的不断改进发展,给传统的基于威胁情报的检测方式带来了巨大挑战,而机器学习技术逐渐成为应对DGA域名的主要途径。梯度提升树算法作为机器学习中重要的分类算法,能够适应DGA域名检测场景。基于XGBoost框架,采用开放域名数据作为样本集,研究了基于梯度提升树算法的DGA域名检测方法,并通过域名向量转换、检测模型训练、参数调优,实现了一个高效的DGA域名检测模型。