家庭财富积累是否存在邻里效应?——基于分位数回归梯度提升树模型的分析

以2018年中国家庭追踪调查数据(CFPS)为研究对象,采用分位数回归梯度提升树模型研究邻里效应对家庭财富积累的非线性影响。研究结果表明:(1)邻里效应能够更好地估计家庭财富积累;(2)邻里效应对家庭财富积累的影响最强;(3)邻里效应对家庭财富积累的影响呈现非线性特征。不仅利用分位数回归梯度提升树方法从邻里效应这一全新视角对中国家庭财富积累情况进行研究,也为制订化解财富不平等的政策提供了有益启发。

我国商业银行系统性风险度量研究——基于分位数回归梯度提升树模型的分析

金融风险在不同金融机构间传递时可能存在显著的非线性关系,采用线性分位数回归模型测度系统性金融风险不能正确捕捉这种非线性风险传染关系。因此,以2009—2021年14家中国商业银行为研究对象,采用前沿的分位数回归梯度提升树模型这一非线性回归方法测度商业银行的系统性风险,并与传统的线性分位数回归模型进行比较。结果表明:基于分位数回归梯度提升树模型测度的系统性风险结果优于线性分位数回归模型,说明我国商业银行的系统性风险在银行机构间的风险溢出具有复杂的非线性关系。

变分模态分解与极限梯度提升树融合的高速轴向柱塞泵空化等级识别

针对高速轴向柱塞泵在不同空化程度下故障特征不明显导致识别准确率低的问题,提出了一种变分模态分解和极限梯度提升树融合的识别方法。在不同空化等级下进行高速轴向柱塞泵空化试验,采集壳体的振动加速度信号,对信号采用变分模态分解方法并从中提取故障特征以构造特征数据集,最后利用极限梯度提升树进行空化等级的识别。为证明所提方法的抗噪性能,在测试集中加入了随机高斯白噪声。结果表明,加入不同信噪比的噪声后,该识别模型仍能准确地识别出高速轴向柱塞泵的空化等级。

基于梯度提升决策树分位数回归的船舶能耗区间预测

针对目前船舶能耗预测方法仅仅能进行单点预测的问题,提出一种梯度提升决策树分位数回归方法对船舶能耗区间进行预测。对船舶能耗及其影响因素数据进行预处理(空值、异常值删除等),获得更加准确的船舶能耗数据集。结合相关领域知识,确定对地航速、艏艉吃水、左右吃水、风速等9个影响因素进行建模。以区间覆盖率和平均带宽作为该方法的性能评价指标。实验结果表明,该方法能有效获取船舶能耗区间值,与分位数回归森林(quantile regression forest,QRF)、普通线性分位数回归(quantile regression,QR)相比,其预测性能更佳。提出的方法可为智能船舶能耗状态实时监测、异常识别等提供参考。

改进梯度提升树算法的输电线路故障识别

为精准识别输电线路的短路故障类型,提高输电线路短路故障诊断精度,提出一种贝叶斯优化梯度提升树的输电线路短路故障识别方法。通过变分模态分解和对称分量法,提取故障特征,构建特征集。采用贝叶斯优化梯度提升树挖掘特征集与短路故障类型之间的关系,建立短路故障识别模型,利用Simulink识别输电线路的故障精度。结果表明,该诊断模型能够快速且准确地识别短路故障类型,识别准确率高达99.75%。与传统方法相比,该方法显著减少了过渡电阻、故障距离和故障初始角对模型识别准确率的影响。

同步压缩小波与极限梯度提升树融合的柴油机失火故障诊断

针对柴油机失火故障诊断特征提取分辨率较低和分类评估容易出现过拟合的问题,提出了一种同步压缩小波变换和极限梯度提升树融合的诊断方法。在不同转速下进行柴油机失火性能试验,采集缸盖振动信号,对信号利用时域统计、同步压缩小波提取特征,再采用局部线性嵌入方法进行特征降维,最后利用极限梯度提升树进行失火评估分类。不同工况与评估方法下的对比实验结果表明,所提方法的分类准确率最高可达99.828%,相比小波包特征提取的评估方法提升至少10%。在低模型复杂度下,所提方法具有最小的模型预测均方根误差,证明了方法的鲁棒性和抑制模型过拟合的能力。

采用极限梯度提升算法的电力系统电压稳定裕度预测

将极限梯度提升树(XGBoost)算法应用于电力系统电压稳定评估问题.根据电压稳定问题特点,提出能够反映电力系统运行状态的特征集;把电压稳定裕度绝对值作为映射目标,并介绍生成样本集的方法.在介绍XGBoost算法基本原理的基础上,研究该算法的技术细节.在IEEE-39节点系统上进行验证,结果表明,XGBoost算法在R方值和平均绝对百分误差2项回归指标上均优于其他几类机器学习算法,且模型的计算速度最快,可以满足在线应用要求.同时,XGBoost算法具有良好的数值错误和数值缺失容错性,并可以针对预测偏差较大的样本进行数据补充,实现模型的更新,使得模型表现趋于稳定.

在线医药电商评论情感分析——基于XGBoost集成加权词向量和大语言模型的情感识别模型

消费者评论是考察消费者情感的重要数据源,对商品评论进行数据挖掘是帮助在线医药电商改善经营的重要途径。立足于在线医药电商的用户评论,基于SO-PMI(情感倾向点互信息)算法构建该领域情感词典,对评论词向量进行情感加权。利用XGBoost(极限梯度提升树)集成词向量和LLM(大语言模型)构建情感识别模型,最后得出评论情感指数,从多个维度展开,分析消费者评论中的情感趋势。实证分析表明,构建的情感识别模型的AUC(曲线下的面积)等验证指标较LLM模型相比有进一步提升,具有一定的应用价值。

基于XGBoost与Stacking融合模型的恶意程序多分类检测方法

当前在恶意程序多分类检测领域,传统静态和动态检测方法受反取证技术影响较大;在新型基于网络流量的检测方法中,由于各类恶意程序流量特征的相似性较大,使用人工提取的数据流特征和传统机器学习方法不能取得较高的准确率。针对上述问题,文章提出一种基于XGBoost与Stacking融合模型的恶意程序多分类检测方法。在获取目标恶意程序对外通信流量并自动提取初始网络特征后,对初始数据集进行预处理和多重特征选择,而后使用基于XGBoost的特征创造算法,在初始特征基础上自动化生成高级特征集,并结合Stacking集成算法实现多模型融合以提升恶意程序多分类检测的准确率。在此过程中,为减少寻找最优参数组合的时间,使用贝叶斯优化方法确定各个模型的最优参数组合,并采取多种正则化策略解决模型过拟合问题。实验结果表明,与其他传统方法相比,该检测方法在恶意程序多分类的准确率上有较大提升。

面向PM_(2.5)预测的时间序列分解与机器学习融合模型

细颗粒物(PM_(2.5))对大气污染和人体健康具有显著影响。为了提高PM_(2.5)质量浓度预报准确率,提出一种将先知(Prophet)时间序列分解算法和极限梯度提升树(Extreme Gradient Boosting,XGBoost)机器学习模型相结合的多变量混合预测模型(Prophet-XGBoost)。利用Prophet算法对时间序列可分解的特性,将PM_(2.5)高维质量浓度序列分解成若干低维时序特征分量,并与污染物和气象因素数据集成构建XGBoost预测模型,以得到PM_(2.5)质量浓度的预测值。试验中以南京市PM_(2.5)质量浓度历史数据为例进行实证分析。结果表明,结合Prophet时间序列分解的预测模型,PM_(2.5)质量浓度预测结果的决定系数R^(2)提升至0.658 4。由此可见,Prophet-XGBoost多变量混合预测模型较传统长短期记忆神经网络(Long Short-Term Memory,LSTM)、XGBoost模型能够更好地预测PM_(2.5)日均质量浓度的变化趋势。

分位数回归提升树模型及应用

为解决分位数回归树模型预测性能低以及分位数回归梯度提升树模型计算成本高的缺陷,文章基于分位数回归方法和提升树模型,提出了分位数回归提升树模型(QRBT),并给出了其具体算法.该模型一方面优化过程更为简单,节约了计算成本,另一方面加总多个分位数回归树模型,提高了预测性能.通过数值模拟和应用研究发现:与线性分位数回归,分位数回归树以及分位数回归梯度提升树模型相比,QRBT模型不仅能够获得更高的估计和预测精度,而且能够显著地降低运行时间.

一种改进XGboost的DoH流量分类方法

加密流量已经成为互联网中的主要流量,其分类问题一直是当前研究热点之一。针对当前网络中DoH(DNS-over-HTTPS)流量的准确识别,处理速度偏慢,检测效率不高的问题,提出了一种基于截断奇异值分解(truncated singular value decomposition, TSVD)降维,贝叶斯优化方法改进的极限梯度提升树(improve extreme gradient boosting, IXGboost)的DoH流量分类方法。通过网络公开数据集,此方法将加密流量分为非DoH流量,良性DoH流量和恶意DoH流量。实验结果表明,其分类准确率达到了99%以上,处理每条数据的时间仅为0.3ms,进而证明所提方法有着较高的准确率和较强的实时性,提升了入侵检测性能,可有效实现对DoH流量的精确分类。

基于改进的变分模态分解和LGBM算法的换流站消防管道泄漏监测定位方法

超高压换流站消防管道多埋设于地下,容易受到站内入地电流腐蚀从而产生严重的泄漏。本文基于变分模态分解(Variation Mode Decomposition,VMD)和轻量级的高效梯度提升树(Light Gradient Boosting Machine,LGBM)设计一种新的管道泄漏监测定位算法。该算法首先对VMD算法进行改进,在保证分解充分的前提下尽可能以较低的计算量将采集到的原始信号分解,并在将VMD算法和小波去噪算法相结合,对信号进行去噪处理以确保提取具备较优表征的特征。为提高管道泄漏监测的准确性和时效性,本文引入LGBM模型,将去噪后提取的特征作为模型的输入,通过训练所得的模型来判定管道泄漏的运行状态。若泄漏发生,则对采集信号进行时延估计来互相关运算,定位泄漏点位置;未发生泄露,则继续进行下一次判断。从而实现管道运行状态在线监测的目的。

基于树型学习算法的短期流量预测研究

随着移动通信技术的发展,4G、5G给人们带来了极大便利。移动互联网飞速发展,移动流量呈现爆炸式增长,基站的流量预测问题变得越来越重要。针对短期流量预测问题,本文在数据集上分别验证了ExtraTrees、Gradient Boosting、Bagging和AdaBoost四种树型学习算法预测的准确性,通过平均绝对误差(Mean Absolute Error,MAE)值衡量预测结果。MAE的值越大,模型准确度越低。实验结果表明GradientBoosting模型的MAE值最小,模型准确度最高,故应用GradientBoosting模型进行了短期流量的预测。

基于集成学习的脱硫剂加入量预测方法

为解决铁水预脱硫过程中脱硫剂加入量控制问题,提出一种基于集成学习的脱硫剂加入量预测方法。首先,对原始数据进行预处理,将空值、重复值、0值以及不符合工艺规范的数据行删除,并使用LOF算法结合专家经验剔除异常值;其次,基于GBDT算法计算每个输入特征的重要性占比,进行特征筛选;最后,采用Optuna超参数自动寻优框架对预测模型调优,寻找最佳超参数组合,预测脱硫剂加入量。利用某钢厂铁水预处理过程中的实际生产数据,分别采用XGBoost、RF、GBDT以及LightGBM等方法构建预测模型并进行对比试验。其中XGBoost模型的拟合精度(R^(2))、均方根误差(RMSE)、平均绝对误差(MAE)以及平均绝对百分比误差(MAPE)分别为0.8962、198.245、119.726以及7.897%,相较于其它模型均是最优。

基于PCA-GA-XGBoost模型的吉林省水资源 承载力评价

为了提高水资源承载力评价的效率和准确性,提出了一种基于主成分分析(PCA)、遗传算法(GA)和极限梯度提升树(XGBoost)的指标评价模型。定义了以水资源、社会经济、生态环境为子系统的14项评价指标;采用主成分分析法对评价指标进行降维处理;基于梯度提升决策树对吉林省2011—2021年的水资源承载力进行评价分析,并利用遗传算法对极限梯度提升树中4个参数进行优化。结果表明:经主成分分析简化评价指标后,PCA-GA-XGBoost模型的相关系数等指标均优于GA-BP、GA-SVM、GA-XGBoost和XGBoost;2011—2021年吉林省水资源承载力位于0.192~0.724,为先上升后下降再上升趋势,承载力状况逐年改善;利用模型内置的特征值重要度排序功能,识别得出重要度最大的指标为每公顷化肥施用量(0.5307),是影响吉林省水资源承载力的关键因素。

VMD-Stacking集成学习的多特征变量短期负荷预测模型

针对当前短期电力负荷预测结果准确度不够高的问题,提出一种由变分模态分解(variational modal decomposition, VMD)和Stacking集成学习框架组合的多特征变量短期负荷预测模型。在预测前使用VMD算法将负荷数据分解,然后加入对模型重要性较高的特征变量,再建立由轻量级梯度提升机(light gradient boosting machine, LightGBM)与极限梯度提升机(extreme gradient boosting, XGBoost)融合的Stacking集成学习预测模型,并比较不同天气情况下对预测模型准确度的影响。经实际算例对比验证表明:多特征的VMD-Stacking集成学习预测模型的误差较小。采用VMD算法分解历史负荷序列,分解后子模态分量的周期性体现了出来,让模型预测波动性较大的负荷时更容易;温度、天气、农历和节假日情况等影响负荷变化的关键因素有被考虑到,模型的准确度得以提高;Stacking集成学习模型对各算法取长补短,泛化能力增强,预测的准确度高于单一模型。

基于WOA-VMD-GBDT的长期电力负荷预测

为提高电力负荷的预测精度提出了一种基于鲸鱼优化算法(WOA)改进的变分模态分解(VMD)与梯度提升树(GBDT)结合的长期电力负荷预测方法。首先,利用VMD将长期负荷分解为简单的子序列,并引入WOA解决VMD分解时需人为调参的问题;影响长期负荷预测的经济因素和气象因素同样进行分解并降维,以获得有用特征,降低噪声影响;最后,将IMF分量及特征分量带入GBDT模型,得到多个IMF分量预测值,叠加重构后得到最终的电力负荷预测值。对中国某地区实际电力负荷及经济数据与气象数据分析,实验结果表明,本文模型相比于单一模型其预测精度更高,RMSE、MAE、MAPE三个方面误差更小,R 2也提升到了0.979。

基于α-shape与SSA-XGBoost算法的无人机点云孔洞修补

针对极限梯度提升树算法在进行无人机点云孔洞修补时核心超参数难以选取、点云孔洞修补范围识别困难以及孔洞修补精度较低等问题,提出基于麻雀搜索算法优化极限梯度提升树的点云孔洞修补方法。首先利用α-shape算法进行点云的孔洞识别,在此基础上,获取点云孔洞和周围点云的位置信息并将其作为模型的输入样本。再利用麻雀搜索算法优化极限梯度提升树算法中的核心超参数,构建SSA-XGBoost点云孔洞修补模型,并将该模型应用于无人机点云孔洞的修补中。最后将SSA-XGBoost与XGBoost、BP神经网络两组算法进行预测精度的对比。实验结果表明:SSA-XGBoost模型的预测结果相较于其它两组对比算法预测精度更高,在点云孔洞修补方面具有一定的意义。

基于XGBoostShapley的玉米不同生育期LAI遥感估算

针对当前快速准确获取叶面积指数(Leaf area index,LAI)时大部分遥感预测方法将光谱信息作为模型主要特征,忽略时序变化特征的问题,利用无人机搭载五通道多光谱相机获取研究区玉米不同生育期的影像数据,基于该数据计算玉米相应生育期植被指数,然后采用植被指数建立各生育期子模型,采用Shapley理论计算子模型均方根误差对全生育期模型均方根误差的贡献度,从而确定各子模型权重,根据权重组合形成具有LAI时序变化特征的估算模型,分别基于支持向量回归(SVR)、多层感知机(MLP)、随机森林(RF)和极限梯度提升树(XGBoost)算法构建组合估算模型。结果表明:采用Shapley理论构建的组合LAI估算模型估算效果优于直接构建的全生育期LAI估算模型。相较于SVRShapley、MLPShapley以及RFShapley模型,XGBoostShapley模型的估算效果最佳(R^(2)为0.97,RMSE为0.021,RPD为6.9)。将最优模型XGBoostShapley应用于研究区LAI预测,预测结果符合不同生育期玉米长势。本研究为大田玉米长势遥感监测提供了新的思路和方法。