基于极端梯度提升算法的高血压识别模型建立

目的探索基于极端梯度提升(extreme gradient boosting,XGBoost)算法构建的高血压识别模型性能。方法本研究收集了2020年1月至12月南京大学附属鼓楼医院健康管理中心健康体检人群中1577位高血压确诊患者和3754位同期健康对照的相关数据,采用单因素分析对高血压影响因素进行筛选,基于XGBoost算法和自适应增强(AdaBoost)算法构建高血压识别模型,采用留出法验证模型泛化性能,灵敏度、特异度、阳性预测值、准确度、G-mean、F-measure、马修斯相关系数(MCC)和受试者特征曲线下面积综合评价和比较模型性能。结果XGBoost模型灵敏度(90.3%)、特异度(86.8%)、阳性预测值(87.3%)、准确度(88.6%)、G-mean(0.886)、F-measure(0.888)、MCC(0.772)和受试者工作特征曲线下面积(0.954)表明其具有更好的识别高血压患者的能力。结论XGBoost算法对识别高血压患者具有较强的实用性和可行性,为未来类似研究提供一定的模型选择参考。

基于随机森林和XGBoost算法构建心脏骤停患者自主循环恢复后神经功能预后不良的风险预测模型

目的 利用机器学习算法构建预测心脏骤停(CA)患者自主循环恢复(ROSC)后神经功能预后不良的预测模型,探索结局相关因子。方法 回顾性收集2016年1月至2024年1月沧州市中心医院收治的CA行心肺复苏(CPR)后ROSC的患者481例为研究对象。收集患者临床资料,根据患者转出重症监护病房(ICU)时的格拉斯哥-匹兹堡脑功能表现分级(CPC)评分,将其分为预后良好组(GNO,n=158)和预后不良组(PNO,n=323)。481例患者按7∶3随机分为训练集(n=338)和测试集(n=143),训练集用于构建模型,测试集用评价模型效能。利用极端梯度提升(XGBoost)和随机森林(RF)两种机器学习算法构建患者神经功能预后不良的预测模型,分别得出影响患者神经功能预后的变量,应用SHAP进行XGBoost模型可解释性分析。将XGBoost和RF算法得出的变量取交集,再将交集变量进行多因素Logistic回归分析,得到差异有统计学意义的变量,进而构建决策树模型。在训练集和测试集上利用受试者工作特征(ROC)曲线和曲线下面积(AUC)评估决策树模型的预测性能。结果 通过XGBoost模型得到与神经功能预后不良相关的变量15个,RF模型得到与神经功能预后不良相关的变量14个,两种模型取交集得到11个与神经功能预后不良相关的交集变量[视神经鞘直径(ONSD)变化率、神经元特异性烯醇化酶(NSE)、入ICU第3天ONSD(ONSD day3)、心脏骤停至心肺复苏(CA-CPR)时间、ROSC时间、急性生理学与慢性健康状况评价Ⅱ(APACHEⅡ)评分、血肌酐、白蛋白、住ICU时间、血乳酸及年龄]。将这11个交集变量进行多因素Logistic回归分析,结果显示,PNO组与GNO组ONSD变化率、NSE、ONSD day3、ROSC时间及年龄这5个变量差异有统计学意义(P<0.05)。用这5个重要变量构建决策树模型,得出3个与患者神经功能预后不良最相关的变量(NSE、ROSC时间及ONSD变化率),在训练集上的决策树模型预测CA行CPR后ROSC患者神经功能预后不良的AUC为0.857(95%CI 0.809~0.903,P<0.001),在测试集上的AUC为0.834 (95%CI 0.761~0.906,P<0.001)。结论 基于XGBoost和RF这2种机器学习方法构建的决策树模型能够更准确地评估CA患者ROSC后神经功能的不良预后,且评价指标可能简化为NSE、ROSC时间及ONSD变化率。

基于极端梯度提升回归模型的电梯钢丝绳磨损预测方法

目前对电梯钢丝绳磨损量预测的研究还存在不足,针对这一问题,采用基于极端梯度提升(XGBoost)算法的机器学习方法,对电梯钢丝绳磨损率的预测进行了理论分析、数据采集和实验测试研究。首先,在目标损失函数中增加了额外的正则化项,并使用了贝叶斯超参数优化,提出了优化后的算法BO-XGBoost;然后,用自制的电梯钢丝绳疲劳试验机对曳引轮直径、载荷力、频率和包角这4个因素进行了试验,得到了用于预测钢丝绳磨损率的数据;最后,用BO-XGBoost算法对钢丝绳磨损率进行了预测分析,同时与多元线性回归(MLR)、随机森林(RF)以及支持向量机(SVM)等机器学习算法进行了比较。研究结果表明:BO-XGBoost算法的建模效果和回归效果最好,其泛化能力也最高,能适应不同工况的实验,在预测钢丝绳磨损率方面优于其他几个模型,预测值与试验值达到了99.1%的准确率,证明了该方法的有效性。

基于遗传算法优化XGBoost模型的地铁乘客出站走行时间预测

地铁乘客出站走行时间的预测是城市交通运行和管理的重要依据,对其进行准确预测有助于缓解地铁拥堵、优化地铁服务和提高乘客满意度。为了准确预测地铁乘客出站走行时间,首先,基于视频分析软件从监控视频中提取了乘客出站时的走行时间和若干特征变量。其次,为了筛选出对走行时间有显著影响的因素,采用相关性分析和最优尺度回归模型进行影响因素分析,并使用遗传算法进行最优特征组合的提取。最终,将提取出的特征作为输入向量,使用极端梯度提升模型(extreme gradient boosting,XGBoost)进行走行时间的预测,并以平均绝对误差等作为评价指标。实验结果表明,本文提出的方法在地铁乘客出站行为预测方面具有较好的效果,平均绝对误差为1.55 s,低于未优化的极端梯度提升模型(1.87 s)、支持向量机(2.03 s)和随机森林(1.96 s)等模型。

在线医药电商评论情感分析——基于XGBoost集成加权词向量和大语言模型的情感识别模型

消费者评论是考察消费者情感的重要数据源,对商品评论进行数据挖掘是帮助在线医药电商改善经营的重要途径。立足于在线医药电商的用户评论,基于SO-PMI(情感倾向点互信息)算法构建该领域情感词典,对评论词向量进行情感加权。利用XGBoost(极限梯度提升树)集成词向量和LLM(大语言模型)构建情感识别模型,最后得出评论情感指数,从多个维度展开,分析消费者评论中的情感趋势。实证分析表明,构建的情感识别模型的AUC(曲线下的面积)等验证指标较LLM模型相比有进一步提升,具有一定的应用价值。

基于极端梯度提升算法的空调系统故障诊断自适应模型

本文提出了一种基于极端梯度提升(eXtreme Gradient Boosting,XGBoost)算法的数据中心空调系统的故障诊断自适应模型。首先构建了串联式集成学习的XGBoost诊断模型,考虑到实际诊断中会出现跨工况、跨故障程度和种类的新数据,提出了利用数据价值评定函数对数据集进行更新,在此基础上只需更新模型的相应局部分支就能实现模型的更新。结果表明:XGBoost模型对验证集的准确率高达99.83%,但对跨工况和跨故障的新数据诊断效果较差;通过数据价值评定函数对数据集和模型更新后,新模型的诊断准确率提升至99%。因此本文提出的故障诊断方法具有较强的自适应特性,能够实现数据集自主更新和模型迭代更新。

基于极端梯度提升模型预测江汉平原高碘地下水的空间分布

长期摄入高碘地下水(碘浓度>100μg/L)会造成人体甲状腺机能损伤,掌握区域高碘地下水的空间分布规律对于有效规避劣质地下水,保障地下水资源的可持续安全供给至关重要。但大规模地下水水质调查耗费大量的人力、财力、物力。基于江汉平原177组常规的浅层地下水水质调查数据,选取DOC、HCO^(-)_(3)、Mg^(2+)、Fe^(2+)、NH^(+)_(4)-N、SO_(4)^(2-)等水质参数作为预测变量,建立江汉平原高碘地下水风险极端梯度提升机器学习预测模型,用于预测研究区高碘地下水的空间分布。结果表明:该模型通过测试数据集检验,预测的准确率达到86.4%;模型预测结果显示,江汉平原高碘地下水主要分布在长江河曲沿岸,零星分布在平原腹地河湖区,并识别出江汉平原西北部丘陵前缘的汉江沿岸也是高碘地下水分布的潜在区域。该研究结果将有助于圈划高碘地下水的空间分布范围,可为确定未来地下水水质监测的优先区域提供科学指导。

基于梯度提升回归树模型的上海市二手房均价分析

本文基于梯度提升回归树集成模型,利用采集的“链家”网站上海市近三年各住宅小区二手房的相关数据,分析影响上海市二手房均价的因素。对各影响因素运用Person相关系数矩阵及热力图进行初步分析,并将收集的数据分为训练集和测试集,训练并测试支持向量机模型、线性回归模型及集成模型。最终实验结果表明,基于梯度提升回归树的集成模型更能准确的预测上海市二手房的均价,且梯度提升回归树的MSE是其中最小,相关系数最大达到0.831,具有较好的拟合效果。

基于梯度提升回归树的城市道路行程时间预测

为了提高行程时间的预测精度,在考虑时间序列相关性的同时,分析相邻路段的空间相关性对于行程时间的影响,并提出基于梯度提升回归树模型的城市道路行程时间预测方法.对车牌识别设备获取的实际数据进行预处理,并提出相应的补全算法以解决数据缺失问题,建立完整的历史数据集.通过分析各影响因素与行程时间的相关性,构建特征向量.为了能更好地理解模型,通过梯度提升回归树模型输出各变量对于预测结果的重要度.利用实际数据对模型进行评估,预测行程时间的平均绝对误差百分比,约为10.0%.与SVM、ARIMA等方法相比,所提方法具有较高的精度.

极端梯度提升与随机森林融合的天然气露点预测方法

目的解决目前水露点数据多为人工采用测量仪器测得,时效性低且成本高昂的问题。方法建立一种基于极端梯度提升(XGBoost)和随机森林(RF)的天然气水露点预测方法。采用XGBoost方法对所有监测工艺参数进行分析,筛选出主要影响水露点的关键工艺特征参数,以排除无关特征参数对预测的干扰。建立RF预测模型,输入关键特征集参数,实现对水露点的实时预测。以重庆气矿某脱水监测系统监测数据与生产数据为例,对所提预测方法进行对比分析验证。结果相较于XGBoost、SVM等预测方法,RF模型具有最佳的预测性能,且经过XGBoost特征选择后,RF预测结果的MAE值降低了0.0169℃,RMSE值降低了0.0146℃。结论基于极端梯度提升与随机森林融合的水露点预测方法具有更优的预测精度与鲁棒性,对指导脱水现场生产具有积极作用。

基于STL-XGBoost-NBEATSx的小时天然气负荷预测

小时天然气负荷预测受外部特征因素与预测方法的影响,为提高其预测精度并解决其他深度学习类模型或组合模型可解释性差、训练时间过长的问题,在引入“小时影响度”这一新特征因素的同时提出一种基于极端梯度提升树(extreme gradient boosting tress,XGBoost)模型与可解释性神经网络模型NBEATSx组合预测的方法;以XGBoost模型作为特征筛选器对特征集数据进行筛选,再将筛选降维后的数据集输入到NBEATSx中训练,提高NBEATSx的训练速度与预测精度;将负荷数据与特征数据经STL(seasonal and trend decomposition using Loess)算法分解为趋势分量、季节分量与残差分量,再分别输入到XGBoost中进行预测,减弱原始数据中的噪音影响;将优化后的NBEATSx与XGBoost模型通过方差倒数法进行组合,得出STL-XGBoost-NBEATSx组合模型的预测结果。结果表明:“小时影响度”这一新特征是小时负荷预测的重要影响因素,STL-XGBoost-NBEATSx模型训练速度有所提高,具有良好的可解释性与更高的预测准确性,模型预测结果的平均绝对百分比误差、均方误差、平均绝对误差分别比其余单一模型平均降低54.20%、63.97%、49.72%,比其余组合模型平均降低24.85%、34.39%、23.41%,模型的决定系数为0.935,能够很好地拟合观测数据。

基于梯度提升算法的近地面臭氧浓度估算比较

提出了一种基于梯度提升树优化的近地面O_(3)浓度时空分布估算模型.基于O_(3)地面观测站点数据、高分辨率大气成分卫星数据(TROPOMI、AIRS)、ERA5气象再分析资料、以及地表覆盖和地形数据,本文研究了京津冀地区近地面O_(3)与对流层O_(3)及其前体物、气象因素、以及下垫面资料之间的相关关系,对比分析了不同梯度提升树算法模型(GBDT、XGBoost、LightGBM)的估算精度.结果表明,3种模型整体上均可对近地面O_(3)进行精确估算,GBDT、XGBoost、LightGBM的决定系数R^(2)分别为0.9489、0.9547、0.9495,均方根误差RMSE分别为13.85,13.26,13.76μg/m^(3),XGBoost模型的精度相对最高;通过采用过滤法、相关性分析法以及递归特征消除法筛选特征,对XGBoost估算模型进行了优化,在保证模型精度前提下,降低了特征复杂度,优化后模型估算精度可达到R^(2)=0.9549,估算速率提升了约17%,为区域尺度O_(3)浓度时空分布建模与估算提供了一个精细而高效的方法模型.

结合修正后的全球生态系统动态调查冠层高度的森林地上生物量模型优化——以福建省为例

森林地上生物量(Above Ground Biomass,AGB)是衡量森林生态系统碳存储、能量流动和生物多样性的关键指标,对于气候变化研究和森林资源管理至关重要。福建省地处多云多雨的亚热带,地形和森林类型复杂,森林地上生物量估算难度大。为提升森林地上生物量估算效果,将最新星载激光雷达数据全球生态系统动态调查(GEDI)、Landsat以及Sentinel系列卫星等多源遥感数据进行集成和综合利用,通过Landsat影像计算的林龄对GEDI_V27冠层高度产品进行优化,结合优化后的MGEDI_V27冠层高度产品,建立传统遥感特征结合冠层高度的极端梯度提升模型(XGBoost)生物量反演模型,实现了福建省森林地上生物量的有效估算与制图。研究结果表明:(1)通过林龄优化后的GEDI冠层高度精度评价结果为R^(2)=0.67,RMSE=2.24m;(2)通过递归特征消除算法对三种森林类型进行特征优选,得到10个遥感特征,其中,三种森林类型最重要的遥感特征均为森林冠层高度,并且对比评价了在包含传统遥感特征因子的情况下有无冠层高度对于模型精度的影响,结果表明,在冠层高度因子参加特征构建时,森林AGB回归分析的精度明显提高,证实了冠层高度在生物量估算中具有显著的重要性;(3)研究得到的福建省森林AGB范围为0.001—363.331Mg/hm^(2),整体精度评价结果为R^(2)=0.75,RMSE=17.34Mg/hm^(2),2020年全省AGB总量为8.22亿Mg,平均值为101.24Mg/hm^(2)。通过优化GEDI中的森林冠层高度,并且结合传统遥感特征,可以实现对福建省森林地上生物量的精确估算和监测,研究成果有助于区域森林碳汇的评估。

结合机器学习的SA湍流模型闭合系数修正

将修正Morris分类筛选法与极端梯度提升(extreme gradient boosting,XGBoost)相结合,在计算流体动力学(computational fluid dynamics,CFD)数据驱动下,用于SA(Spalart-Allmaras)湍流模型闭合系数的修正.利用分类筛选法有效缩小闭合系数研究范围,同时依据XGBoost方法在小规模数据集下取得精度较高的拟合模型,有效提升系数修正效率.在三维DLR-F6-WB构型下进行了数值实验,实验结果显示利用本方法能够在三维复杂模型上基于小样本数据进行系数修正,修正后的升阻力系数计算精度得到了显著提升.

井下动态环境基于DAE的XGBoost自适应定位算法研究

针对煤矿井下高动态环境导致WiFi定位模型的精度降低的问题,提出极端梯度提升(XGBoost)的指纹定位算法,利用其高维数据特征的学习能力完成定位。与传统的梯度提升树(GBDT)算法相比,在完成更好定位效果的同时,速度也大大提升。同时针对WiFi数据的波动性和XGBoost算法面对动态环境模型漂移问题,分别提出融合降噪自编码器(DAE)和自适应机制的D-XGBoost算法和Z-XGBoost算法。实验结果表明:XGBoost算法的定位精度比GBDT算法提高了,效率提高了5倍多。融合DAE的D-XG-Boost算法的定位准确率比XGBoost算法提高了17%;融合了自适应机制的Z-XGBoost算法有效降低了模型漂移造成的误差。所提改进算法更好地改善了WiFi定位模型精度降低和模型漂移问题。

基于DE-XGBoost的短期风电功率预测

风电功率预测可为电力系统安全稳定运行提供重要的决策参考,因此研究如何提高风电功率预测精度具有重要意义。针对短期风电功率预测精度的问题,提出一种基于差分进化算法(DE)优化极端梯度提升树的组合预测模型(DE-XGBoost)。利用收敛速度快、优化效果好、复杂性低的差分进化算法对XGBoost的模型参数进行优化,实现对风电功率的准确预测。仿真结果证明,与其他预测模型相比,DE-XGBoost模型预测精度更高,泛化能力更强,可为风电调度运行提供详实的数据。

贝叶斯优化梯度提升树的室内日光照度分布预测

透过窗户照射进室内的自然光随时间非线性变化,且在空间上的分布呈现不均匀性,导致照度模型预测误差大。在数据量有限的情况下,如何实现自然光下的室内光环境高精度建模是一项巨大的挑战。针对上述问题,提出一种主成分分析与贝叶斯优化梯度提升回归树的室内照度预测算法。该算法首先利用哑变量处理样本数据,通过主成分分析法充分考虑照度数据多特征之间的内在相关性并进行特征重塑;然后利用随机森林确定梯度提升回归树的初始参数,提高其收敛速度和稳定性;最后融合交叉验证和贝叶斯优化算法自适应确定梯度提升回归树的超参数组合,从而进一步提升该模型对室内照度分布的预测性能。实验结果表明,在不同气象、时间条件下,该算法对600个测试样本的照度的R2、MAE和RMSE分别为0.9912、18 lx和40 lx,均优于其他几种算法,且能够显著降低样本偏差值。

多尺度建成环境对老年人心理健康的影响——基于极端梯度提升模型的合肥实证

通过建成环境的主动式干预打造心理疗愈环境是突破老年人心理健康危机、建设健康城市的关键抓手,已成为政府和学界迫切关注的议题。但现有研究缺少对不同尺度建成环境的相对重要性及其与心理健康非线性关联的研究。基于此,本研究以合肥市为案例地,通过积极心理健康量表收集了老年人心理健康的相关数据,结合多源数据,从城市、社区和住区3个尺度构建了建成环境要素的变量体系,运用极端梯度提升模型(Extreme Gradient Boosting,XGBoost)分析了多尺度建成环境对老年人心理健康的影响。结果表明:①合肥市老年人心理健康状况总体良好,心理健康水平的空间分布格局存在由老城中心和新城中心向外围递减的特征。②在整体效应分析中,建成环境是影响老年人心理健康的重要因素,城市尺度建成环境的相对重要性最高,社区尺度建成环境次之,住区尺度建成环境最低;而在单个变量中,社区尺度建成环境要素中的土地利用混合度和绿地覆盖度对老年人心理健康的贡献值最高。③在独立效应分析中,不同尺度建成环境要素对老年人心理健康均具有明显的非线性影响和阈值效应。研究结论能够为不同尺度建成环境的优化调控范围提供科学依据。

金融市场极端风险状态预测模型及其应用

随着经济全球化发展和国内金融市场的逐步开放,中国金融市场也遭受着来自国外金融风险的威胁与挑战。充分考量中国金融市场部分特征化事实,结合中国的现实情况,以中国金融市场为研究对象,选取了13个代表性指标,利用2005年1月—2021年6月的数据构建了中国金融市场风险指数,并且通过事件匹配方法检验指数识别作用的有效性。进一步,运用XGBoost模型预测中国金融市场极端风险,采用多种评价指标将其与传统的SVM、GBRT、RF和MLP模型进行比较研究,并利用配对样本T检验和弗里德曼检验对各个模型预测效果的差异进行显著性检验。最后结合SHAP和LIME方法展示了不同特征指标对中国金融市场风险的贡献度。实证结果表明:(1)所构建的指数较好地符合了我国金融市场风险变化的实际情况;(2)XGBoost预测模型对于极端金融风险样本识别能力较强、准确性较高,与其余模型相比,其预测性能更加优异,而且具有明显的统计检验意义。(3)利用Shapley和LIME方法挖掘出了影响中国金融市场风险的主要因素及其时变特征,且阈值效应的发现有利于金融部门对金融市场风险进行针对性的审慎监管。

基于XGBoost的以太坊交易智能定价模型

以太坊采用交易收费的策略来保证计算资源的合理利用,而由于涉及智能合约的交易消耗计算资源差别较大,引入Gas机制。以太坊用户在发起交易时需自主设置Gas总量和Gas价格,而矿工基于利益最大化的原则,优先选择Gas价格高的交易。Gas价格设置高则打包时间短,反之则时间长。由于交易的价格由交易发起者自主确定,这使得需要打包的交易的Gas价格可能相差较大,因而交易共识时间难以掌握。因此,现有的交易机制并不能平衡交易Gas成本和共识时间之间的冲突。为了解决上述问题,对以太坊交易机制进行了研究,分析影响Gas价格的因子,通过网格搜索算法对极端梯度增强模型(extreme gradient boosting,XGBoost)进行参数优化,构建基于XGBoost的以太坊交易智能定价模型,将该模型用于交易Gas价格预测中。通过搭建节点接入以太坊网络获取交易数据作为实验数据,实验结果表明,ETH_XGB模型能够帮助用户平均节省约72.5%的交易成本,交易成功率在92%,相较于原机制提高17.1%。