基于梯度提升的优化集成机器学习算法对滑坡易发性评价:以雅鲁藏布江与尼洋河两岸为例

雅鲁藏布江与尼洋河两岸地质构造活跃,山体滑坡时常发生,滑坡易发性评价能有效的减少因灾害发生所造成的对人类生命和财产的伤害。笔者基于基尼系数的加权随机森林、XGBoost和LightGBM算法在滑坡易发性中的性能。选取188个滑坡样本和7个影响因素,应用五折交叉验证法训练模型,训练过程中同时考虑特征选择算法、运用贝叶斯方法优化超参数后,采用precision、recall、F1、Accuracy指标对各个级别的预测结果进行分析。结果表明:在高程为32~1544 m与2722~3752 m、坡度为30°~40°、距断裂带、河流与道路200 m以内的区域最容易发生滑坡;滑坡极高与高易发性分布为12.14%和12.41%,低和极低易发性占比分别为26.47%与29.55%,区内一半以上的地区不容易发生滑坡灾害;LightGBM模型在所有模型中表现最好,AUC值为0.8432,准确度为0.8531,F1分数为0.8345;墨脱县的达木乡、帮辛乡,林芝县的丹娘、里龙、扎西饶登乡,朗县的陇村,工布江达的江达乡位于极高易发区,发生滑坡概率极大,在这些地区应采取相应的地质灾害防治措施。

基于极端梯度提升算法的地震同相轴自动识别

在常规地震同相轴识别方法基础上,通过引入极端梯度提升算法(XGBoost)智能化策略,并结合地震数据相邻道相似性特征,发展一种基于极端梯度提升算法的地震同相轴自动识别技术方法。在编程实现方法的基础上,通过简单层状模型和复杂Marmousi模型模拟的记录进行测试,验证方法的正确性。对含噪音数据和实际资料中的同相轴进行识别测试,同时进行单道对比定量分析以及不同信噪比情况下算法预测结果精度对比。结果表明:新方法对含噪数据和实际资料均具有较好的适应性;在低信噪比(-6.98 dB)情况下,同相轴的查准率仍可超过90%。

基于梯度提升回归树的气井油管积液高度预测

气井油管积液高度预测是气藏开发的重要环节,更是排水采气不可或缺的一部分。气井开采后期,气井底部会出现积液聚集现象,积液过多会造成气井停产,为了避免停产问题,必须对气井油管积液高度进行预测,但传统石油工程模型预测气井油管积液高度,存在着具体计算需要大量经验参数等问题。提出一个基于梯度提升回归树模型预测气井油管积液高度的方法,以气井的套压、油压、油管下深、油层中深、日产气、日产水、井口温度7种生产数据为特征,采用集成学习方法,结合多个决策树的预测结果,以迭代逐步改进的方式来提高模型的整体性能,从而精确预测气井油管积液高度。通过与32口井仪器探测实测值、回归决策树和随机森林对比分析,梯度提升回归树模型预测值与实测值相符,预测效果也最好,平均相对误差仅3.87%,调整后的相关系数R2为0.85。梯度提升回归树模型与现有的油管内积液量和环空积液量预测模型相比较,平均相对误差降低了1.9%。

基于梯度提升决策树与混合型迁移学习的材质属性标注模型

提出了基于梯度提升决策树(gradient boosting decision tree,GBDT)与混合型迁移学习策略的材质属性标注模型,创建全新的材质属性数据集MattrSet,提取图像LBP、Gist、SIFT特征;引入GBDT算法,基于对数似然损失函数优化标注模型,实现图像的材质属性标注;设计混合型迁移学习策略,弥补样本缺失或不平衡问题,并进一步改善标注性能。实验结果表明:迁移学习前,梯度提升决策树算法的标注性能较最强基线提升2.78%;执行基本迁移学习策略后,标注性能比迁移学习前提升11.02%;合理地组合模型并执行混合型迁移学习策略,标注性能比基础迁移学习提升22.5%,较最强基线提升16.80%。

基于极限梯度提升的完美匹配单层智能算法实现航空瞬变电磁问题高效吸收

对于航空瞬变电磁的低频探地问题,除了精度和效率需要考虑,深地探测问题的复杂度也不容忽视,特别是对于低频复杂问题存在异常体与背景间的多尺度效应.为了模拟开域问题,有限厚度区域的完全匹配层被用于截断计算域,然而这也无形中增大了整个模型,造成计算复杂度增加.鉴于此,提出了一种新的基于极限梯度提升(extreme gradient boosting,XGB)的完美匹配单层模型,并将该模型集成到时域有限差分求解器中,以进一步提高时域有限差分仿真的性能.所提出的基于XGB的完美匹配单层模型通过特征注意力集成学习方法可以获得更高的精度,同时占用更少的内存、消耗更少的时间.此外,由于该模型依托于传统机器学习模型,因此它在模型训练的稳定性和轻量级方面具有显著的优势.最后,通过对航空瞬变电磁应用进行三维数值模拟,验证了该方法的有效性和稳定性.该模型不仅在精度、效率和问题复杂性方面具有优势,而且还可以成功地集成到时域有限差分求解器中,解决低频航空瞬变电磁问题.

基于优化负样本采样策略的梯度提升决策树与随机森林的汶川同震滑坡易发性评价

强震诱发的滑坡具有数量多、分布广、规模大等特点,严重威胁人民生命财产安全。滑坡易发性评价能够快速预测灾害空间分布,对于减轻震后灾害的危险性具有重要意义。在同震滑坡易发性评价研究中,如何选取滑坡负样本并通过耦合机器学习模型提高评价精度的对比研究仍需进一步研究。以山区汶川地震诱发的滑坡为研究区,首先选取地形地貌、地质环境、地震参数等10个滑坡评价因子,分析滑坡空间分布规律;其次因子共线性分析检验数据冗余,接下来采用频率比法(FR)选取极低、低易发区滑坡负样本点的采样策略;最后采用基于决策树演化改进的梯度提升决策树(GBDT)、随机森林(RF)和耦合模型(FR-GBD与FR-RF),开展了基于机器学习的同震滑坡易发性区划并进行精度评价。研究结果表明:①滑坡空间分布受到多层级因子控制;②模型预测精度为:FR-RF(AUC=0.943)>FR-GBDT(AUC=0.926)>RF(AUC=0.901)>GBDT(AUC=0.856);③在低易发区选择滑坡负样本可以明显提高易发性精度。研究成果可为滑坡易发性中负样本的选择和评价模型构建提供参考同时也为震后滑坡的防灾减灾提供理论支持。

基于梯度提升决策树技术构建问诊融合舌象特征的中医体质辨识模型的探索研究

目的应用机器学习方法,对融合舌象特征的中医体质新型量表与中医体质量表进行多维度优效性比较,以获得更适合临床使用的中医体质辨识模型。方法前瞻性招募患者进行客观化舌象特征和中医体质量表数据采集,将60条目中医体质量表简化为9道多选题形式,利用梯度提升决策树(gradient boosting decision tree,GBDT)方法将舌象特征和9题判定的体质特征进行融合进而构建中医体质辨识的GBDT模型,同时建立支持向量回归(support vector regression,SVR)和线性回归(linear regression,LR)机器学习模型,通过比较不同模型位于前3(top3)的偏颇体质一致率以及R 2决定系数,验证GBDT模型的可行性。结果共获得374例患者完整数据。GBDT模型与60条目中医体质量表体质判定结果进行比较,top3一致率为75.56%。从机器学习回归模型性能评价角度来看,GBDT模型的R^(2)决定系数为0.7727,相较于SVR和LR两种方法,R^(2)分别高出0.013和0.0628,表明GBDT模型具有更好的拟合能力。结论融合舌象特征和9题判定的体质特征构建的中医体质辨识GBDT模型具有可行性,有利于提升体质辨识的效率,还具备较高的可靠性和准确性,能够为中医临床决策提供有力支持。

基于集成学习算法提升方法的贷款违约预测模型选择

机器学习的集成算法具有重要的应用价值,其实际数据分析效果较好。本文在对信贷违约数据进行数据清洗后,分别使用AdaBoost、XGBoost、LightGBM三种集成提升方法对贷款违约情况进行预测分析,构建了相应的违约预测模型。预测结果显示XGBoost与LightGBM的预测效果略优于AdaBoost方法,LightGBM的计算效率最高。

集成学习算法之随机森林与梯度提升决策树的分析比较

大数据时代,对海量数据的高效处理极为重要。集成学习算法中的随机森林和梯度提升决策树是近些年来常被用于处理数据分类与回归的方法,决策树则是随机森林和梯度提升决策树算法组成的基础。本文首先对决策树进行了介绍,然后分别对随机森林和梯度提升决策树进行了分析,叙述了两种算法的优缺点以及近几年来在生活生产中的应用,并对两种算法进行了比较。

梯度提升法在信贷风险评估中的应用研究

开发了一种先进的机器学习模型,以通过预测贷款违约的可能性估计信贷风险。该模型利用不同的数据集,通过梯度提升方法评估年收入、信用记录和年龄等众多申请人因素,能提供稳健、稳定的预测结果,并能适应不断变化的消费者行为,大大提高了金融机构在贷款过程中作出明智决策的能力,最大限度地降低了金融风险,从而优化了风险管理策略。

嵌入DCNN深度特征与半监督学习的梯度提升决策算法

判别式目标跟踪时在线分类在每一次的学习与更新过程中都可能会引入错误,最终错误的累积将导致跟踪失败。提出一种基于梯度提升决策树在线分类框架上的目标跟踪算法,采用DCNN深度特征有效地表征待跟踪目标的初始状态,通过在线分类过程中样本相似性比对与半监督学习,有效解决在线学习过程中存在的自学习问题。所提目标跟踪DS-BGBDT算法特别适合训练样本为持续获得的、存储空间较小的机器学习过程,提高目标运动突变、局部遮挡与跟踪区域形变等复杂情况下的跟踪成功率。

基于轻量级梯度提升机器学习算法的家庭物联网攻击预测模型

对家庭物联网网络攻击预测模型进行研究,描述了家庭物联网系统架构,分析了家庭物联网面临的网络安全问题;从网络安全角度权衡不同算法模型准确率,并考虑算法实现资源限制,提出了基于轻量级梯度提升机器学习算法的攻击预测模型,该模型主要由以下三个部分组成:数据处理、构建攻击场景以及模型构建与攻击预测。通过特征提取、数据分组、参数优化等方式完成了模型训练;通过对比测试,从预测结果准确率期望值维度,证明了该模型的可行性和优越性。

基于半监督高斯混合模型与梯度提升树的砂岩储层相控孔隙度预测

孔隙度是一种描述储层物性特征的重要参数。考虑砂岩与泥岩的孔隙度存在明显差异,提出了一种基于半监督高斯混合模型与梯度提升树的相控孔隙度预测方法,以实现砂岩储层孔隙度的精细描述。首先利用少量具岩相标签的测井数据确定高斯混合模型的初始聚类中心及对应的岩相类别;其次利用大量无标签测井数据优化高斯混合模型,实现砂岩与泥岩的准确划分;再次基于地质认识将泥岩孔隙度解释为固定的极小值,从而后续只开展砂岩孔隙度预测;然后将测井曲线拟合方法导出的孔隙度先验信息和测井敏感属性作为梯度提升树算法的多元输入信息,通过学习统计性岩石物理关系建立砂岩孔隙度的计算模型;最终根据岩相结果将砂岩段与泥岩段的孔隙度进行组合得到相控孔隙度。D油田的18口井数据测试结果表明:半监督高斯混合模型的岩相分类效果优于K均值、支持向量机、随机森林等机器学习算法,2口盲井的岩相分类准确率达到94.5%;所构建方法对2口盲井预测的相控孔隙度结果与真实孔隙度具有较高的一致性,平均相关系数达0.805。

应用梯度提升决策树算法预测套损

套管变形和损坏(简称为套损)的预测是油气田开发工程中的重要工作,是减少工程事故、降低操作成本、提升工作效率的基础。针对油气生产过程中的套损问题,提出了应用大数据思想构建相关算法模型解决油田现场实际问题的思路和方法。通过分析油田现场正常井、套损井的实际数据,分析引起套损的若干参数,确定并提取了影响套损的最重要的10个特征参数;应用基于相关性检验、方差分析、互信息等方法分析套管特征参数与套损的关联度,并确定数据关系模式;以此为基础应用梯度提升决策树算法构建套损风险评估算法模型,完成对样本数据的分类预测,获得各特征参数对套损的影响程度及概率分布;然后,预测了214口正常井中潜在成为套损井的前10口井及概率分布,量化了潜在套损风险。

基于布谷鸟优化轻量梯度提升机的泥石流预测

针对山区环境中引发泥石流的影响因素复杂多样,影响因子之间易存在相互耦合以及轻量梯度提升机(light gradient boosting machine,lightGBM)预测模型易陷入局部最优问题,提出了核线性判别分析法(kernel linear discriminant analysis,KLDA)与经布谷鸟算法(cuckoo search,CS)寻优后的LightGBM预测模型。首先,对传感器采集到的原始数据进行清洗,并将“清洗”后得到的规范数据通过KLDA进行降维处理,得到相关性低且贡献率高的影响因子作为预测因子。采用随机取样的方法对降维后数据进行规划,选取70%的数据用于训练模型,剩余30%用于验证模型。然后,将训练数据作为输入,基于CS-LightGBM算法训练出最优预测模型。最后,结合鹅项沟监测数据进行仿真。结果证明,此方法能够将复杂的泥石流影响因子降维成利于建模的预测因子,使预测模型具有较好的预测准确度,为泥石流灾害预测方面的研究提供了新的思路。

基于梯度提升的多标签分类器链方法

为了确定多标签分类器链方法的链序以及挖掘出高阶标签关联性,提出了一种基于梯度提升的多标签分类器链方法.给出了GBCC整体框架,通过一种预剪枝策略对单一标签进行梯度提升,在此过程中利用标签置信度和误差评价分数确定最佳链序,并在各个标签间进行标签传递和特征传递,以挖掘高阶标签关联性.将所提出方法与4种分类器链方法(CC、ECC、OCC、EOCC)以及4种多标签分类方法(BR、HOMER、MLKNN、CLR)在bibtex、Corel5k等12个多标签数据集上进行对比试验.结果表明:新方法在各个评价指标(micro-F1、macro-F1、Hamming loss、One-error)下不仅能够有效提升预测性能,而且能够保持分类器链方法的简单灵活性.

基于混合梯度提升决策树和逻辑回归模型的分组密码算法识别方案

针对密码算法识别工作中因密码算法数量增多、密文数据复杂化以及数据间干扰增加,导致单层识别方案的识别准确率和稳定性变差等问题,提出一种基于混合梯度提升决策树和逻辑回归模型,并基于该模型构造分组密码算法识别方案。在该方案中,首先,采用NIST随机性测试标准中的15种测试方法作为密文特征提取方法对密文文件进行特征提取,并选定有意义的10种特征值作为分类器的输入;然后,使用这10组特征训练梯度提升决策树模型,并利用其学习而生成的树来构造新特征;最后,将这些新特征做one-hot编码,并将其加入到原有特征中训练逻辑回归模型进行预测。在唯密文情况下,基于9种不同的分类器模型分别构造9种不同的密码算法识别方案,并利用这9种方案对2种典型的分组密码算法AES和3DES加密的不同大小的密文文件进行密码算法二分类实验,对5种常用的分组密码算法AES、3DES、Blowfish、CAST和RC2加密的不同大小的密文文件进行密码算法五分类实验。实验结果表明,相较于其他识别方案,当密文长度相同时,本文所提方案在二分类和五分类识别问题中几乎均有最高的识别准确率。同时,随着密文长度的变化,识别准确率呈波动性变化,本文所提方案波动幅度最小,受影响程度最小,稳定性最高。

采用极限梯度提升算法的电力系统电压稳定裕度预测

将极限梯度提升树(XGBoost)算法应用于电力系统电压稳定评估问题.根据电压稳定问题特点,提出能够反映电力系统运行状态的特征集;把电压稳定裕度绝对值作为映射目标,并介绍生成样本集的方法.在介绍XGBoost算法基本原理的基础上,研究该算法的技术细节.在IEEE-39节点系统上进行验证,结果表明,XGBoost算法在R方值和平均绝对百分误差2项回归指标上均优于其他几类机器学习算法,且模型的计算速度最快,可以满足在线应用要求.同时,XGBoost算法具有良好的数值错误和数值缺失容错性,并可以针对预测偏差较大的样本进行数据补充,实现模型的更新,使得模型表现趋于稳定.

一种基于梯度提升树算法的DGA域名检测方法

勒索病毒、僵尸网络等恶意软件在互联网日益泛滥,已成为威胁网络安全运行的重要因素。域名作为恶意软件与命令和控制(Command and Control,C&C)服务器的主要通信方式,是检测和防范的重要途径。但域名生成算法(Domain Generation Algorithm,DGA)的不断改进发展,给传统的基于威胁情报的检测方式带来了巨大挑战,而机器学习技术逐渐成为应对DGA域名的主要途径。梯度提升树算法作为机器学习中重要的分类算法,能够适应DGA域名检测场景。基于XGBoost框架,采用开放域名数据作为样本集,研究了基于梯度提升树算法的DGA域名检测方法,并通过域名向量转换、检测模型训练、参数调优,实现了一个高效的DGA域名检测模型。

基于梯度提升决策树的植被高度模型研究

【目的】研究以航空摄影测量的方式建立植被高度模型。【方法】利用数字正射影像(DOM)与数字表面模型(DSM)提取光谱特征因子和几何特征因子,采用相关性指数对植被高度与特征因子进行相关性分析,筛选出特征因子。采用梯度提升决策树算法建立植被高度模型,并通过优化参数提高模型精度。【结果】在默认参数下,模型精度约为2.000 m;优化参数后,模型精度达到了0.900 m;剔除部分特征因子后,模型精度可达0.840 m;通过与支持向量机算法进行对比,植被高度模型整体精度由0.893 m提高至0.758 m,运行时间由70 min缩减至10 min。【结论】若不考虑建模原始数据的误差,采用梯度提升决策树算法建立的植被高度模型的精度为亚米级,多次试验中模型精度较为稳定。