众数回归提升树模型构建及应用

众数回归模型估计的是在给定解释变量条件下响应变量的条件众数,而不是一般意义上的条件均值,因此可以揭示一般回归方法遗漏的重要结构。文章基于众数回归模型和提升回归树模型,提出了一个新的非参数众数回归模型:众数回归提升树(MRBT)模型。该模型一方面可以解决含有多元解释变量的非参数众数回归问题,另一方面采用Boosting技术解决了众数回归树模型预测性能差的问题。数值模拟和应用研究的结果表明:在任何分布中,MRBT模型显著优于线性众数回归和众数回归树模型;在数据呈对称分布时,MRBT模型与中位数回归提升树和均值回归提升树模型的表现相同;但在数据呈非对称分布或具有异常值时,MRBT模型显著优于中位数回归提升树和均值回归提升树模型。

基于梯度提升回归树的气井油管积液高度预测

气井油管积液高度预测是气藏开发的重要环节,更是排水采气不可或缺的一部分。气井开采后期,气井底部会出现积液聚集现象,积液过多会造成气井停产,为了避免停产问题,必须对气井油管积液高度进行预测,但传统石油工程模型预测气井油管积液高度,存在着具体计算需要大量经验参数等问题。提出一个基于梯度提升回归树模型预测气井油管积液高度的方法,以气井的套压、油压、油管下深、油层中深、日产气、日产水、井口温度7种生产数据为特征,采用集成学习方法,结合多个决策树的预测结果,以迭代逐步改进的方式来提高模型的整体性能,从而精确预测气井油管积液高度。通过与32口井仪器探测实测值、回归决策树和随机森林对比分析,梯度提升回归树模型预测值与实测值相符,预测效果也最好,平均相对误差仅3.87%,调整后的相关系数R2为0.85。梯度提升回归树模型与现有的油管内积液量和环空积液量预测模型相比较,平均相对误差降低了1.9%。

基于增强回归树的西非北部沿海底拖网主要商业头足类CPUE与主要环境因子的关系

【目的】研究西非北部沿海不同环境因子对章鱼、墨鱼和鱿鱼等主要商业头足类单位捕捞努力量(CPUE)影响的规律,为合理规划商业性捕捞生产和科学渔业管理等提供参考。【方法】基于2019-2021年西非北部沿海底拖网渔业数据,使用增强回归树模型(BRT)分析主要商业头足类对于海表面温度(SST)、叶绿素质量浓度、海表面盐度、海表面高度异常,溶解氧浓度、降水量、经度、纬度、海底深度、离岸距离和时间等环境因子的响应规律。【结果与结论】BRT模型在渔业研究中尤其在数据处理方面较传统模型优势明显。本研究以相对重要性值划分11个环境因子对于商业头足类(章鱼、墨鱼和鱿鱼)CPUE影响的强弱:强重要性(10%以上)、一般重要性(5%~10%)和弱重要性(5%以下)。BRT拟合结果表明,SST、纬度、降水量和离岸距离对章鱼CPUE影响有强重要性,纬度、SST、叶绿素质量浓度对墨鱼CPUE影响有强重要性,而降水量、溶解氧浓度、SST对于鱿鱼CPUE影响有强重要性。纬度对章鱼和墨鱼的CPUE影响有强重要性,较高的CPUE分别出现在24°N以南(章鱼)和23°N―27°N之间(墨鱼);离岸距离对章鱼和鱿鱼CPUE影响均在一般重要性以上,离岸30~70 km范围内CPUE较高;3种头足类中,鱿鱼CPUE受时间影响最大,较高CPUE出现在1月和7月。环境因子中,SST对3种头足类影响均有强重要性,相对重要性均在20%以上,其中对于章鱼和墨鱼影响效应相反,章鱼趋暖而墨鱼趋寒;溶解氧浓度与鱿鱼CPUE呈正相关;叶绿素质量浓度对墨鱼CPUE影响有强重要性,叶绿素质量浓度较低时CPUE较平稳,但当质量浓度超过4 mg·m^(-3)时CPUE却逐渐下降。降水量对于3种头足类CPUE影响均在一般重要性以上,随降水量增加,鱿鱼CPUE有所上升,而章鱼和墨鱼CPUE先升高后降低。

一种基于分段线性回归树的轨迹索引

处理多维数据查询时,为了减少存储消耗,采用学习型索引替代传统索引受到关注.轨迹点会在时间或者空间维度上的某些区间聚集,数据分布倾斜,从而扭曲学习模型预测精度,导致较高的磁盘访问次数.提出一种基于分段线性回归树的轨迹索引,以降低存储代价并减少磁盘访问次数,包括数据排序和模型训练两个阶段.在第一个阶段,沿着时间维度划分轨迹点以形成一系列时空子区域,在每个时空子区域根据映射函数对轨迹点进行空间维度的存储,从而确定轨迹点的全局序号.在第二个阶段,使用初始数据构建分段线性回归树作为预测模型,并基于该模型预测位置来存储未来数据.模拟和真实的数据集上的实验表明,该方法在保证查询性能优于学习型索引的前提下,存储消耗和构建时间大幅度降低.

基于CART回归树模型的变电站施工安全事故分析与预测

在当前的变电站施工过程中,主要通过数据包络分析过程预测安全事故,忽略了表征信息中的不确定性,导致预测结果的选取受试者工作特征曲线下面积(AUC)值较低.针对这一问题,本研究应用分类回归树(CART)模型,设计了一种新的变电站施工安全事故分析与预测方法.首先,利用固定型、移动型采集技术相结合的方式,采集变电站施工现场数据,并通过主成分分析算法进行筛选处理.然后,深入分析变电站施工安全事故发生过程,通过基于概率分布的可分性判据,提取施工安全事故前兆特征.最后,利用CART模型构建施工安全事故根节点,再使用支持向量机(SVM)回归算法建立叶节点,形成可用于施工安全事故预测的最优决策树.通过迭代训练多个串联的CART模型实现梯度提升,应用该模型即可得到准确的事故预测结果.实验结果表明:该预测方法灵敏度更高,能够预测出更多的安全事故,并且该预测方法的AUC值高达0.91,具有更高的预测精度.

基于梯度提升回归树算法的煤炭发热量计算

煤炭发热量是衡量煤质的关键指标,反映了煤炭充分燃烧时释放的能量。煤炭发热量可通过实验测定和计算途径获取,其中实验方法虽精确却复杂昂贵耗时。在实际应用中,通过多元线性回归估算得出发热量数据,但是这种方法计算的结果准确率较低。鉴于此,提出了一种基于梯度提升回归树(GBRT)的煤炭发热量计算方法,该方法是一种机器学习回归分析方法,能够有效克服多元线性回归模型在处理非线性数据时的局限性。在国际公认的COALQUAL煤质数据库上对提出的模型进行了验证和对比,结果显示:GBRT模型的预测误差(MAE、MSE、RMSE)均小于多元线性回归模型;拟合优度(R2=0.989)大于多元线性回归模型(R2=0.970)。说明GBRT是一种高效、准确的煤炭发热量预测模型,对于煤质评价具有一定的实际意义。

防城季节性雨林优势种罗浮柿测树因子曲线回归与通径分析

为探究防城季节性雨林优势种罗浮柿(Diospyros morrisiana)的形态特征及其相关生长规律,本研究基于防城那山子季节性雨林1 hm2群落样地实测数据,对其测树因子进行曲线回归和通径分析。结果表明:罗浮柿株高(H)、胸径(D)和冠幅(W)之间存在极显著的相关关系;胸径-株高、胸径-冠幅、株高-冠幅的最优回归方程均为幂曲线模型,表达式分别为H=3.0248×D^(0.4501)(R^(2)=0.634)、W=0.6600×D^(0.5462)(R^(2)=0.613)和W=0.3147×H^(0.9108)(R^(2)=0.545);胸径和株高对冠幅具有极显著正向作用,胸径对株高的影响大于其对冠幅的影响,其对冠幅的影响大于株高对冠幅的影响。因此,罗浮柿的株高和冠幅可通过测定其胸径来估算。

基于树回归的石灰竖窑煅烧质量预测模型

为了提高石灰竖窑生产过程的自动化控制精确性,建龙西林钢铁厂提出采用树回归动态预测成品CaO含量;针对控制参量多,耦合关系复杂的问题,采用相关性分析的方法优化参量,由此提高随机森林回归算法预测的可靠性;通过9个特征参量样本数据测试表明,树回归模型可以很好地适应石灰煅烧多因素、非线性的工业场景,预测结果精度满足工业控制要求。

基于梯度提升回归树的有机污染物生物-沉积物积累因子预测模型

生物-沉积物积累因子(BSAF)是评价底栖无脊椎生物对有机污染物生物积累能力的重要参数,是由化合物、底栖环境与无脊椎生物之间的三相作用决定的。现有模型通常采用线性算法研究化合物BSAF与化合物理化性质的关系,忽略了由于环境-生物-化合物相互作用引发的非线性影响,导致线性模型拟合和预测能力有限。本研究基于理化性质(PCP)和分子指纹(ECFP)描述化合物特征,结合环境样点和生物特征,采用梯度提升回归树(GBRT)的非线性算法,分别构建了底栖生物体内积累因子的GBRT-PCP和GBRT-ECFP预测模型,并与利用岭回归算法构建的线性模型进行比较。结果表明,GBRT模型训练集决定系数(R 2)均为0.97,验证集R 2为0.82~0.83,表明GBRT模型的拟合优度和预测能力显著优于岭回归模型(训练集和验证集R 2分别为0.38~0.56和0.38~0.52)。沉积物有机碳含量对生物-沉积物积累因子的影响呈波动下降趋势,脂质含量呈先波动上升而后下降趋势。GBRT-PCP模型结果表明,化合物疏水性(log K_(OW))对生物积累影响呈先平稳后上升而后下降趋势,吸附性(log K_(OC))对生物积累呈波动下降趋势。总体上,具有中等log K_(OW)(6.8~8.2)和中等log K_(OC)(4.4~5.2)的化合物易于积累在生物组织。GBRT-ECFP模型阐明了稠环、芳香环、醚键、C—Br键、联苯键等结构是影响生物积累的关键子结构,该模型基于分子指纹结构可实现对化学品生物积累的高通量预测。本研究建立的模型为化学品生态风险评价和管理决策制定提供理论依据和方法参考。

基于分类回归树和AdaBoost的眼底图像视网膜血管分割

提出一种能有效分割眼底图像中视网膜血管的监督学习方法,为眼底图中的每个像素点构造一个包括局部特征、形态学特征和Gabor特征在内的39维特征向量,用以判定其是否为血管上的像素.在进行分类计算时,以分类回归树作为弱分类器对样本集分类,然后对AdaBoost分类器进行训练得到强分类器,并由此完成各个像素点的分类判定.基于国际公共数据库DRIVE的实验结果表明,该方法的平均精确度达到0.960 7,且敏感度和特异性均优于已有的基于监督学习的方法,适用于眼底图像的计算机辅助定量分析和疾病诊断.

基于极限树回归的浮选泡沫层厚度预测

泡沫浮选是一种重要的选矿方法,不同表面物理化学性质的矿物颗粒在药剂的作用下借助浮选机实现分离。浮选机的控制变量包括充气量、泡沫层厚度和药剂添加量等。泡沫层厚度是影响浮选指标的一个重要控制参数,同样,泡沫层厚度的准确测量也至关重要。传统的泡沫层厚度测量方式一般是采用传感器等装置来实现的,由于这些传感器往往需要与矿浆直接接触,所以有时会因机械故障或信号干扰而造成测量值的误差。针对传统测量手段存在的问题,提出了一种浮选泡沫层厚度的软测量方法。运用极限树回归ETR方法,以浮选过程中原矿品位、入料流量、入料浓度、入料粒度、充气量、泡沫稳定度和泡沫移动速度为输入变量,建立预测模型,实现了浮选泡沫层厚度的有效预测。

基于非线性Boosting回归的多视角人脸配准

人脸配准可以作为表情分析、人脸识别等人脸相关研究的预处理步骤,是人脸相关的计算机视觉研究的关键问题.本文针对图像中水平视角在正负45o内的人脸配准问题,利用基于Haar特征的非线性Boosting回归算法,根据标定点邻域内的局部纹理预测标定点的位移,提出了一种新的基于经典活动形状模型(Activeshape model,ASM)的实时多视角人脸配准算法.在两个数据集合上的测试实验表明,该算法在速度、准确度和稳定性上都比经典的ASM算法有显著提高且优于近期的改进算法,具有明显的实用价值.

基于回归树和AdaBoost方法的刀具磨损评估

本文利用高速数控铣刀铣削中不同侧面方向的切削力和振动信号以及声发射信号均方根值,以数据驱动的形式对刀具磨损进行了拟合评估.在本次研究中,分别从时域、频域和时频联合域上探索与刀具磨损相关的敏感特征,具体特征提取方法包括时域统计分析、频域上的快速傅里叶变换(FFT)和时频联合分析的小波变换(WT).本文中,决策树被用于回归问题而非分类问题,用于评估刀具磨损值.同时,引入AdaBoost算法对回归树模型进行提升,并从模型的准确性、稳定性和适用性三个方面上综合对比了提升的决策树回归模型和原模型的性能.研究表明,AdaBoost算法提升的回归决策树模型在预测的准确性和稳定性上都有一定程度上提高,并且在面向全新刀具磨损预测的适用性上也取得了不错的提升效果.

家庭财富积累是否存在邻里效应?——基于分位数回归梯度提升树模型的分析

以2018年中国家庭追踪调查数据(CFPS)为研究对象,采用分位数回归梯度提升树模型研究邻里效应对家庭财富积累的非线性影响。研究结果表明:(1)邻里效应能够更好地估计家庭财富积累;(2)邻里效应对家庭财富积累的影响最强;(3)邻里效应对家庭财富积累的影响呈现非线性特征。不仅利用分位数回归梯度提升树方法从邻里效应这一全新视角对中国家庭财富积累情况进行研究,也为制订化解财富不平等的政策提供了有益启发。

一种基于贝叶斯优化和XGBoost的膏体流变参数预测模型

探究膏体充填料浆流变特性,对矿山合理布置充填管路,高效进行充填作业有重要意义。目的:将繁琐且影响因素众多的膏体流变参数测量试验与先进的机器学习回归预测模型相结合,实现膏体流变参数的准确预测。方法:利用不同物料配合比条件下共128组膏体流变特性试验数据作为模型数据集,选择极度梯度提升回归树(XGBoost)模型,结合贝叶斯算法(BO)对模型进行超参数寻优设置,建立了多目标参数回归预测模型。结果:研究结果表明:经贝叶斯算法优化后的BO-XGBoost模型较XGBoost模型性能显著提升,决定系数R^(2)提高6%。所构建BO-XGBoost模型真实值与预测值在屈服应力数据集上相对误差维持在0.02水平;黏度数据集维持在0.1水平。结论:BO-XGBoost模型可实现膏体流变参数的高效准确预测,创新性地使用了多目标回归模型,为矿山充填作业设计提供参考,具有一定实际工程应用意义。

我国商业银行系统性风险度量研究——基于分位数回归梯度提升树模型的分析

金融风险在不同金融机构间传递时可能存在显著的非线性关系,采用线性分位数回归模型测度系统性金融风险不能正确捕捉这种非线性风险传染关系。因此,以2009—2021年14家中国商业银行为研究对象,采用前沿的分位数回归梯度提升树模型这一非线性回归方法测度商业银行的系统性风险,并与传统的线性分位数回归模型进行比较。结果表明:基于分位数回归梯度提升树模型测度的系统性风险结果优于线性分位数回归模型,说明我国商业银行的系统性风险在银行机构间的风险溢出具有复杂的非线性关系。

基于增强回归树的麦-玉轮作农田蒸散影响因素分析

为探讨华北典型轮作农田蒸散(ET)变化规律,以山东禹城试验站冬小麦-夏玉米(麦-玉)轮作田为研究对象,基于涡度相关技术实测的8年观测数据与增强回归树方法,分析了农田ET逐日变化特征及其对环境因子的响应。结果表明:研究时段内逐日ET变化范围在0~9.6 mm/d之间,且不同阶段(小麦季、玉米季和农闲期)ET总量存在较大差异。一般而言,每年小麦季ET的峰值和总量均明显高于玉米季,而农闲期ET占全年ET总量的比例不足4%。净辐射是影响麦-玉轮作田不同阶段ET变化的首要因素,对各阶段ET的贡献率由高到低依次为小麦季(81.4%)、玉米季(52.7%)、农闲期(36.8%)。除净辐射外,其他环境因子对ET的影响则具有阶段性差异。饱和水汽压差对小麦季和玉米季ET存在一定的影响,而土壤含水率和风速对农闲期ET的贡献率相对较高。研究可为变化环境下农业水资源高效利用以及作物模型优化等提供科学依据。

基于Cart决策树与boosting方法的股票预测

针对股票预测模型的准确度不够高,存在过拟合及欠拟合等问题,在现有股票预测方法分析的基础上,给出了一种基于Cart决策树与boosting方法的股票预测方法。该方法针对现有预测模型在数据纵向性方面考虑较少,额外增添近10日均价及转手率两个纵向变化指标以提高股票走势预测的准确性;并且以Cart决策树方法为基础,采用boosting级联多棵决策树的方法建立股票模型来解决拟合度问题。预测实验结果表明,该方法对仪器仪表领域的股票预测效果较好,均方误差有所下降。

Boosting算法在回归问题计算的应用

将机器学习中的一种新方法——Boosting算法应用于两类不同回归问题的计算,结果表明:该方法有效、实用,在完成参数估计的同时,可以自动获取决定模型参数的主因素,并且特别适用于解决高维稀疏性问题.

基于分类回归树方法的遥感信息快速提取研究

遥感信息具有一定的连续变化性,这将会在一定程度上使得遥感信息快速提取存在偏差,其提取的时间也随之增加,容错率下降,为此文中提出基于分类回归树的遥感信息快速提取方法。通过噪声调整的主成分分析法(NAPCA)提取遥感信息的特征,利用复小波变换法对图像进行去噪处理,同时结合邻域值函数完成小波系数收缩。通过分类回归树方法进行样本训练,连续不间断获取遥感信息,结合Bayes判别准则完成遥感信息快速提取。实验结果表明,所提方法能够有效提升容错率,降低遥感信息快速提取偏差和时间。