随机梯度boosting算法在代谢组学研究中的应用

目的探讨随机梯度boosting算法(SGB)对代谢组学数据分类判别和代谢物筛选的效果。方法每一次迭代均根据损失函数最小化原则得出"伪残差",并用最小二乘法对其构建基础分类器(决策树),最终组合各分类器形成随机梯度boosting模型。通过模拟实验和真实代谢组学数据的分析,与Adaboost、RF、SVM三种算法进行比较。结果无论是在模拟条件下还是真实数据中,随机梯度boosting算法的分类准确性都优于其他三种算法。算法可评价各代谢物重要性,有效地筛选出部分代谢物。结论随机梯度boosting算法适用于代谢组学数据研究,对疾病早期诊断、治疗和预后具有重要价值,值得进一步研究和探索。

基于改进随机梯度Boosting算法的软测量建模

在建立复杂化工过程软测量模型时,使用传统的随机梯度Boosting算法(SGB)建模若收缩参数v选取不当会明显降低算法收敛速度,且极易陷入过拟合,难以取得令人满意的泛化效果。为解决这一问题,提出了一种基于SGB集成学习的软测量建模方法,采用高斯过程回归作为基学习器,并针对SGB算法固有的不足,依据每一次迭代中弱学习机的反馈,自适应调整收缩参数v,改善了SGB算法的过度拟合,从而提高了集成模型的估计精度与学习效率。将该方法应用于某双酚A装置的软测量建模中,仿真结果表明,相比于传统SGB建模,该方法具有更高的泛化性能和学习效率。

基于随机森林和XGBoost算法构建心脏骤停患者自主循环恢复后神经功能预后不良的风险预测模型

目的 利用机器学习算法构建预测心脏骤停(CA)患者自主循环恢复(ROSC)后神经功能预后不良的预测模型,探索结局相关因子。方法 回顾性收集2016年1月至2024年1月沧州市中心医院收治的CA行心肺复苏(CPR)后ROSC的患者481例为研究对象。收集患者临床资料,根据患者转出重症监护病房(ICU)时的格拉斯哥-匹兹堡脑功能表现分级(CPC)评分,将其分为预后良好组(GNO,n=158)和预后不良组(PNO,n=323)。481例患者按7∶3随机分为训练集(n=338)和测试集(n=143),训练集用于构建模型,测试集用评价模型效能。利用极端梯度提升(XGBoost)和随机森林(RF)两种机器学习算法构建患者神经功能预后不良的预测模型,分别得出影响患者神经功能预后的变量,应用SHAP进行XGBoost模型可解释性分析。将XGBoost和RF算法得出的变量取交集,再将交集变量进行多因素Logistic回归分析,得到差异有统计学意义的变量,进而构建决策树模型。在训练集和测试集上利用受试者工作特征(ROC)曲线和曲线下面积(AUC)评估决策树模型的预测性能。结果 通过XGBoost模型得到与神经功能预后不良相关的变量15个,RF模型得到与神经功能预后不良相关的变量14个,两种模型取交集得到11个与神经功能预后不良相关的交集变量[视神经鞘直径(ONSD)变化率、神经元特异性烯醇化酶(NSE)、入ICU第3天ONSD(ONSD day3)、心脏骤停至心肺复苏(CA-CPR)时间、ROSC时间、急性生理学与慢性健康状况评价Ⅱ(APACHEⅡ)评分、血肌酐、白蛋白、住ICU时间、血乳酸及年龄]。将这11个交集变量进行多因素Logistic回归分析,结果显示,PNO组与GNO组ONSD变化率、NSE、ONSD day3、ROSC时间及年龄这5个变量差异有统计学意义(P<0.05)。用这5个重要变量构建决策树模型,得出3个与患者神经功能预后不良最相关的变量(NSE、ROSC时间及ONSD变化率),在训练集上的决策树模型预测CA行CPR后ROSC患者神经功能预后不良的AUC为0.857(95%CI 0.809~0.903,P<0.001),在测试集上的AUC为0.834 (95%CI 0.761~0.906,P<0.001)。结论 基于XGBoost和RF这2种机器学习方法构建的决策树模型能够更准确地评估CA患者ROSC后神经功能的不良预后,且评价指标可能简化为NSE、ROSC时间及ONSD变化率。

基于集成重要性采样的随机梯度下降算法

许多机器学习和深度学习问题都可以使用随机梯度优化算法求解,目前流行的算法大多通过均匀采样从样本集中抽取样本计算梯度估计。然而,随机采样的梯度估计会带来较大的方差,这个方差会随着优化的进行而累积,降低算法收敛速度。为缓解这一现象,可以为每个样本赋予不同的采样概率。该文基于集成学习的思想,提出了一种新的选取非均匀采样分布的算法。算法的主要目的是选取一个采样器权重,使梯度估计的方差尽可能小。所提算法由多个简单采样器组成,采样权重为每个简单采样器分配贡献权重,从而得到最终的采样分布。集成重要性采样算法可以和以往的随机梯度优化方法任意结合,该文给出了使用集成重要性采样的随机梯度下降算法。在试验中,可以直观地看到算法起效的原因。在真实数据集中,展示了所提算法减小方差的效果,与其他算法相比具有一定优势。

基于优化负样本采样策略的梯度提升决策树与随机森林的汶川同震滑坡易发性评价

强震诱发的滑坡具有数量多、分布广、规模大等特点,严重威胁人民生命财产安全。滑坡易发性评价能够快速预测灾害空间分布,对于减轻震后灾害的危险性具有重要意义。在同震滑坡易发性评价研究中,如何选取滑坡负样本并通过耦合机器学习模型提高评价精度的对比研究仍需进一步研究。以山区汶川地震诱发的滑坡为研究区,首先选取地形地貌、地质环境、地震参数等10个滑坡评价因子,分析滑坡空间分布规律;其次因子共线性分析检验数据冗余,接下来采用频率比法(FR)选取极低、低易发区滑坡负样本点的采样策略;最后采用基于决策树演化改进的梯度提升决策树(GBDT)、随机森林(RF)和耦合模型(FR-GBD与FR-RF),开展了基于机器学习的同震滑坡易发性区划并进行精度评价。研究结果表明:①滑坡空间分布受到多层级因子控制;②模型预测精度为:FR-RF(AUC=0.943)>FR-GBDT(AUC=0.926)>RF(AUC=0.901)>GBDT(AUC=0.856);③在低易发区选择滑坡负样本可以明显提高易发性精度。研究成果可为滑坡易发性中负样本的选择和评价模型构建提供参考同时也为震后滑坡的防灾减灾提供理论支持。

关于相关数据流的随机梯度哈密尔顿蒙特卡罗算法的非渐近估计

近年来,基于朗之万蒙特卡罗方法的随机梯度下降算法得到了广泛应用。这些算法通过在梯度的估计中注入适当的高斯噪声以实现在非凸优化问题中的全局收敛。随机梯度哈密尔顿蒙特卡罗(SGHMC)是随机梯度下降带有动量的一种变体,通常的研究以样本数据相互独立的假设为前提来分析SGHMC算法的收敛性,然而实际中的样本数据往往存在相关性。本文在数据流具有相关性(满足一定的条件混合特性)的条件下,给出了SGHMC算法的非渐进估计,建立了全局Lipschtiz条件下SGHMC算法的收敛性定理,得到了迭代分布与目标分布之间Wasserstein距离的上界。

一类自适应梯度裁剪的差分隐私随机梯度下降算法

梯度裁剪是一种防止梯度爆炸的有效方法,但梯度裁剪参数的选取通常对训练模型的性能有较大的影响。为此,本文针对标准的差分隐私随机梯度下降算法进行改进。首先,提出一种自适应的梯度裁剪方法,即在传统裁剪方法基础上利用分位数和指数平均策略对梯度裁剪参数进行自适应动态调整,进而提出一类自适应梯度裁剪的差分隐私随机梯度下降算法。其次,在非凸目标函数的情况下对提出的自适应算法给出收敛性分析和隐私性分析。最后,在MNIST、Fasion-MNIST和IMDB数据集上进行数值仿真。其结果表明,与传统梯度裁剪算法相比,本文提出的自适应梯度裁剪算法显著提高了模型精度。

随机梯度下降优化的量子多分类支持向量机

为改善大规模数据在经典机器学习多分类任务中的计算负担,本文提出了一种基于随机梯度下降优化的量子多分类支持向量机(SGD-MQSVM)算法。通过采用量子随机梯度下降法获得训练参数,并采用全对多分类支持向量机的量子方法进行多分类。算法的时间复杂性可将单次迭代的时间复杂度从经典多项式级降低到对数级。

基于Polyak步长的随机递归梯度算法

针对机器学习中一类有限光滑凸函数和的最小化问题,将随机递归梯度算法和Polyak步长结合,提出基于Polyak步长的随机递归梯度算法(SARAH-Polyak).分别在强凸和一般凸条件下证明了算法的线性收敛性.实验结果表明SARAH-Polyak算法的有效性.

基于优化快速搜索随机树算法的全局路径规划

为了改善传统快速搜索随机树(RRT)算法在全局路径规划中存在的平滑度差、具有潜在碰撞性等问题,提出了一种双重优化的RRT算法。在传统RRT算法基础上,引入自适应目标偏向策略以缩短采样时间,引入角度约束采样策略以适应车辆极限转角。得到初始路径后,建立二项优化函数(即降低路径曲率和远离障碍物),并将其作为基点进行梯度下降二次优化,生成可供车辆行驶、平滑性良好且碰撞概率低的路径,并进行仿真验证。结果表明:优化RRT算法相比于传统RRT算法、RRT-Connect算法和RRT算法,平均曲率分别降低了38.1%、36.4%和24.7%,曲率均方差分别降低了38.4%、38.4%和27.2%。

基于热重启随机梯度下降和一类支持向量机信息融合的户变关系辨识方法

为了提高低压台区户变关系校验的效率,提出一种基于用电量和电压信息融合的台区户变关系辨识方法。首先,基于用电量建立台区和用户的关系模型,利用热重启随机梯度下降法(SGDR)求解,并使用滑动时间窗进行多次判断,综合得出户变关系初步辨识结果;然后,使用初步辨识得到的正常户变关系用户的电压数据构成训练样本,构建一类支持向量机(OC-SVM)学习台区正常用户的电压特征,完成台区用户的户变关系最终辨识;最后,对实际台区数据进行分析。结果表明:该方法实现了低压台区户变关系的有效识别,验证了该方法的实用性和可靠性。

反馈非线性系统随机梯度辨识算法及其收敛性

反馈非线性受控自回归系统是由前向通道的受控自回归模型和反馈通道的静态非线性构成,这类系统经过参数化后得到双线性参数辨识模型.本文通过对辨识模型中双线性参数乘积项进行分解,基于梯度搜索原理,提出了反馈非线性系统的随机梯度辨识算法.为了改善随机梯度算法的收敛速度,引入遗忘因子,文章给出了遗忘因子随机梯度算法,利用随机过程理论,建立了随机梯度算法的参数估计收敛定理,证明了算法的收敛性.最后,通过数值仿真验证了算法的有效性.

基于随机断层与梯度剪裁的横向联邦学习后门防御研究

联邦学习解决了用户隐私与数据共享相悖之大数据困局,体现了“数据可用不可见”的理念。然而,联邦模型在训练过程中存在后门攻击的风险。攻击者通过本地训练一个包含后门任务的攻击模型,并将模型参数放大一定比例,从而实现将后门植入联邦模型中。针对横向联邦学习模型所面临的后门威胁,从博弈的视角,提出一种基于随机断层与梯度剪裁相结合的后门防御策略和技术方案:中心服务器在收到参与方提交的梯度信息后,随机确定每个参与方的神经网络层,然后将各参与方的梯度贡献分层聚合,并使用梯度阈值对梯度参数进行裁剪。梯度剪裁和随机断层可削弱个别参与方异常数据的影响力,使联邦模型在学习后门特征时陷入平缓期,长时间无法学习到后门特征,同时不影响正常任务的学习。如果中心服务器在平缓期内结束联邦学习,即可实现对后门攻击的防御。实验结果表明,该方法可以有效地防御联邦学习中潜在的后门威胁,同时保证了模型的准确性。因此,该方法可以应用于横向联邦学习场景中,为联邦学习的安全保驾护航。

基于非单调线搜索的随机梯度下降算法

提出了一种用于解决大规模问题的基于非单调线搜索技术的随机优化算法,并给出了该算法在强凸条件下的收敛性分析.对两种学习模型分别在不同规模的数据集下进行了实验,数值结果表明该算法能很好地降低损失函数值,且比固定步长下的随机梯度下降算法以及几种自适应算法的收敛速度快.

基于梯度boosting的癫痫脑电检测方法(英文)

自动癫痫脑电检测对癫痫的诊断具有重要意义,可以减轻监测长期脑电的工作强度。本文提出和探讨一种基于梯度boosting的长程脑电癫痫检测的新机器学习算法。该算法提取长程脑电的相对波动指数作为特征,采用梯度boosting算法训练分类器来识别发作和正常脑电。最后采用平滑和"collar"技术作为后处理进一步提高检测准确率。利用弗莱堡21位病人的脑电数据对该癫痫检测算法进行评估,实验表明,该算法的平均灵敏度为94.6%,误检率为0.18/h。

复杂边界条件下功能梯度圆环板平稳随机振动响应特性分析

提出一种可用于分析复杂边界条件下功能梯度圆环板平稳随机振动响应特性的谱几何法‑虚拟激励法(spectro geometric method‑pseudo excitation method,SGM‑PEM)。采用沿圆环板边界均匀分布的边界约束弹簧来模拟复杂边界条件,通过虚拟激励法将平稳随机载荷转化为虚拟简谐载荷。在一阶剪切变形理论框架下,采用以简洁三角函数为内核的谱几何法来描述圆环板结构的位移容许函数。基于Rayleigh‑Ritz法推导了平稳随机激励作用下功能梯度圆环板的动力学分析模型。通过与有限元法结果对比分析,验证了文中构建的分析模型的有效性和准确性。分析了梯度指数、厚度参数、边界条件等因素对功能梯度圆环板平稳随机振动响应特性的影响规律。

随机样本选择的合成孔径雷达距离空变相位梯度自聚焦算法

针对距离依赖的相位梯度自聚焦(phase gradient autofocus,PGA)算法中样本选择的问题,本文提出了一种新的基于随机样本选择的距离依赖PGA(range-dependent PGA,RDPGA)算法。不同于传统算法利用固定门限对特显点样本进行硬剔除的选择方式,该算法利用样本的信杂比(signal to clutter ratio,SCR)构造了样本选择概率密度函数,在每次PGA迭代估计过程中,利用该概率密度函数对样本进行随机选择。随机样本选择方法不仅通过增加距离依赖样本的丰富性保证了RDPGA的估计精度,同时还保证了高质量样本在模型参数估计中提供较高贡献,在保持高效性的同时进一步提升了算法的稳健性。实测数据处理结果表明所提算法具有较高的估计精度和稳健性。

R-线性收敛的重要样本抽样随机梯度下降算法

针对机器学习中一类有限光滑凸函数和的最小化问题,提出一种新的随机方差约简梯度下降算法。新算法的特点是将随机方差约简梯度算法和一种谱梯度BB步长方法有机结合,从而可以充分发挥两种方法的优势。另外,初始步长可以任意选取,且步长在算法运行中可以自适应地计算更新。此外,新算法使用了重要样本抽样方法,可以大大减少计算工作量。最后,在通常的假设条件下证明了新算法具有R-线性收敛速度,并给出了复杂度分析。数值实验验证了新算法是可行有效的。

一种求解凸-PL极小极大优化问题的随机交替梯度投影算法

针对机器学习中常见的一类非凸极小极大优化问题,本文提出了一种新的随机交替梯度投影算法,该算法基于交替梯度投影算法,在随机环境中用随机梯度进行更新,和随机交替梯度下降–上升算法相比,运算效率大大提高。在高斯分布数据集上的数值实验结果表明新算法是可行有效的。

基于随机森林和梯度提升决策树的高血压分析预测

为进行高血压的危险因素分析与预测,提出一种基于随机森林和梯度提升决策树的模型。首先基于体检报告数据进行缺失值处理、one-hot编码、归一化、数据初步聚类等预处理;然后针对数据样本不均衡的特性,利用SOMTE算法进行重采样,基于随机森林得到特征重要性评分并进行特征选择;最后基于排名前20的特征值,利用梯度提升决策树算法产生预测模型。模型分析结果显示了高血压的危险性因素。经数据集交叉验证,模型准确率可以达到84.51%,具有较高的应用价值。