LightGBM混合模型在乳腺癌诊断中的应用

乳腺癌是最常见的癌症种类之一,且患病率每年仍在上升。在不进行手术活检的情况下,通过分析细胞核的各项指标来预测肿块的良性与否,可以有效地为医生提供辅助诊疗并减少患者的痛苦。为此,提出了一种基于LightGBM算法的乳腺癌诊断模型。使用边界-合成少数类过采样算法(borderline-synthetic minority oversampling technique,Borderline-SMOTE)来改善乳腺癌确诊数据不平衡的问题。在麻雀搜索算法(sparrow search algorithm,SSA)中引入PWLCM混沌映射、全新的惯性权重和纵横交叉算法对其进行改进,再运用改进后的SSA算法对Light-GBM的参数进行自动寻优。由于LightGBM对噪点较为敏感,所以提出了一种OVR-Jacobian正则化方法对LightGBM进行降噪处理。使用改进后的LightGBM混合模型对乳腺癌进行诊断。实验结果表明,提出的混合模型在均方误差、决定系数和交叉验证得分这三个指标上均优于常见的模型,显示出其较好的诊断效果。

基于LightGBM-VIF-MIC-SFS的风电机组故障诊断输入特征选择方法

针对风电机组数据采集与监视控制(SCADA)系统数据维数较高、特征冗余、特征相关性高导致风电机组的故障诊断过程存在误差大、分类正确率低的问题,提出一种基于LightGBM-VIF-MIC-SFS的三段式特征选择方法。首先,根据LightGBM实现对所有特征的重要性计算,确定初步特征空间;其次,根据方差膨胀因子(VIF)和最大信息系数(MIC)构建相关性判别阵,据此评估一次筛选中重要性相近的特征,舍弃相似性高的输入特征;最后,使用序列前向搜索法对特征进行第3次处理,逐个输入前2次特征选择获得的特征,保留能提升系统性能的特征,从而实现最终特征的选取。在完成了模型的建立后,使用风电场真实SCADA系统数据进行性能评估,将所提方法与2种对比算法在6个数据集上进行对比,结果显示所提出的LightGBM-VIF-MIC-SFS相较2种对比特征选择算法有显著优势。对所提方法内部的3个模块进行了消融实验,有效验证了所提特征选取方法内部各个模块的有效性以及基于所提方法得到的最优特征空间的合理性及准确性。

基于LightGBM与SHAP的空腔积水深度可解释性机器学习模型

传统的机器学习模型主要围绕如何提升模型预测精度进行研究,从而忽略了预测结果的可解释性.本研究基于LightGBM (Light Gradient Boosting Machine)建立了预测掺气设施空腔积水深度的黑箱模型,与常用的机器学习模型如RF (Random Forest)、SVM (Support Vector Machine)及XGBoost (Extreme Gradient Boosting)对比结果表明LightGBM拥有较高的预测精度.进一步通过贝叶斯优化技术对LightGBM的四个超参数进行优化,较大程度上提升了模型的R^(2)(决定系数)得分.应用SHAP (Shapley Additive Explanation)事后解释方法对LightGBM的预测结果进行全局解释和局部解释.全局解释结果表明:流速、水舌冲击角、坎高及流量是影响空腔积水形成的主要因素,特征交互解释可以用来解释特征之间的复杂非线性关系,局部解释则可以显示单个样本各特征的影响大小.研究建立的基于LightGBM-SHAP的空腔积水深度可解释性机器学习模型在掺气设施体型优化及模型试验方案优化方面有很好的应用前景.

基于CNN-GRU-LightGBM模型的单井产量预测方法

单井日产量趋势预测研究在油田生产中具有重要意义。由于油井生产工况复杂,难以准确预测日产量,建立了基于多变量时序数据的产量模型。基于卷积门控循环单元(convolutional neural network-gate recurrent unit,CNN-GRU)提取深层特征进行时序预测,基于梯度提升框架的集成模型(light gradient boosting machine,LightGBM)从回归预测角度进行预测,两者结果相互融合,进一步提高产量预测精度。同时,提出了一种可以实现多变量时序预测或回归预测模型在未知输入特征情况下准确预测产量的方法—超前参数递归预测策略。采用该方法对影响产量的重要特征进行超前预测,并将预测到的重要特征应用于预测产量的仿真测试中。仿真结果表明:本文模型与超前参数递归策略配合最好,在测试集上的预测准确度最高。相比单变量时序预测和回归预测模型,可显著提高预测精度。

基于LightGBM的拖曳系统动力响应预报方法

针对传统数值仿真计算方法耗时长、占用计算机资源多等缺点,提出基于LightGBM算法的拖曳系统动力响应进行评估的回归预测模型,以已有的OrcaFlex数值模拟得到的数据为样本,以拖曳系统上的海洋环境条件、拖船航速和下放缆长为特征,以动力响应为目标,引入LightGBM算法,对拖曳缆顶端张力最大值等动力响应进行预测分析。与传统数值模拟方法相比,LightGBM算法在保证结果准确性的同时大幅度提高了计算效率。通过与随机森林(RF)、极限梯度提升(XGBoost)算法相比,其准确度和计算效率的表现更好。最后提出了贝叶斯参数优化的LightGBM算法,准确度进一步提高,为提前采取措施保障拖曳系统的作业安全提供了一条高效的技术途径,同时为建立拖曳系统数字孪生体提供了有力的技术支撑。

基于特征选择的LightGBM算法预测钠离子电池剩余寿命

钠离子电池剩余使用寿命(RUL)的准确预测对于可再生能源系统中的大规模储能设备具有重要意义.提出了一种基于特征选择的LightGBM方法来预测钠离子电池的剩余使用寿命.通过结合Pearson相关系数和灰色关联度,选择了四个与电池寿命高度相关且不同特征之间自相关程度较低的最佳特征.采用LightGBM模型,并结合网格搜索(GridSearchCV)算法对其超参数进行优化,以达到最佳的预测性能.通过钠离子电池数据验证了预测模型的优越性,并与使用GridSearchCV算法的GBRD和RF模型在相同条件下进行比较.结果表明,该方法能够显著加快模型运算速度,并相比传统算法具有更高的可靠性和更好的预测性能,预测的最大MAE、MSE、RMSE分别不超过3.0、17.7、4.2.

基于Focal Loss改进LightGBM的供水管网毛刺数据检测

针对数据不平衡导致的管网毛刺数据检测召回率偏低问题,提出一种Focal Loss改进LightGBM的管网毛刺数据检测方法。首先,结合管网毛刺数据的特点,针对性构造邻域相关特征。其次,将Focal Loss函数引入LightGBM,提高模型对难以检测的毛刺样本的权重,并对Focal Loss不同的参数取值进行实验,以平衡精确率与召回率。最后,选择不同参数的Focal Loss进行模型融合,进一步提升模型对不平衡毛刺数据的检测性能。在某市供水管网的真实数据上进行实验,结果表明,对比基于交叉熵损失函数的单一模型,本文提出的Focal Loss改进后的融合模型在毛刺数据上召回率和F1值的提升幅度达33.3和18个百分点,但毛刺数据的精确率还有待进一步提升。本文所提方法从损失函数入手,动态调整难易样本的权重,有效地提升了不平衡数据下的毛刺数据的检测性能。

基于传感器阵列和LightGBM-SR模型的危化品泄露监测方法研究

探索了使用传感器阵列和LightGBM-SR模型的危化品泄露监测方法,采用多个传感器实时获取危化品监测数据,并且采用非线性随机共振(stochastic resonance,SR)模型对监测数据调整获取特征信息。选取ExtraTrees、XGBoost、KNN和LightGBM模型作为研究对照模型,分别使用传感器阵列原始数据和SR调理数据对四种模型进行自主学习拟合,然后对测试集数据进行回归预测。研究结果证明未经非线性模型调理的原始传感器阵列监测数据与四种模型的匹配度有所不足。数据经非线性SR算法处理后代入训练,LightGBM-SR模型准确率由LightGBM模型的78.75%提升至98.34%,ExtraTrees-SR稳定性最佳但实际依然存在用时较长,XGBoost-SR和KNN-SR泛化能力与稳定性良好,但是平均准确率不高。LightGBM-SR模型展现了较高的平均准确率,更适合危化品泄露监测的应用场景。

基于遗传算法优化LightGBM算法的医院微服务平台安全运维管理系统的流量智能化检测

为提升医院微服务平台下运维管理系统的数据检测效率,提出一种新的数据检测算法。该算法以平台数据的多元特征为基础,构建运维管理系统的整体框架。通过结合遗传算法的参数寻优能力和LightGBM算法的快速检测能力,实现对运维管理系统的流量数据的有效检测。为了验证模型的有效性,增加了对照实验。实验结果表明本方法在流量智能化检测中表现最优,其准确率(0.9810)、查全率(0.68)以及F1值(0.77)均优于传统方法。

基于CEEMDAN-VMD-TCN-lightGBM模型的水质预测研究

针对目前水质预测模型中因为数据本身的复杂性、在信号处理过程中存在的噪声干扰以及分解深度不够导致单一分解难以全面捕捉信号非线性特征的问题,提出了一种基于二次分解的水质预测模型。该模型采用完全自适应噪声集合经验模态分解(CEEMDAN)对原始数据进行分解,再利用变分模态分解(VMD)对熵值最高的模态分量进行二次分解,最终将处理后的时间序列输入到TCN-lightGBM多特征预测模型中。同时,采用麻雀算法(SSA)对预测模型进行优化。以山东省玉符河水质为例,本模型的均方根误差(RMSE)是0.1053,平均绝对误差(MAE)是0.0815,决定系数(R2)是0.9471,与GRU、LSTM、LightGBM、TCN等当下较为流行的模型的预测指标进行比较。结果显示,在R2上本模型提升了53.04%、70.41%、66.07%、65.20%等,在RMSE上减少了62.76%、65.50%、64.93%、64.80%等,在MAE上降低了62.76%、66.24%、63.80%、65.24%等。由此可知,基于CEEMDAN-VMD-TCN-lightGBM的模型具有更好的预测性能、泛化能力和捕捉信号非线性特征的能力。

基于CEEMDAN-LightGBM模型的洪水预测研究

为了应对暴雨可能引发的洪涝灾害风险,基于黄河利津水文站监测的水文等数据,以LightGBM为基准模型,运用经自适应噪声完备集合经验模态分解(CEEMDAN)算法优化后的CEEMDAN-LightGBM模型对水位进行预测,并将其与长短期记忆网络(LSTM)模型、LightGBM模型的预测效果进行对比。以2个气候条件不同的黄河水文站(利津、花园口)的水文数据为原始数据集输入CEEMDAN-LightGBM模型,验证模型的适应性和稳定性。结果表明:CEEMDAN-LightGBM模型在水位预测方面表现出优越的性能,相较于LSTM、LightGBM模型,该模型的E_(MA)分别减小了46.08%、9.95%,E_(RMS)分别减小了33.01%、43.01%,E_(MAP)分别减小了94.99%、3.82%,R^(2)分别增大了30.48%、7.58%。CEEMDAN-LightGBM模型还能预测流量这一重要水文特征,为模型预测洪水发生提供更有力的判断依据。对比CEEMDAN-LightGBM模型预测花园口水文站与利津水文站的水位和流量效果,除预测两站水位的E_(MAP)值相差23.64%外,E_(MA)值、E_(MAP)和E_(RMS)值相差均不超过10%,R^(2)相差不超过2%。

基于不同因子筛选方法的LightGBM-SHAP滑坡易发性研究

以重庆市黔江区为例,选取23个评价因子构建滑坡致灾因子数据库,利用地理探测器与皮尔逊-主成分分析2种因子筛选方法选择因子最优组合;基于Bayesian-LightGBM-SHAP混合模型进行滑坡易发性评价,并对模型精度进行验证,分析影响黔江区滑坡发生的主导因子.初始模型的AUC值为0.801,Pearson Correlation Coefficient-BayesianLightGBM模型AUC值为0.824,GeoDetector-Bayesian-LightGBM模型AUC为0.835;由因子重要性可知,多年平均降雨量、高程、POI核密度与距河流距离是滑坡发生的最主要因子,而输沙指数、水流动力指数与坡位对滑坡的发生影响较弱.因子筛选法-Bayesian-LightGBM相结合的混合模型能够提高模型的准确性,为构建合理因子数据库提供参考框架;通过与因子重要性的结合分析,验证了地理探测器能够准确探测各因子对滑坡发生的贡献值,突出各滑坡地理因子组合之间的相关性,从而探究各因子与滑坡之间的关系.

基于LightGBM的智能可穿戴设备用户行为预测

智能可穿戴设备产生的大量数据是人类宝贵的数字资源。使用开放数据集和主流数据分析工具,如可进行快速模型开发的PyCaret模块,有助于人们进行数据挖掘工作,且不被细节所困扰。作为Kaggle竞赛爱好者的常用工具,LightGBM分类器对用户行为的预测表现优异,对此文中的研究结果也得到验证。

基于Doc2vec-LightGBM的CBTC车载信号设备故障分类诊断方法

车载信号设备是城市轨道交通信号系统的重要组成部分,其运营过程中会产生海量离散化、片段化的日志文本数据。目前,CBTC车载设备故障记录文本仍存在语义不明确、词语冗余的问题,从而造成故障致因溯源难,针对此,提出一种基于Doc2vec-LightGBM的CBTC车载设备故障自动分类诊断方法。首先对故障文本使用Jieba完成文本分词,依据TF-IDF实现分词文本数据的特征提取,并采用Doc2vec训练文本分词向量;其次针对数据不均衡的问题,采用Borderline-SMOTE算法进行少数类文本向量数据的补全泛化;最后,通过训练轻量梯度提升机LightGBM分类器完成故障文本自动分类。采用某信号厂商所记录的1 133条故障文本数据进行分类实验分析,并与支持向量机(SVM)方法对比。实验结果表明,所提方法在分类精确率、召回率上分别为98.2%、97.5%,证明了该故障文本自动分类方法的有效性和优越性。

基于双重注意力机制CNN-BiLSTM与LightGBM误差修正的超短期风电功率预测

为了响应国家“双碳”目标,针对风电功率预测误差影响电网安全稳定运行的问题,提出一种基于双重注意力机制改进的CNN-BiLSTM初步预测和LightGBM误差修正的组合预测模型。该模型首先利用卷积神经网络(Convolutional neural network,CNN)与注意力机制结合构成特征注意力模块自适应提取风电功率重要特征,然后利用双向长短期记忆网络(Bi-directional long short-term memory,BiLSTM)与注意力机制结合构成时间注意力模块对风电功率进行初步预测,最后利用LightGBM构造误差修正模型,对初步预测结果进行修正。使用平均绝对误差(Mean absolute error,MAE)、均方根误差(Root mean square error,RMSE)和确定系数(R^(2))作为试验评价指标,结果表明,该组合模型预测效果明显优于BiLSTM、CNN-BiLSTM等模型。

基于代价敏感LightGBM的网购意愿预测研究

[目的]由于购买商品的消费者数量远小于未购买商品的消费者数量,网购意愿预测研究是典型的不平衡数据分类问题.研究不平衡数据的分类问题以提升网购意愿预测的分类准确率,该问题主要存在少数类样本识别准确率远小于多数类样本的问题.[方法]提出一种基于贝叶斯优化的代价敏感轻量梯度提升机(Light Gradient Boosting Machine, LightGBM)模型.首先引入误分类代价作为惩罚因子修正LightGBM的损失函数,其次通过阈值移动降低模型的分类阈值以提高针对少数类样本的预测准确率,最后利用贝叶斯优化算法优化误分类代价参数、分类阈值及其他参数.[结果]从KEEL数据库中选取5个典型的不平衡数据集进行对比实验,相较于标准LightGBM模型,改进LightGBM模型的AUC值和G-mean值均提升了10%左右;相较于遗传算法优化代价敏感LightGBM模型和粒子群优化代价敏感LightGBM模型,改进LightGBM模型的AUC值和G-mean值普遍提升了4%左右;相较于ADASYN-LightGBM模型和BorderlineSMOTE-LightGBM模型,改进LightGBM模型的AUC值和G-mean值普遍提升了3%左右.[结论]基于代价敏感学习在LightGBM损失函数中添加误分类代价作为惩罚因子,并通过阈值移动降低模型的分类阈值,同时利用贝叶斯优化算法优化代价敏感LightGBM模型中的误分类代价参数、分类阈值及其他参数,实现更高的少数类样本预测准确率,提升了网购意愿预测的分类准确率.

基于LightGBM算法的地层破裂压力预测方法及应用

针对传统的地层破裂压力预测方法预测精度较低、普适性不高等问题,提出基于LightGBM机器学习算法构建破裂压力智能预测模型。以井深、地层密度和孔隙压力当量密度作为模型的输入层数据,以S区块中相邻的3口直井为例验证模型的预测效果,并将LightGBM模型与常用的声波测井资料法进行预测结果的对比分析,最后进行模型的参数敏感性分析。研究结果表明,LightGBM模型的预测精度和稳定性均很好,模型的泛化能力强,5项评价指标均表现得十分优越。LightGBM模型的预测相对误差不超过2%,小于声波测井资料法。所有输入层数据中地层密度对于破裂压力的预测最为敏感。利用LightGBM机器学习算法所建立的破裂压力预测模型不受地质环境的影响,其预测精度也大于声波测井资料法。

基于改进LightGBM的室内指纹定位算法

针对室内定位算法在定位时所用时间较长和定位精度较低的问题,提出了一种基于改进LightGBM(light gradient boosting machine)算法的室内定位算法。该算法首先针对指纹库中的数据进行预处理,通过KNN(K-nearest neighborhood)算法去除异常点和离群点,降低环境噪声干扰,提高数据可靠性。接下来,将样本集划分为训练集和测试集,使用LightGBM算法对进行建模。同时,使用遗传算法调整LightGBM算法中的参数,并根据适应度函数寻找最优参数,得到LightGBM+GA(genetic algorithm)坐标预测模型。最后,根据优化后的参数建立预测模型实现坐标预测。实验结果表明,该算法在WiFi定位的精度上较与极限梯度提升(extreme gradient boosting,XGBoost)算法提高0.1 m,相较于GBDT(gradient boosting decision tree)算法提高0.19 m,在定位时间上,LightGBM+GA算法比GBDT算法快5.10 s,比XGBoost算法快5.97 s,具有较好的实用性。

基于改进LightGBM的农机服务备件配置预测方法

针对农机服务网点中服务备件配置预测不准确导致农机备件资源浪费的问题,根据农机在服务网点的作业情况,提出了一种基于改进LightGBM的农机服务备件配置预测方法。首先,确定了农机作业环境信息、服务点信息以及备件信息三大维度内的多个特征;然后,验证了影响农机服务资源备件量的主要影响因素;接着,基于LightGBM建立了农机服务资源备件预测模型;最后,为了提高模型的精度和速度,通过PSO优化算法对Light-GBM农机服务资源预测模型进行改进,达到了更好的预测结果。实验结果表明:与随机森林、XGBoost等算法相比,LightGBM模型有更好的效果,RMSE值为27.67;通过PSO的超参数调优,LightGBM备件预测的精确性更进一步提高,RMSE值为24.74,能够较为准确地预测农机服务资源在服务网点的备件需求。

基于LightGBM算法的海洋土压缩参数预测模型

近年来海洋工程项目不断增多,海洋岩土参数的确定对于保证工程安全性、提高经济效益有重要意义。目前主要通过室内与原位试验对土体参数进行研究,存在着成本高、效率低的问题。以某海上风电场项目勘察中所获取的海洋土压缩系数av和压缩模量Es为研究对象,选取样底深度、含水率、湿密度、土粒相对密度和液塑限等为基本变量,利用机器学习算法研究各类参数的相互关系和规律。构建一种基于LightGBM(Light gradient boosting machine)算法的土体压缩参数预测模型,通过k折交叉验证方法及贝叶斯优化改善预测性能。研究结果表明:笔者模型能够有效预测土体压缩参数,k折交叉验证方法及贝叶斯超参数优化能够提高预测准确度。此外,分析了k折次数、人工特征、数据集大小、预测量与输入特征相关性等因素对模型准确性的影响。