基于改进堆叠自编码器结合LightGBM的近红外光谱回归算法研究

为实现高效的近红外光谱非线性回归分析,提出了一种基于改进堆叠自编码器结合LightGBM的近红外光谱回归分析算法。该算法由堆叠自编码器模块与LightGBM模块构成,将堆叠自编码模块得到的隐层特征输入LightGBM模块进行回归分析,通过递进式策略自适应确定堆叠自编码器模块的结构,并利用Optu⁃na框架自动优化LightGBM模块的超参数。为验证方法的有效性,以烟草的还原糖、氯、钾、总氮4种成分为研究对象,利用1911个烟草样本进行建模,并与其他4种近红外光谱回归分析算法进行了对比。经实验验证,烟草还原糖、氯、钾、总氮预测模型的平均R_(P)、RMSEP、R_(P)^(2)分别为0.9110、0.0568、0.8328,预测精度在5种方法中综合最优。在训练集表现相当的前提下,所建方法的预测集精度相较于XGBoost提高1%~40%,过拟合问题得到改善。改进的堆叠自编码器结合LightGBM算法应用于近红外光谱分析表现出良好的成分回归分析能力,可用于烟叶化学成分预测模型的构建。

基于遗传算法优化LightGBM算法的医院微服务平台安全运维管理系统的流量智能化检测

为提升医院微服务平台下运维管理系统的数据检测效率,提出一种新的数据检测算法。该算法以平台数据的多元特征为基础,构建运维管理系统的整体框架。通过结合遗传算法的参数寻优能力和LightGBM算法的快速检测能力,实现对运维管理系统的流量数据的有效检测。为了验证模型的有效性,增加了对照实验。实验结果表明本方法在流量智能化检测中表现最优,其准确率(0.9810)、查全率(0.68)以及F1值(0.77)均优于传统方法。

基于人工蜂群算法的支持向量回归建模及其在污水处理中的应用

污水处理过程具有大时滞、非线性、多扰动等特点,运行过程中存在生化需氧量(Biochemical Oxygen Demand,BOD)等重要水质参数难以实时测量问题,软测量技术为解决该问题提供了有效方法。对此,文章提出基于人工蜂群算法的支持向量回归(Support Vector Regression,SVR)建模方法。该方法利用蜂群算法对支持向量机的参数gamma和C进行寻优,找到使均方误差最小的超参数组合,以提高模型预测精度。同时,利用加州大学欧文分校(University of California Irvine,UCI)数据库中的污水生产数据验证该方法的有效性,结果表明该方法的实际应用效果好,可为工业生产中难以测量变量的监测提供技术支持。

基于LightGBM算法的地层破裂压力预测方法及应用

针对传统的地层破裂压力预测方法预测精度较低、普适性不高等问题,提出基于LightGBM机器学习算法构建破裂压力智能预测模型。以井深、地层密度和孔隙压力当量密度作为模型的输入层数据,以S区块中相邻的3口直井为例验证模型的预测效果,并将LightGBM模型与常用的声波测井资料法进行预测结果的对比分析,最后进行模型的参数敏感性分析。研究结果表明,LightGBM模型的预测精度和稳定性均很好,模型的泛化能力强,5项评价指标均表现得十分优越。LightGBM模型的预测相对误差不超过2%,小于声波测井资料法。所有输入层数据中地层密度对于破裂压力的预测最为敏感。利用LightGBM机器学习算法所建立的破裂压力预测模型不受地质环境的影响,其预测精度也大于声波测井资料法。

基于改进LightGBM的室内指纹定位算法

针对室内定位算法在定位时所用时间较长和定位精度较低的问题,提出了一种基于改进LightGBM(light gradient boosting machine)算法的室内定位算法。该算法首先针对指纹库中的数据进行预处理,通过KNN(K-nearest neighborhood)算法去除异常点和离群点,降低环境噪声干扰,提高数据可靠性。接下来,将样本集划分为训练集和测试集,使用LightGBM算法对进行建模。同时,使用遗传算法调整LightGBM算法中的参数,并根据适应度函数寻找最优参数,得到LightGBM+GA(genetic algorithm)坐标预测模型。最后,根据优化后的参数建立预测模型实现坐标预测。实验结果表明,该算法在WiFi定位的精度上较与极限梯度提升(extreme gradient boosting,XGBoost)算法提高0.1 m,相较于GBDT(gradient boosting decision tree)算法提高0.19 m,在定位时间上,LightGBM+GA算法比GBDT算法快5.10 s,比XGBoost算法快5.97 s,具有较好的实用性。

带有偏正态误差的众数回归模型最大似然估计的EM算法

经典的多元线性回归模型要求残差满足高斯-马尔柯夫假设(G-M),在实际生活中由于数据的随机性往往很难满足这个条件.利用Sahu等在2003年提出的偏正态分布来拓展经典的回归模型,给出了偏正态分布众数的近似表达式,建立了偏正态分布下均值和众数多元线性回归模型.在求解模型的参数估计时使用偏正态分布的分层表示构造EM算法.在M步统一给出两点步长梯度下降算法,同时也对均值模型给出显示迭代表达式.最后通过模拟分析以及实例来讨论两种回归模型的可行性.

基于遗传算法与LightGBM融合的测试用例生成方法

随着互联网技术不断发展,各类商务软件功能需求不断增加,且其复杂性逐渐提高,软件的可靠性与安全性受到了越来越多的关注,软件测试是软件质量保障的关键技术。由于现代商务软件产品具有需求变化频繁、版本迭代过快等特点,为其手工编写测试用例会耗费大量人力成本,尤其敏捷开发过程中,回归测试等需要产生大量重复用例。采用机器学习技术,基于遗传算法和LightGBM模型,提出了一个测试用例自动生成模型,创新贡献表现在:①将测试步骤抽象为有向图模型,简化测试用例数据;②采用遗传算法求解有向图可达路径,替代人工生成测试路径;③采用LightGBM模型加快遗传算法收敛速度,实验验证了所提出方法的有效性,满足测试覆盖准则。该模型可减少测试人员工作,加快测试速度,对提升项目质量、加快项目进度具有重要意义。

基于DP算法的Poisson回归模型的变量选择

利用已有的DP算法,对Poisson回归模型的似然函数进行优化估计出模型的参数,分别写出Lasso、Adaptive Lasso、SCAD、MCP 4种惩罚似然函数,用DP算法进行求解,实现变量选择.为了实现算法的自动变量选择,在对惩罚参数的选择上,使用了AIC、BIC信息准则.为了验证DP算法的可行性,通过随机模拟的方式生成数据进行求解.在各项指标下,将DP算法与已有的相关算法进行对比.

基于主成分分析的果蝇算法优化支持向量机回归的红枣产量预测

随着大数据技术和人工智能的快速发展,针对当前红枣产量预测模型精度低、模型优化时间过长等问题,以山西省1993—2020年的红枣产量及17个维度的因素作为基础数据,提出一种基于主成分分析的果蝇算法优化支持向量机回归(principal component analysis-fruit fly optimization algorithm-support vector regression,PCA-FOA-SVR)的红枣产量预测模型。首先利用主成分分析(principal component analysis,PCA)对数据进行降维处理,以5维的指标作为输入变量,产量作为输出变量;其次以支持向量机回归(support vector regression,SVR)为基础模型,利用果蝇优化算法(fruit fly optimization algorithm,FOA)对SVR参数惩罚因子c和核函数参数g进行寻优,构建PCA-FOA-SVR模型。对试验结果进行验证。发现PCA-FOA-SVR的均方根误差(root mean square error,RMSE)、平均绝对误差(mean absolute error,MAE)、决定系数R 2分别为3.11、3.01、0.96,SVR的各指标分别为5.33、4.07、0.9,分别提高了41.7%、26%、6.7%,最后通过GM(1,1)对各维度的数据进行预测,利用PCA-FOA-SVR模型对未来10年山西省红枣产量进行预测,结果显示在2025年红枣产量会达到一个峰值,对后续相关研究提供了一定的科学依据。

基于自适应Borderline-SMOTE过采样的LightGBM不平衡数据分类算法

针对传统机器学习算法在面对不平衡数据集进行分类时所导致的错误分类、召回率低等问题,提出了一种自适应Borderline-SMOTE过采样的LightGBM不平衡数据集分类算法。在Borderline-SMOTE的基础上,首先采用动态调整采样倍率来控制合成样本的数量,避免过度生成新样本。然后,随机选择边界样本的两个K近邻合成中间样本,用于线性插值生成新样本,一定程度上避免了样本重叠的问题。最后,使用某运营商新办宽带用户及其使用情况数据集,在自适应Borderline-SMOTE过采样方法前提下,验证了LightGBM比KNN和RF有更好的效果。在数据集上与其他流行过采样方法进行实验比较,结果显示,所提出的算法有效地提高了不平衡数据的分类性能。

一种基于DBSCAN算法改进的稳健AdaBoost回归模型

传统的AdaBoost.R2算法在AdaBoost算法思想的基础上将回归问题转化为二分类问题,取得了较好的估计效果。但该算法对异常点敏感,在迭代过程中会将异常点的权重不断加大,导致模型的稳健性较差。提出一种改进的AdaBoost算法,称为AdaBoost.DBSCAN。首先,通过DBSCAN聚类算法对观测点进行分类;然后,分别针对正常点和异常点,采用不同的权重控制策略进行控制,保证异常点的权重在迭代过程中无法以指数速率增长,同时能较大程度地保存样本信息。模拟和实际应用结果表示,与传统的AdaBoost.R2、AdaBoost.RT算法以及AdaBoost.RS算法相比,该算法具有良好的稳健性,在含有不同比例异常点的数据集中都能够获得较好的表现。

基于遗传算法和LightGBM的网络安全态势感知模型

针对传统烟草工业系统中的网络流量异常检测方法存在的特征间联系和上下文信息丢失等问题,提出了一种基于遗传算法改进的LightGBM模型,此模型能够使得模型避免陷入局部最优情况。首先通过计算构建树模型对数据降维,从高维数据中挖掘出对于检测效果影响重要的关键特征信息,并使用提出的模型对这些关键特征信息进行分析。为了评估模型的有效性与优越性,使用准确率和损失进行模型评价,并与其他网络流量异常检测模型Tabular model、TabNet、LightGBM、XGBoost进行对比。使用公开数据集CIC-IDS-2018进行实验分析。结果表明,在高特征的网络安全态势感知下,多分类和二分类的识别准确率分别达99.43%和99.87%,在低特征情况下,多分类和二分类的识别准确率分别达98.73%和99.39%,具有较高准确率以及良好的灵活性和鲁棒性。

基于RF-FL-LightGBM算法的信用风险评估模型研究

为了解决大数据环境下高维度稀疏的客户信用特征以及样本不平衡问题,从而提高客户的信用评估准确度,论文提出了基于RF-FL-LightGBM算法的信用风险评估模型。首先利用随机森林(RF)对高维数据进行重要性排序和筛选,剔除容易引起模型过度拟合和冗余无效的特征;其次将基于Focal Loss函数改进后的二分类平衡交叉嫡损失函数(FL)作为LightGBM模型的损失函数,以此改善正负样本不平衡导致模型准确度降低的情况,从而提高模型的分类性能。使用某金融租赁公司的历史客户数据集进行实验,结果表明,RF-FL-LightGBM模型的F1值、AUC值都明显高于XGBoost和LigthGBM模型。RF-FL-LightGBM算法不仅有效处理了高维稀疏不平衡样本数据,还提高了客户属性的分类精确度且执行效率更高。

基于鲸鱼优化算法-支持向量回归的汽车运动状态估计

为了不依赖动力学模型精度而准确地获取车辆运动状态信息,提出一种基于鲸鱼优化算法-支持向量回归(WOA-SVR)的车辆状态估计算法。首先通过分析车辆动力学基本特性,设计了侧向速度、横摆角速度与车速分离的支持向量回归估计架构;然后对支持向量回归(SVR)模型进行多种行驶工况组成的数据集训练,在训练过程中运用鲸鱼优化算法对松弛变量中的惩罚因子c与核函数参数g进行寻优;最后对估计算法进行单移线、扫频试验虚拟仿真和实车ABS制动、双移线试验验证。结果表明,该算法有效提高了估计精度,且对车速的变化具有鲁棒性,可以实现准确的不依赖动力学模型精度的汽车运动状态估计。

基于遗传算法优化支持向量回归的电池SOH预测

针对实车运行过程中电池当前可用容量难获取、电池健康状态评估不准确的问题,提出利用车辆的停车充电片段数据,通过箱型图及卡尔曼滤波算法对安时积分法计算所得的电池容量进行修正,构建支持向量回归模型用于电池衰减预测,通过皮尔森相关性分析确定有效的模型输入参数,结合遗传算法优化模型参数。结果表明:优化后模型的拟合优度可达88%,相较于优化前提高了12%,可以实现电池健康状态的准确预测。

基于鹈鹕优化算法优化广义回归神经网络的电动汽车充电负荷短期预测

针对目前电动汽车充电负荷预测精度不足的问题,提出了一种结合互补集合经验模态分解和鹈鹕优化算法优化广义回归神经网络的组合预测方法。首先,利用互补集合经验模态分解将电动汽车充电负荷时间序列分解成多个固有模态函数分量和一个残差分量。其次,对于分解后的固有模态分量容易出现冗杂信息,利用样本熵对分解后数值相近的固有模态分量进行相加重构,降低冗杂程度。最后,考虑广义回归神经网络的预测效果与平滑因子的数值有很大关系,利用鹈鹕优化算法优化广义回归神经网络的平滑因子,进而对电动汽车充电负荷进行短期预测。仿真表明,所提出的预测方法可以有效地提高电动汽车充电负荷的预测精度,具有较高的实用性。

基于LightGBM算法的机场聚合离场延误预测

航班延误预测具有非线性聚合的动力学特征。在保证准确率的前提下为提高预测效率,提出一种基于轻量级梯度提升机(Light gradient boosting machine, LightGBM)算法的机场聚合离场延误预测模型。通过对历史航班数据的分析处理,提取时间特征、飞行计划特征和延误特征三类重要特征,并以提取出的特征作为输入变量,采用LightGBM算法基于广州白云机场的历史运行数据对航班延误时间进行预测。结果表明:模型预测延误时间与实际延误时间吻合良好;与其他常用算法的预测结果相较而言,所提模型在各种预测指标上结果更优,效率更高。

基于LightGBM和蚁群算法优化的特征选择方法

在处理高维特征数据时通常会面临冗余和不相关的问题,Relief作为一种传统的特征选择算法因其具有较高的稳定性和计算效率,从而被广泛应用。但其特征选择结果具有随机性,且对于特征之间存在较强依赖关系的数据集,如共线性等,可能会导致结果不准确。基于对特征选择方法的研究,给出了基于LightGBM和蚁群算法的L-ACO方法,使用LightGBM算法的特征重要性来表示L-ACO算法蚁群路径搜索过程的启发式信息。同时,使用特征之间的皮尔森相关系数来调整信息素浓度,以便更好地控制特征的相关性。实验证明,L-ACO方法可以在保证分类准确率的前提下,减少特征数量,降低特征冗余,并提高算法性能。

基于随机森林回归算法的水电工程移民安置效果评价方法

常规的水电工程移民安置效果评价方法主要使用定量结合技术生成评价指标体系,易受生活水平指数SPI动态变化影响,导致评价优属度偏低,因此,需要基于随机森林算法设计1种全新的水电工程移民安置效果评价方法。即利用随机森林回归算法确定了安置效果基础评价指标,建立了水电工程移民安置效果评价结构,从而实现了水电工程移民安置效果评价。实例分析结果表明,设计的水电工程安置随机森林回归算法效果评价方法的评价优属度较高,具有评价可靠性,有一定的应用价值,为优化水电工程移民项目建设作出了一定的贡献。

粒子群算法优化的广义回归神经网络求解流形学习样本外点问题

目前流形学习已成功应用于降维和数据可视化领域,但在监督分类中的应用效果并不理想,解决好样本外点问题对其应用效果至关重要。基于此,采用粒子群算法优化广义回归神经网络计算测试样本的低维嵌入,获得的结果可直接用于分类。借助粒子群算法的全局搜索能力对处理样本外点问题具有较好的预测性能;在使用糖尿病、虹膜和声呐三个公开数据集的实验中,粒子群算法优化广义回归神经网络的分类总体精度分别为77.63%、100%和88.89%,优于其他8种分类方法,表明该算法可行、有效;同时,该算法能显著降低数据复杂度,提高了预测、模式分类和机器学习的准确性。