基于Logistic回归和支持向量机的早发性结直肠癌风险预测模型

目的:通过Logis tic回归和支持向量机(SVM)探究早发性结直肠癌(EOCRC)和晚发性结直肠癌(LOCRC)的危险因素,建立针对不同年龄段人群的风险预测模型并比较预测效果。方法:选择2012—2022年诊断为结直肠癌患者,记录人口学特征、临床表现、既往史、家族史、生活方式、体格检查、实验室检查及病理诊断,分别建立风险预测模型,比较两模型的ROC曲线下面积(AUROC)、准确率、精确率、召回率、F1分数。结果:综合两模型结果,EOCRC风险与出现消化道出血、腹胀腹痛、大便习惯改变等临床表现、体重减轻、肿瘤标志物升高具有较强的正相关性,与婚姻状况、阑尾切除史、糖尿病史、血脂异常病史、结直肠癌家族史也存在较弱的正相关;LOCRC风险与婚姻状况、出现临床表现、体重减轻、血脂异常、肿瘤标志物升高具有较强的正相关性,与年龄、吸烟、阑尾切除史、结直肠癌家族史也存在一定的正相关性。两模型的AUROC、准确率、F1分数相差不大,但Logistic回归模型的精确率更高而SVM模型的召回率更高。结论:EOCRC和LOCRC的危险因素不完全相同,婚姻状况、吸烟、血脂异常、肿瘤家族史在EOCRC中的贡献低于在LOCRC中的贡献。相较Logistic回归,SVM能发现更多的结直肠癌危险因素,能尽可能多的找出结直肠癌的可能患者。

基于灰狼优化支持向量机回归与SHAP值的锡冶炼能耗预测

锡冶炼过程综合能源消耗占整个锡生产过程90%,存在很大节能潜力。针对锡冶炼过程综合能耗机理模型难以建立、导致预测准确度不高的问题,提出灰狼优化的支持向量机回归(GWO-SVR)模型用于锡冶炼过程综合能耗的预测,并以某锡冶炼厂为例,将所提模型与SVR、RF(随机森林)、BP(反向传播神经网络)、LR(线性回归)模型进行比较。结果表明,GWO-SVR模型可获得最理想的预测结果,在预测精度上相比于其他机器学习算法有着巨大优势。此外,使用SHAP值从全局解释和单样本解释两个方面解释所建立的GWO-SVR模型,可视化特征对输出的贡献,增加了GWO-SVR的可解释性,并以此制定可靠的节能策略。

基于逻辑回归和支持向量机耦合模型的滑坡易发性分析

滑坡灾害的发生具有累进性,进行滑坡易发性评价是防灾减灾的前提。以四川省旺苍县为例,使用频率比法判断12个滑坡影响因子的各分级区间滑坡敏感性,经波段集统计确定11个滑坡影响因子作为滑坡易发性评价因子,通过建立逻辑回归-支持向量机(logistic regression-support vector machine,LR-SVM)耦合模型,搭建滑坡易发性评价体系,完成旺苍县滑坡易发性评价并进行模型精度比较。研究结果表明:逻辑回归-支持向量机耦合模型的评价指标结果均优于逻辑回归模型,易发性分区结果更合理,预测精度更高;在低易发区选取非滑坡点为提高滑坡易发性评价性能作用明显;研究区内道路、高程和NDVI对滑坡发育的敏感性较强;高易发区主要分布于低海拔的水系和道路两侧。

基于多分类支持向量机的变压器在线监测数据错误模式识别

针对变压器在线油中溶解气体在线监测数据质量问题,统计了200多台监测装置的2020全年数据,总结了3种主要数据错误模式;提出了数据错误模式识别策略和特征参数,构建了多分类支持向量机进行错误数据识别与分类;并利用核主成分分析法和排列组合遍历寻优法对特征向量进行了降维优化。所构建的多分类支持向量机分类器对于H_(2)错误数据识别准确率达到97.5%,对于其他气体达到90%以上。应用所构建的分类器对2020全年数据进行了统计,其中H2的错误数据达到27.14%,C_(2)H_(2)的错误数据达到1.75%。

基于主成分分析的果蝇算法优化支持向量机回归的红枣产量预测

随着大数据技术和人工智能的快速发展,针对当前红枣产量预测模型精度低、模型优化时间过长等问题,以山西省1993—2020年的红枣产量及17个维度的因素作为基础数据,提出一种基于主成分分析的果蝇算法优化支持向量机回归(principal component analysis-fruit fly optimization algorithm-support vector regression,PCA-FOA-SVR)的红枣产量预测模型。首先利用主成分分析(principal component analysis,PCA)对数据进行降维处理,以5维的指标作为输入变量,产量作为输出变量;其次以支持向量机回归(support vector regression,SVR)为基础模型,利用果蝇优化算法(fruit fly optimization algorithm,FOA)对SVR参数惩罚因子c和核函数参数g进行寻优,构建PCA-FOA-SVR模型。对试验结果进行验证。发现PCA-FOA-SVR的均方根误差(root mean square error,RMSE)、平均绝对误差(mean absolute error,MAE)、决定系数R 2分别为3.11、3.01、0.96,SVR的各指标分别为5.33、4.07、0.9,分别提高了41.7%、26%、6.7%,最后通过GM(1,1)对各维度的数据进行预测,利用PCA-FOA-SVR模型对未来10年山西省红枣产量进行预测,结果显示在2025年红枣产量会达到一个峰值,对后续相关研究提供了一定的科学依据。

增量式稀疏密度加权孪生支持向量回归机

密度加权孪生支持向量回归机(DWTSVR)是一种能够反映数据内在分布的回归算法,具有预测精度高和鲁棒性强等优点,然而其并不适用于训练样本以增量形式提供的场景。针对该问题,提出一种增量式稀疏密度加权孪生支持向量回归机(ISDWTSVR)。首先,辨别新增数据是否为异常样本,并赋予有效样本适当的权重,减小异常样本对模型泛化性能的影响;其次,结合矩阵降维与主成分分析思想筛选出原始核矩阵中的一组特征列向量基代替原特征,实现核矩阵列稀疏化,以获得稀疏解;接着,借助牛顿迭代法和增量学习策略对上一时刻的模型信息进行调整,实现模型的增量更新,同时结合矩阵求逆引理避免增量更新过程中直接求解逆矩阵,进一步加快训练速度;最后,在UCI基准数据集上进行仿真实验,并与现有代表性算法进行比较。实验结果表明,ISDWTSVR继承了DWTSVR的泛化性能,在大规模数据集Bike-Sharing上,新增一个样本模型更新平均CPU时间为5.13 s,较DWTSVR缩短了97.94%,有效地解决了模型必须从头开始重新训练的问题,适用于大规模数据集的在线学习。

一种基于支持向量机回归的制氧系统寿命预估方法

随着我国老龄化程度的加深及后疫情时代大背景下国内医疗系统市场规模的不断扩大,制氧系统行业的发展进入快速扩容阶段。同时,制氧系统突发故障对吸氧人群生命与心理造成不可逆损伤的问题接踵而至。制氧行业迫切需要一种针对制氧系统寿命的预估方法,以解决制氧系统突发故障影响吸氧人群生命与财产安全的问题。该研究提出一种基于支持向量机回归(SVR)的制氧系统寿命预估方法。首先,基于SVR原理建立一种寿命预估模型,通过对某制氧系统3500h的氧浓度监测数据进行SVR训练,得到制氧系统的寿命预估模型。然后,规律选取300组氧浓度数据分别进行训练集预测和预测集预测,结果显示,该预测模型的准确性较高,且模型对预测集样本的预测结果与氧浓度监测的真实值基本保持一致。最后,对该制氧系统的吸附塔进行拆机验证,发现分子筛确有失效现象,经实际测量失效程度为6%,表明该模型可应用于制氧系统的寿命预估,并取得了良好的结果。因此,基于SVR的制氧系统寿命预估方法可以准确、有效地预估制氧系统的使用寿命,避免其突发故障,同时也为后续制氧系统的寿命预估方法提供了思路。

基于多层支持向量机的蓄电池在线监测方法研究

常规的蓄电池在线监测节点一般采用独立或区域布设形式,监测的范围受限制,导致在线监测频率均值下降,因此探讨了基于多层支持向量机的蓄电池在线监测方法。根据当前测定,先进行蓄电池电动势及开路电压应用数值采集,采用自适应的方式,打破监测范围的限制,部署自适应在线监测节点;然后构建多层支持向量机的蓄电池在线监测模型,采用持续跟踪预警处理强化在线监测。针对选定的4个蓄电池,按照顺序分别植入0.8 mm、1.2 mm及2.1 mm的4个型号的电阻丝,形成不同的电阻率。经测定计算最终得出在线监测频率均值均可达到150 Hz以上,说明设计的蓄电池在线监测方法更加稳定、安全,在不同环境下的整体适应度更强,监测效率得到了显著提升。

基于支持向量机回归算法的盾构下穿市政管线参数优化研究

随着盾构法施工在我国城市地铁隧道建设的广泛应用,盾构施工将面临越来越复杂的施工场景,尤其是在城市生活区的施工中,将不可避免地穿越各类复杂的市政管线。以合肥某地铁盾构工程下穿市政管线为背景,通过建立数值模型,构建了基于支持向量机回归(SVMR)算法的机器学习模型,并通过优化算法反向求解得到了符合施工要求的盾构参数优化方案。研究结果表明,方法的有效性通过了数值模拟试验和工程实践的验证,能够基于已有的少量盾构参数,针对关键掘进参数如推力、刀盘转速等进行优化,并提出最优组合方案,以确保施工的安全与高效,可为类似工程提供参考。

支持向量机回归算法的唐山市降水量空间插值研究

针对传统插值方法在处理小样本和非线性问题上的不足,运用支持向量机回归(SVR)算法对唐山市降水量进行空间插值研究,提出了SVR算法的解决方案,以提高降水预测的准确性。通过收集2020年唐山市32个气象站点观测数据,提取经度、纬度、经纬度乘积、海拔、坡度、坡向和GPM等参数作为特征变量,并利用SVR算法建立降水量空间插值模型。研究结果表明,SVR在解决小样本和非线性问题上具有显著优势,能够有效分析多维变量对降水量分布的影响;验证显示其插值精度R2为0.79, MAE和RMSE分别为33.57mm、39.29mm,该精度在可接受范围内。通过SVR插值法生成精确的降水量分布式信息,可为唐山市旱涝减灾、水资源利用及生态保护提供科学数据支持。

基于支持向量机回归的粉煤灰混凝土氯离子质量分数预测

基于自然潮差环境下粉煤灰混凝土长期暴露试验,获取了3150组自由氯离子质量分数数据,建立了基于支持向量机回归方法(Support Vector Regression,SVR)的粉煤灰混凝土中自由氯离子质量分数预测模型。该模型研究了数据预处理方法,核函数以及超参数优化方法对自由氯离子质量分数预测精度的影响,分析了水灰比、粉煤灰掺量、暴露时间和渗透深度4个输入参数对自由氯离子质量分数预测结果的影响大小。同时,开展基于未测参数的自由氯离子质量分数预测。结果表明:当采用归一化的数据预处理方式,并使用径向基核函数及贝叶斯优化算法时,自由氯离子质量分数预测结果最佳。当自由氯离子质量分数小于0.1%时,所构建的SVR模型得到的预测值与实际氯离子质量分数存在较大差距。

精确在线支持向量回归在股指预测中的应用

建立了基于精确在线支持向量机回归算法的股指短期预测模型,并通过和另外两种基于传统训练方式的支持向量机预测模型进行比较,验证了该方法的有效性。

孪生支持向量回归机研究进展

孪生支持向量回归机(Twin Support Vector Regression,TSVR or TWSVR)是一种基于统计学习理论的回归算法,它以结构风险最小化原理为理论基础,通过适当地选择函数子集及该子集中的判别函数,使学习机的实际风险达到最小,保证了在有限训练样本上得到的小误差分类器对独立测试集的测试误差仍然较小.孪生支持向量回归机通过将线性不可分样本映射到高维特征空间,使得映射后的样本在该高维特征空间内线性可分,保证了其具有较好的泛化性能.孪生支持向量回归机的算法思想基于孪生支持向量机(Twin Support Vector Machine,TWSVM),几何意义是使所有样本点尽可能地处于两条回归超平面的上(下)不敏感边界之间,最终的回归结果由两个超平面的回归值取平均得到.孪生支持向量回归机需求解两个规模较小的二次规划问题(Quadratic Programming Problems,QPPs)便可得到两条具有较小拟合误差的回归超平面,训练时间和拟合精度都高于传统的支持向量回归机(Support Vector Regression,SVR),且其QPPs的对偶问题存在全局最优解,避免了容易陷入局部最优的问题,故孪生支持向量回归机已成为机器学习的热门领域之一.但孪生支持向量回归机作为机器学习领域的一个较新的理论,其数学模型与算法思想都尚不成熟,在泛化性能、求解速度、矩阵稀疏性、参数选取、对偶问题等方面仍存在进一步改进的空间.本文首先给出了两种孪生支持向量回归机的数学模型与几何意义,然后将孪生支持向量回归机的几个常见的改进策略归纳如下.(1)加权孪生支持向量回归机由于孪生支持向量回归机中每个训练样本受到的惩罚是相同的,但每个样本对超平面的影响不同,尤其是噪声和离群值会使算法性能降低,并且在不同位置的训练样本应给予不同的处罚更为合理,因此考虑在孪生支持向量回归机的每个QPP中引入一个加权系数,给予不同位置的训练样本不同程度的惩罚.(2)拉格朗日孪生支持向量回归机由于孪生支持向量回归机的对偶问题中半正定矩阵的逆矩阵可能不存在,若存在,则对偶问题不是严格凸函数,可能存在多个解,因此考虑使用松弛变量的2范数代替原有的1范数,使对偶问题更简单,易于求解.(3)最小二乘孪生支持向量回归机由于孪生支持向量回归机的求解需要在对偶空间进行,得到的解为近似解,考虑通过最小二乘法将原问题的不等式约束转化为等式约束,使得原问题可以在原空间内求解,在很大程度上降低计算时间,提高泛化性能,且不损失精度.(4)v-孪生支持向量回归机通过引入一组参数v1与v2自动调节ε1与ε2的值以控制训练样本的特定部分对两条回归超平面所能造成的最大误差,从而自适应给定数据的结构,提高孪生支持向量回归机的拟合精度.(5)ε-孪生支持向量回归机在孪生支持向量回归机的原问题中引入正则化项以达到结构风险最小化的目的,使对偶问题转化为稳定的正定二次规划问题,并通过SOR求解对偶问题,加快训练速度.(6)孪生参数不敏感支持向量回归机克服参数的选取对孪生支持向量回归机超平面构造的影响,使算法非常适合于存在异方差噪声数据的数据集,训练速度和泛化性能也有提升.本文同时对以上算法的数学模型、改进算法及应用进行了系统地分析与总结,给出了以上算法在9个UCI基准数据集上的回归性能与计算时间,并在模型结构层面逐一分析每个算法的表现与耗时的根本原因.对于其他不便于归类的孪生支持向量回归机改进算法及应用,本文也对其作逐一总结.整体来看,最小二乘孪生支持向量回归机在性能和计算时间方面表现最佳,拉格朗日孪生支持向量回归机、v-孪生支持向量回归机的性能并列次优且计算时间接近,加权孪生支持向量回归机、ε-孪生支持向量回归机和孪生参数不敏感支持向量回归机的性能不理想,但计算时间接近.本文旨在使读者对孪生支持向量回归机的不同改进算法之间的异同点与优缺点产生更深刻的理解与认识,从而将更多优秀的改进策略应用于孪生支持向量回归机,最终为进一步提高孪生支持向量回归机的性能以及扩展孪生支持向量回归机的应用范围提供较为清晰的思路.

一种优化支持向量机回归算法的印刷工序损耗值预测方法

针对印刷生产中物料需求计划的损耗值采用经验值的问题,提出一种优化支持向量机回归算法的印刷工序损耗值预测方法。通过皮尔逊相关系数量化特征值选取;采用布谷鸟搜索算法优化支持向量机回归算法的超参数选取,建立损耗预测模型;为验证模型的优越性,分别与不同的特征值选取方案、优化算法、回归算法的模型进行对比。实验结果表明该损耗预测方法具有更高泛化性和预测精度,决定系数、平均绝对百分误差、均方根误差分别为0.995、0.005、1.969,为解决后续相关问题提供了技术支持。

基于模拟退火算法优化的支持向量回归机对内螺旋槽切削力的预测

鉴于内螺旋槽加工领域缺少预测精度良好的切削力预测模型。基于ABAQUS软件对内螺旋槽的切削加工过程进行了有限元仿真,并由此得出切削力数值;通过模拟退火算法对支持向量回归机预测模型进行参数寻优,得出最优参数以及最优切削力预测值,为刀具设计提供依据,并经切削力实验对预测值进行验证。通过仿真以及切削力实验可知,模拟退火算法优化的支持向量回归机预测精度比优化前的预测精度提高了50%以上,且模拟退火优化的支持向量机模型能够应用于实际内螺旋槽的切削加工中。

精确增量式在线v型支持向量回归机学习算法

为了解决v型支持向量回归机(v-supportvector regression,v-SVR)对偶问题的目标函数中增加的额外线性项从而导致无法产生有效初始解的问题和在绝缘增量调整过程中可能存在的解路径不可行更新问题,提出了精确增量式在线v-SVR学习算法.首先基于v-SVR的等价形式,利用提前调整,宽松的绝缘增量调整和精确的恢复调整有效地解决了v-SVR对偶问题存在的上述问题.然后分别对算法的可行性和有限收敛性进行了理论分析.最后在四个基准测试数据集上的仿真结果进一步验证了该算法的每一步调整都是可靠的,经过有限次数调整最终收敛到最小化问题的最优解,而且与批处理学习算法相比,随着训练样本的增加,算法在缩短学习时间上的优势显著.

支持向量机回归在线建模及应用

支持向量机 (SVM)回归理论与神经网络等非线性回归理论相比具有许多独特的优点。讨论了建模中 SVM核函数、损失函数的选取和容量控制等问题 ,并用实验加以验证。将 SVM回归动态建模理论应用于非线性、时变、大时延温室环境温度变化的建模和预测 ,模型简单 ,预测效果好。

基于人工蜂群优化支持向量机回归的隧道塌方风险预测

为预测隧道塌方风险等级,减少隧道塌方引起的灾害事故,建立基于人工蜂群(artificial bee colony,ABC)优化支持向量机回归(support vector machine regression,SVR)隧道塌方风险预测模型。首先,从工程地质、水文气象、设计因素、施工因素4个方面综合考虑,遴选13个主要影响因素,建立隧道塌方风险指标体系;其次,引入人工蜂群算法优化SVR的核参数C和惩罚参数g,解决传统SVR稳定性低的缺陷,提高模型的精确度,为验证模型性能采用相关系数(R 2)、均方误差(mean squared error,MSE)、均方根误差(root mean squared error,RMSE)评价参数对比分析;最后,以新疆北部某供水工程为研究对象,对隧道塌方风险测试样本进行预测,分别将ABC-SVR、PSO-SVR、GA-SVR及SVR模型对比分析。研究结果表明:ABC-SVR预测结果为100%,PSO-SVR预测结果为83.3%,GA-SVR和SVR均为66.67%,ABC-SVR的预测结果与实际工程结果一致性更高,可为隧道塌方风险评估提供科学的决策依据。

局部最小二乘支持向量机回归在线建模方法及其在间歇过程的应用

当间歇生产切换于不同的工艺条件时,由于新工况下的样本一般很少,且批次间存在着不确定性(由于原材料波动或过程动态特性波动等),基于全局学习的建模方法(如最小二乘支持向量机回归,LSSVR)建立的模型泛化性能不强。将局部学习融入LSSVR中,提出一种局部LSSVR(local LSSVR,LLSSVR)的间歇过程在线建模方法。结合前一批次离线优化后的LSSVR参数,针对待预测新样本在线选择与之相关的近邻样本集并基于此进行建模。以建立青霉素发酵过程的菌体浓度为例,验证了LLSSVR算法能够从过程的第2个生产批次开始在线建立较准确的预报模型,较LSSVR有着更好的推广能力、适应性和鲁棒性。

用于发酵过程在线建模的自适应局部最小二乘支持向量机回归方法

提出一种基于自适应局部学习的最小二乘支持向量机回归(LSSVR)在线建模方法。考虑样本间的距离和角度信息以获得更全面合理的相似样本集,推导了采用快速留一法在线优化模型参数的准则,并给出了发酵过程在线自适应模型选择的策略。以链激酶流加发酵过程为例,验证了所提出算法能够从过程的第2批次开始,同时对活性菌体浓度和链激酶浓度进行较准确的在线预报,较普通的局部LSSVR等建模方法具有更高的预报精度和自适应性。