基于LOF-SMOTE算法的地下水影响下矿山岩溶塌陷风险预测研究

矿山岩溶地表塌陷成因复杂,形式多样,为准确预测矿山岩溶塌陷,结合岩溶发育机理,本研究提出基于LOF和SMOTE算法的BP神经网络预测模型。首先通过LOF算法剔除因非自然原因而产生的异常数据,再通过SMOTE算法对剔除后的数据进行过采样,合成新数据,以增加样本数目,最后采用BP神经网络模型对矿山岩溶塌陷进行预测。结果表明,实际工程数据经过预处理后的预测模型,与部分小样本预测模型相比,具有更高的预测精度,可为在其他工程中应用提供参考。

HSMOTE-AdaBoost:改进混合边界重采样集成分类算法

处理类不平衡问题时,已有的采样方法存在易受噪声影响和忽略边界样本的问题,尤其是忽略多数类样本的类内差异,位于边界的样本实例非常容易被错分,而这些样本对划分决策边界具有重要作用。将SMOTE过采样和RUS随机欠采样方法结合并进行改进,提出混合边界重采样算法(HSMOTE-AdaBoost)。HSMOTE-AdaBoost算法首先对少数类运用SMOTE过采样,提高数据的平衡度;再使用K近邻算法清除噪声和采样方法产生的重叠实例;同时,基于与少数类样本的平均欧氏距离识别并保留边界多数类样本,然后对剩余的数据进行随机欠采样;最后,利用AdaBoost算法的优势,对平衡后的数据集进行多次迭代训练得到最终的分类模型。仿真实验结果表明,与传统的SMOTE-Boost、RUS-Boost、PC-Boost及改进后的算法KSMOTE-AdaBoost相比,该分类模型在不平衡数据集上的所有性能指标F-measure,G-mean,AUC值分别最高提升了22.97%,13.88%和10.03%,具有更优的分类效果。

基于SMOTE算法的船体结构极限状态代理模型研究

建立典型集装箱船舱段结构参数化有限元模型,基于SMOTE过采样算法,增加样本数据中失效面附近样本点的数量,分别采用BP神经网络、径向基神经网络以及支持向量机三种代理模型技术,结合十折交叉验证法调试模型参数以提高模型的泛化能力,完成构建船体舱段结构极限状态代理模型并对其进行测试与分析,获得了效果与泛化能力均较为优良的船体结构极限状态高精度代理模型.结果表明:经SMOTE算法处理的样本数据结合BP神经网络代理模型技术,能够在不增加有限元计算任务量的同时提高船体结构极限状态代理模型的精度.

基于SMOTE-GA-CatBoost算法的全国地表水水质分类评价

针对地表水分类评价中水污染特征空间的高冲突性以及水质类别的不均衡性等问题,以7项地表水水质指标为水质评价因子,采用SMOTE过采样技术结合遗传算法和CatBoost模型对全国主要江河和重要湖库分别进行水质分类评价,并与其他4种改进集成算法进行对比.结果表明:SMOTE预处理有效改善样本类别的不均衡性,提高CatBoost模型对少数类水质样本分类的准确性;遗传算法调参有效提高CatBoost模型的收敛速度和分类精度,优化了模型的分类性能;SMOTE-GA-CatBoost模型对江河和湖库的水质分类效果均优于其他4种改进集成分类模型,其对江河水水质分类的准确率、精确率、召回率、F1分别为97.7%、97.8%、96.1%、96.9%,对湖库水水质分类的准确率、精确率、召回率、F1分别为96.7%、96.2%、95.4%、95.8%,该模型可以实现不同水域的水质分类评价.

采用自适应最小化置信下限和SMOTE算法的动态代理模型

利用最优拉丁超立方试验进行初始采样,建立基于自适应最小化置信下限和SMOTE算法的动态径向基函数代理模型.将自适应平衡常数引入到最小化置信下限准则中,通过多岛遗传算法对置信下限进行寻优.根据代理模型精度,在最优解处运用SMOTE算法动态地新增样本点,进而更新代理模型,直至收敛.经过数学算例测试后,将该优化策略应用于深潜器耐压舱的优化中,与其他动态代理模型相比,该策略的优化效率和精度显著提高.

基于SMOTE算法的急性一氧化碳中毒迟发性脑病风险预警模型的构建

目的分析急性一氧化碳中毒迟发性脑病的危险因素,并基于SMOTE算法构建风险预警模型。方法将180例急性一氧化碳中毒患者根据是否发生一氧化碳中毒后迟发性脑病分组,分析患者的临床资料,筛选一氧化碳中毒后迟发性脑病的影响因素,再使用SMOTE算法重建影响因素的原始数据集,从而获得其风险预警模型,并验证模型的预测效能。结果180例患者中有32例发生一氧化碳中毒后迟发性脑病,发生率为17.78%;年龄>60岁、头颅MRI异常、未行高压氧治疗、格拉斯哥昏迷指数评分<9分、昏迷时间>24 h以及肌酸激酶>200 U/L是一氧化碳中毒后迟发性脑病发生的危险因素(P<0.05),从而获得原始数据预警模型P_(1)=1.491X_(1)+1.429X_(2)+1.053X_(3)+1.055X_(4)+1.292X_(5)+1.330X_(6)-4.157和基于SMOTE算法的预警模型P_(2)=1.433X_(1)+1.229X_(2)+1.215X_(3)+1.063X_(4)+1.402X_(5)+1.106X_(6)-5.224。原始数据预警模型AUC曲线下面积为0.805,低于基于SMOTE算法的预警模型0.834。结论年龄>60岁、头颅MRI异常、未行高压氧治疗、GCS评分<9分、昏迷时间>24 h以及肌酸激酶>200 U/L是一氧化碳中毒后迟发性脑病发生的危险因素,基于上述危险因素建立的SMOTE模型预测效能比传统Logistic回归模型更优。

LightGBM混合模型在乳腺癌诊断中的应用

乳腺癌是最常见的癌症种类之一,且患病率每年仍在上升。在不进行手术活检的情况下,通过分析细胞核的各项指标来预测肿块的良性与否,可以有效地为医生提供辅助诊疗并减少患者的痛苦。为此,提出了一种基于LightGBM算法的乳腺癌诊断模型。使用边界-合成少数类过采样算法(borderline-synthetic minority oversampling technique,Borderline-SMOTE)来改善乳腺癌确诊数据不平衡的问题。在麻雀搜索算法(sparrow search algorithm,SSA)中引入PWLCM混沌映射、全新的惯性权重和纵横交叉算法对其进行改进,再运用改进后的SSA算法对Light-GBM的参数进行自动寻优。由于LightGBM对噪点较为敏感,所以提出了一种OVR-Jacobian正则化方法对LightGBM进行降噪处理。使用改进后的LightGBM混合模型对乳腺癌进行诊断。实验结果表明,提出的混合模型在均方误差、决定系数和交叉验证得分这三个指标上均优于常见的模型,显示出其较好的诊断效果。

改进SMOTE的非平衡数据集分类算法研究

针对随机森林和SMOTE组合算法在处理不平衡数据集上存在数据集边缘化分布以及计算复杂度大等问题,提出了基于SMOTE的改进算法TSMOTE(triangle SMOTE)和MDSMOTE(Max Distance SMOTE),其核心思想是将新样本的产生限制在一定区域,使得样本集分布趋于中心化,用更少的正类样本点人为构造样本,从而达到限制样本区域、降低算法复杂度的目的。在6种不平衡数据集上的大量实验表明,改进算法与传统算法相比,算法消耗时间大幅减少,取得更高的G-mean值、F-value值和AUC值。

基于代理模型技术的江海直达船体结构可靠性优化设计

为提高船体结构可靠性优化设计这类多参数、高维度、高非线性优化问题的效率,弥补传统船体结构确定性优化设计对影响结构安全不确定性因素考虑的欠缺,本文以一艘江海直达船为研究对象,采用BP(Back Propagation)神经网络代理模型技术,结合SMOTE(Synthetic Minority Oversampling Technique)过采样算法增加极限状态失效面附近样本点数量,实现以较少的样本点获得较高精度的船体舱段结构极限状态代理模型,进而利用蒙特卡洛抽样模拟方法编制船体结构可靠度计算程序,在结构可靠性分析的基础上以降低船体舱段结构重量为目标,采用模拟退火优化算法开展船体结构可靠性优化设计。本文建立了一套完整有效的、基于代理模型技术的船体结构可靠性优化设计系统,有效提高了优化设计的效率,对江海直达船体结构可靠性优化设计具有指导意义。

基于SMOTE算法的颅脑损伤患者继发精神障碍预警模型

目的分析颅脑损伤患者继发精神障碍的影响因素,同时考虑病例和非病例间数量不平衡的特点,构建基于SMOTE算法的logistic预警模型。方法根据2008年山东省18家医院的颅脑损伤患者继发精神障碍的数据,利用logistic回归分析筛选影响因素并建立基于原始数据的预警模型;在此基础上,采用SMOTE过抽样算法改进数据集,并构建基于改进数据集的精神障碍预警模型。结果额叶脑挫伤、弥漫性轴索损伤、并发颅内感染、颞叶硬膜下血肿、颅盖骨线性骨折、颅内积气、患者性别和颅脑损伤严重程度(GCS评分)均为颅脑损伤患者发生精神障碍的危险因素;而基于SMOTE过抽样算法所构建预警模型的预测效果明显优于利用原始数据所建模型的效果。结论基于SMOTE过抽样算法所构建的预警模型能更准确预测颅脑损伤患者继发的精神障碍。

基于KM-SMOTE和随机森林的不平衡数据分类

基于SMOTE算法的随机森林能够很好地处理不平衡数据集的分类,是一种通过对数据进行改造以达到良好分类要求的分类器。但SMOTE算法在处理不平衡数据后,可能会导致不平衡数据集分布的整体变化以及模糊正负类边界。这两个缺陷极易导致平衡后的数据与原始数据集有很大差异,从而使分类结果有提高但仍旧不够理想。K-means算法能够有效地聚类,并达到对数据分布的描述。在此基础上,结合K-means算法与SMOTE算法,利用两者优点,文中提出了一种基于K-means的KM-SMOTE算法,有效地解决了上述两个问题。并用于随机森林分类器进行实验,结果表明,改进后的算法分类效果更加明显。

SMOTE过采样及其改进算法研究综述

近年来不平衡分类问题受到广泛关注。SMOTE过采样通过添加生成的少数类样本改变不平衡数据集的数据分布,是改善不平衡数据分类模型性能的流行方法之一。本文首先阐述了SMOTE的原理、算法以及存在的问题,针对SMOTE存在的问题,分别介绍了其4种扩展方法和3种应用的相关研究,最后分析了SMOTE应用于大数据、流数据、少量标签数据以及其他类型数据的现有研究和面临的问题,旨在为SMOTE的研究和应用提供有价值的借鉴和参考。

基于SMOTE和决策树算法的电力变压器状态评估知识获取方法

提出基于合成少数过采样技术(SMOTE)算法和决策树算法的电力变压器状态评估知识获取方法,首先针对变压器非正常状态样本数量较少的情况,采用SMOTE算法补充非正常状态样本数量,解决了变压器样本集类别不平衡问题。然后将变压器状态评估过程视为分类过程,利用决策树模型为白箱模型的特点,将变压器状态评估知识获取问题转化为构建决策树的问题。最后采用C4.5决策树算法构建决策树,从中提取变压器状态评估知识,得到关键变压器状态量和评估规则。以某地市级供电公司110 kV电压等级油浸式变压器实际数据开展实例分析,结果表明所提出的方法能实现状态评估知识的自动化获取,可以为该地区110 kV油浸式变压器的状态评估工作提供决策支持。

基于CPD-SMOTE的类不平衡数据分类算法研究

类不平衡现象普遍存在于不同应用领域中,如金融欺诈、网络入侵、垃圾邮件过滤、医学检测,直接采用传统的学习分类算法,分类准确率较低。针对类不平衡情况对分类器的影响,基于传统过采样算法SMOTE(Synthetic Minority Oversampling Technique)算法处理类不平衡的有效性,致力进一步提升SMOTE算法性能,提出一种面向类不平衡数据集分类的改进型SMOTE算法——CPD-SMOTE算法。通过考虑训练集小样本的特征、位置及其周围样本分布,来确定小样本的强相关邻居集,以此作为SMOTE最近邻居集,产生新的小样本。实验结果表明,CPD-SMOTE算法在处理不平衡数据集上相比SMOTE、Borderline-SMOTE、ADASYN、LN-SMOTE等算法有所提高。

基于数据合成与机器学习的6DM气缸体复杂铸件缺陷预测

在汽车核心零部件制造等关键领域,复杂铸件出现缺陷的后果尤为严重,因此对复杂铸件进行缺陷预测并提高其生产质量刻不容缓。本文针对实际铸造过程中采集到的6DM气缸体复杂铸件生产数据中气孔、砂眼等缺陷类别的数据量严重不平衡问题,对基于数据合成与机器学习的6DM气缸体复杂铸件缺陷预测进行研究,梳理了人工神经网络与复杂铸件缺陷预测的研究现状,结合企业现场生产情况,开展了需求分析,获取6DM气缸体复杂铸件生产数据。并基于SMOTE(synthetic minority oversampling technique)算法,创建了合成数据集,采用合成数据集作为训练模型的数据集,预测准确率达到99.37%。结果表明,构建的复杂铸件缺陷预测模型能够准确预测复杂铸件缺陷。

基于SMOTE算法和条件生成对抗网络的到港航班延误分类预测

由于航班延误数据集类别分布不均,传统分类器的性能受到一定程度的制约。为了能够对到港航班延误情况进行精准预测,提出了一种基于合成少数类过采样技术(synthetic minority oversampling technique,SMOTE)算法和条件生成对抗网络(conditional generative adversarial nets,CGAN)的航班延误预测模型。首先,利用SMOTE算法对原始数据集进行上采样,并融合经过训练的CGAN生成指定样本数据集,缓解原始数据集中某些类别样本量少和数据非平衡等问题;再次,采用XGBoost模型在4种模式训练集上进行训练和超参数寻优;最后,以K近邻、支持向量机和随机森林为基准模型进行性能对比分析。经试验分析,通过分类器在融合样本集的训练,整体上可以在一定程度上提高模型的泛化性,尤其在轻度延误和中度延误类别中提升较为明显,与不采用融合方法比较,宏平均下的Precision、Recall、F_(1)-score值分别提升了0.16、0.29、0.24个百分点。实验结果表明,该方法能够有效地对航班延误非平衡数据进行建模,在保持模型整体性能较高的前提下,能够显著地提升少数类的预测能力,可以为空管、航空公司和机场等提供决策依据。

基于SMOTE算法的化疗肿瘤患者下呼吸道感染预警模型构建

目的构建基于少数类样本合成过抽样技术(synthetic minority over-sampling technique,SMOTE)算法的化学治疗(化疗)肿瘤患者下呼吸道感染预警模型。方法共纳入西宁市4所三级医院2019年1月—2021年6月收治的2384例接受化疗的肿瘤患者为研究对象,将所收集病例按照7∶3的比例随机分为建模组1668例和验证组716例,建模组数据用来建立模型,验证组数据对所建立的模型进行验证,利用单因素比较和logistic回归分析筛选下呼吸道感染影响因素,基于SMOTE算法建立化疗肿瘤患者下呼吸道感染预警模型。结果logistic回归分析可得,年龄(x_(1))、身体质量指数(BMI)值是否正常(x_(2))、恶性肿瘤分期(x_(3))、吸烟史(x_(4))、合并糖尿病(x_(5))、合并肺部疾病(x_(6))均是化疗肿瘤患者下呼吸道感染的危险因素(均P<0.01),获得原始数据预警模型:Logit(P)=0.055x_(1)+0.967x_(2)-0.195x_(3)+1.383x_(4)+0.968x_(5)+0.939x_(6)-14.073和基于SMOTE算法的预警模型:Logit(P)=0.090x_(1)+1.092x_(2)-0.249x_(3)+1.724x_(4)+1.136x_(5)+1.344x_(6)-14.859。基于SMOTE算法预警模型AUC为0.949(95%CI:0.937~0.961),高于原始数据预警模型AUC 0.780(95%CI:0.734~0.846)。结论基于SMOTE算法所构建的预警模型能更准确预警化疗肿瘤患者下呼吸道感染,有效解决感染与非感染患者样本数据不平衡所导致的预测误差,基于预测模型可选择相应的对策进行应对。

融合最大相异系数密度的SMOTE算法的入侵检测方法

基于机器学习的入侵检测方法应用于非平衡入侵数据集时,大多专注于提升整体检测率与降低整体漏报率,但少数类的检测率较低,在实际应用中良好的少数类分类性能同样具有重要意义。因此,文章提出一种基于最大相异系数密度的SMOTE(Synthetic Minority Oversampling Technique)算法与深度信念网络(DBN)和梯度提升决策树(GBDT)的入侵检测方法。其核心思想为:在数据预处理阶段,应用基于最大相异系数密度的SMOTE算法进行数据过采样及深度信念网络进行特征提取,提高少数类样本数量同时降低样本维数;在生成的平衡数据集上,训练梯度提升决策树分类器,并利用NSLKDD数据集进行了实验验证。实验结果表明,所提方法在保持较高的整体检测率的同时,少数类检测效果提升明显,提升了入侵检测方法对于少数类攻击的检测能力。

非平衡数据集的改进SMOTE再抽样算法

非平衡数据集的不均衡学习特点通常表现为负类的分类效果不理想。改进SMOTE再抽样算法,将过抽样和欠抽样方式有机结合,有针对性地选择近邻并采用不同策略合成样本。实验表明,分类器在经此算法处理后的非平衡数据集的正负两类上,均可获得较理想的分类效果。

基于SMOTE和XGBoost的贷款风险预测方法

近年来,随着在线信贷的飞速发展,贷款总量不断加大,违约概率不断提升。因此对贷款风险进行深入研究,对在线信贷企业预防互联网金融风险是非常具有现实意义的。针对贷款数据非平衡分布、大量噪声、维度高的问题,本文提出一种基于SMOTE和XGBoost的贷款风险预测方法。通过特征工程对数据进行降维和去噪;针对数据的非平衡问题,使用SMOTE算法进行过采样,平衡正负样本数目;基于以上工作,构建XGBoost分类模型,与一些传统分类算法进行对比,然后对比在不同正负样本比例时,预测结果的有效性。实验表明,相比于传统分类模型,XGBoost算法在贷款风险预测模型中具有更好的效果,通过SMOTE算法增加少数类样本的比例可以提高预测结果的有效性。