A Stacking Machine Learning Model for Student Performance Prediction Based on Class Activities in E-Learning

After the spread of COVID-19,e-learning systems have become crucial tools in educational systems worldwide,spanning all levels of education.This widespread use of e-learning platforms has resulted in the accumulation of vast amounts of valuable data,making it an attractive resource for predicting student performance.In this study,we aimed to predict student performance based on the analysis of data collected from the OULAD and Deeds datasets.The stacking method was employed for modeling in this research.The proposed model utilized weak learners,including nearest neighbor,decision tree,random forest,enhanced gradient,simple Bayes,and logistic regression algorithms.After a trial-and-error process,the logistic regression algorithm was selected as the final learner for the proposed model.The results of experiments with the above algorithms are reported separately for the pass and fail classes.The findings indicate that the accuracy of the proposed model on the OULAD dataset reached 98%.Overall,the proposed method improved accuracy by 4%on the OULAD dataset.

基于Stacking-SHAP的煤自燃倾向性影响因素研究

为对煤自燃倾向性做出准确的预测,挖掘不同煤样属性对煤自燃倾向性的贡献程度,提出基于Stacking-SHAP的煤自燃倾向性预测模型。分别将煤体自身属性及其自燃倾向性综合判定指数作为模型输入和输出。该模型融合支持向量回归(SVR)、极限梯度提升归回树(XGBoost)、随机森林(RandomForest)、梯度提升决策树(GBDT),并利用网格搜索法对各基础模型参数进行优化,同时结合SHAP算法对不同影响因素的贡献度进行计算。结果显示,优化后的SVR、XGBoost、RF、GBDT和Stacking的判定系数R^(2)分别为0.933、0.887、0.950、0.925、0.984。在煤自燃倾向性影响因素中,重要性程度靠前的特征依次是氧含量、挥发分含量、脂肪烃峰面积值、C/H、羟基峰面积值以及总孔体积共6种特征。模型的建立为煤自燃倾向性预测与煤自燃灾害防治提供了一种新方法。

Boosted Stacking Ensemble Machine Learning Method for Wafer Map Pattern Classification

Recently,machine learning-based technologies have been developed to automate the classification of wafer map defect patterns during semiconductormanufacturing.The existing approaches used in the wafer map pattern classification include directly learning the image through a convolution neural network and applying the ensemble method after extracting image features.This study aims to classify wafer map defects more effectively and derive robust algorithms even for datasets with insufficient defect patterns.First,the number of defects during the actual process may be limited.Therefore,insufficient data are generated using convolutional auto-encoder(CAE),and the expanded data are verified using the evaluation technique of structural similarity index measure(SSIM).After extracting handcrafted features,a boosted stacking ensemble model that integrates the four base-level classifiers with the extreme gradient boosting classifier as a meta-level classifier is designed and built for training the model based on the expanded data for final prediction.Since the proposed algorithm shows better performance than those of existing ensemble classifiers even for insufficient defect patterns,the results of this study will contribute to improving the product quality and yield of the actual semiconductor manufacturing process.

基于FIR-Stacking的刀具磨损预测

针对铣刀加工工件时传感器信号存在噪声、单一传统机器学习模型预测效果不理想的问题,提出一种基于自适应FIR滤波器和Stacking集成模型的刀具磨损预测方法。首先,采用自适应FIR滤波器去噪,计算时域、频域和时频域常用统计量作为信号特征,并对同一信号的多源信号特征进行拼接,经Pearson相关系数筛选保留相关系数大于0.2的特征;最后,以LightGBM、支持向量回归(support vector regression,SVR)、多层感知机(multilayer perceptron,MLP)作为基模型,Lasso作为元模型,构建Stacking集成模型进行刀具磨损预测。使用铣削加工数据集进行验证,结果表明该方法可有效提高预测准确性。

基于Stacking算法集成学习的页岩油储层总有机碳含量评价方法

总有机碳含量(TOC)是页岩油储层评价的重要参数,而传统总有机碳含量测井评价方法精度较低且普适性较差,机器学习模型在一定程度上提高了总有机碳含量预测精度,但结果存在不稳定性。为了进一步提高页岩油储层总有机碳含量预测精度,基于有机质岩石物理特征和不同总有机碳含量测井响应特征的深入分析,优选出深侧向电阻率、声波时差、补偿中子和密度测井曲线作为总有机碳含量的敏感测井响应,并将其作为输入特征,以岩心分析总有机碳含量作为期望输出值,分别建立了决策树模型、支持向量回归机模型、BP(Back Propagation)神经网络模型,并建立了以决策树模型为基模型、支持向量回归机模型为元模型的Stacking算法集成学习模型。利用B油田A区块的岩心样本数据和实际井数据对不同模型预测总有机碳含量结果进行了验证,结果表明,基于Stacking算法的集成学习模型的总有机碳含量预测精度最高,相较于决策树模型、支持向量回归机模型、BP神经网络模型和改进的ΔlgR法,预测精度有较大提高。因此,基于Stacking算法的集成学习模型为该研究区最有效的总有机碳含量计算方法,这为准确地评估页岩油储层的生烃潜力、确保页岩油储层的高效开采及资源利用奠定了基础。

基于钻进参数实时预测土体力学性质的Stacking集成模型

岩土体物理力学参数对工程勘察、设计、施工等作业不可或缺,但常规取样试验或原位检测均存在明显的精度误差。据此本文提出基于勘察钻探的实时钻进参数,建立基于机器学习的随钻土体物理力学参数模型。通过采集位于珠海市国家高新技术产业开发区内20 m勘探孔的真实数据,将EP-200G型钻机实时随钻采集的钻压、扭矩和三轴振动作为输入数据,将全孔土体粘聚力、内摩擦角、含水量与弹性模量试验数据作为输出。基于建模数据分析,证明使用单算法的3类机器学习模型(支持向量机、神经网络和决策树)的预测精度最高仅为0.78,而基于Stacking理念的集成模型可将预测精度提升至最高0.98。结合该模型,进行了随钻参数与土体参数间的敏感性分析,证实当不同土体参数发生变化时,不同随钻参数会发生明显变化,证明了随钻参数预测土体参数的可靠性与适用性。

基于Stacking集成学习模型的苹果树逐日蒸散量模拟研究

为准确模拟苹果树逐日蒸散量,以支持向量机(SVM)、多层感知机(MLP)、随机森林(RF)和梯度提升决策树(GBDT)为初级学习器,以多元线性回归(MLR)为次级学习器,基于Stacking策略建立集成学习模型(LSM),将LSM模型的模拟精度与MLR、SVM、MLP、RF、GBDT模型的模拟精度进行对比。结果表明,影响苹果树蒸散量的主要因子为日平均太阳辐射、相对湿度、风速、温度和日序数,最大互信息值分别为0.97、0.72、0.63、0.62、0.60,表层土壤温度及土壤含水率对蒸散量的影响较小。相比于MLR、SVM、MLP、RF、GBDT模型,LSM模型的模拟精度最高,MLR模型的模拟精度最低;使用日平均太阳辐射、相对湿度、风速、温度及日序数5个特征参数在准确模拟苹果树蒸散量的同时,还能降低特征的获取成本。研究结果可为苹果树逐日蒸散量的精准模拟提供有效方法。

Detection and defending the XSS attack using novel hybrid stacking ensemble learning-based DNN approach

Existing web-based security applications have failed in many situations due to the great intelligence of attackers.Among web applications,Cross-Site Scripting(XSS)is one of the dangerous assaults experienced while modifying an organization's or user's information.To avoid these security challenges,this article proposes a novel,all-encompassing combination of machine learning(NB,SVM,k-NN)and deep learning(RNN,CNN,LSTM)frameworks for detecting and defending against XSS attacks with high accuracy and efficiency.Based on the representation,a novel idea for merging stacking ensemble with web applications,termed“hybrid stacking”,is proposed.In order to implement the aforementioned methods,four distinct datasets,each of which contains both safe and unsafe content,are considered.The hybrid detection method can adaptively identify the attacks from the URL,and the defense mechanism inherits the advantages of URL encoding with dictionary-based mapping to improve prediction accuracy,accelerate the training process,and effectively remove the unsafe JScript/JavaScript keywords from the URL.The simulation results show that the proposed hybrid model is more efficient than the existing detection methods.It produces more than 99.5%accurate XSS attack classification results(accuracy,precision,recall,f1_score,and Receiver Operating Characteristic(ROC))and is highly resistant to XSS attacks.In order to ensure the security of the server's information,the proposed hybrid approach is demonstrated in a real-time environment.

基于Stacking集成学习的机械钻速预测方法

机械钻速是评估石油天然气钻井作业效率的重要指标。为准确预测新疆工区某油田钻井机械钻速,基于该工区的历史钻井数据,利用局部离群因子检测算法对数据进行预处理,建立了基于Stacking集成学习的机械钻速预测模型,该模型通过Stacking集成策略融合K近邻算法(KNN)、支持向量机算法(SVM)和随机森林算法(RF)进行预测验证。预测验证结果显示,分类准确度不高。运用遗传算法进行各基础模型参数优化。优化后,基于KNN、SVM、RF及Stacking集成4种算法,预测机械钻速准确率分别为73.7%、78.9%、81.6%及97.4%,其中Stacking集成模型预测准确率最高。基于Stacking集成学习的机械钻速预测方法开发了机械钻速预测软件,运用软件预测其他2套施工参数下的机械钻速,结果表明,预测机械钻速与实际机械钻速一致,且性能稳定,表明该模型拥有较强的泛化性和较高的预测精度。该智能算法可为新疆工区的该油田机械钻速预测与钻井施工参数优化提供一种新手段。

基于Stacking集成学习的盾构掘进地表沉降预测方法

为提高盾构施工中地表最终沉降预测模型的准确性和泛化性,结合主成分分析(PCA)和多层堆叠集成算法(Multi-layer Stacking)提出PCA-Stacking盾构掘进地表沉降预测方法。该方法利用PCA算法对盾构掘进过程中产生的大量数据进行处理,以减少特征维度并提取关键信息;此外,通过多层Stacking算法将多个异质模型进行融合,在提高模型预测性能的同时避免子模型间的优化比选。依托上海市北横通道超大直径盾构隧道工程,对盾构工程中的多源数据进行处理,对比PCA处理前后Stacking模型的性能,并将PCA-Stacking模型与RF、XGBoost模型进行对比。研究结果表明:1)PCA处理前后,Stacking模型的R 2分别为0.792和0.831,PCA对Stacking模型性能有一定提高;2)超参数优化后,RF和XGBoost的R 2分别为0.748和0.612,其性能弱于未进行超参数优化的PCA-Stacking;3)PCA-Stacking模型对地表隆起、沉降变化高度都具有良好的预测能力;4)在盾构掘进地表沉降预测方面,异质子模型的PCA-Stacking算法优于同质子模型的集成算法。

VMD-Stacking集成学习的多特征变量短期负荷预测模型

针对当前短期电力负荷预测结果准确度不够高的问题,提出一种由变分模态分解(variational modal decomposition, VMD)和Stacking集成学习框架组合的多特征变量短期负荷预测模型。在预测前使用VMD算法将负荷数据分解,然后加入对模型重要性较高的特征变量,再建立由轻量级梯度提升机(light gradient boosting machine, LightGBM)与极限梯度提升机(extreme gradient boosting, XGBoost)融合的Stacking集成学习预测模型,并比较不同天气情况下对预测模型准确度的影响。经实际算例对比验证表明:多特征的VMD-Stacking集成学习预测模型的误差较小。采用VMD算法分解历史负荷序列,分解后子模态分量的周期性体现了出来,让模型预测波动性较大的负荷时更容易;温度、天气、农历和节假日情况等影响负荷变化的关键因素有被考虑到,模型的准确度得以提高;Stacking集成学习模型对各算法取长补短,泛化能力增强,预测的准确度高于单一模型。

Deploying Hybrid Ensemble Machine Learning Techniques for Effective Cross-Site Scripting(XSS)Attack Detection

Cross-Site Scripting(XSS)remains a significant threat to web application security,exploiting vulnerabilities to hijack user sessions and steal sensitive data.Traditional detection methods often fail to keep pace with the evolving sophistication of cyber threats.This paper introduces a novel hybrid ensemble learning framework that leverages a combination of advanced machine learning algorithms—Logistic Regression(LR),Support Vector Machines(SVM),eXtreme Gradient Boosting(XGBoost),Categorical Boosting(CatBoost),and Deep Neural Networks(DNN).Utilizing the XSS-Attacks-2021 dataset,which comprises 460 instances across various real-world trafficrelated scenarios,this framework significantly enhances XSS attack detection.Our approach,which includes rigorous feature engineering and model tuning,not only optimizes accuracy but also effectively minimizes false positives(FP)(0.13%)and false negatives(FN)(0.19%).This comprehensive methodology has been rigorously validated,achieving an unprecedented accuracy of 99.87%.The proposed system is scalable and efficient,capable of adapting to the increasing number of web applications and user demands without a decline in performance.It demonstrates exceptional real-time capabilities,with the ability to detect XSS attacks dynamically,maintaining high accuracy and low latency even under significant loads.Furthermore,despite the computational complexity introduced by the hybrid ensemble approach,strategic use of parallel processing and algorithm tuning ensures that the system remains scalable and performs robustly in real-time applications.Designed for easy integration with existing web security systems,our framework supports adaptable Application Programming Interfaces(APIs)and a modular design,facilitating seamless augmentation of current defenses.This innovation represents a significant advancement in cybersecurity,offering a scalable and effective solution for securing modern web applications against evolving threats.

Predicting depression in patients with heart failure based on a stacking model

BACKGROUND There is a lack of literature discussing the utilization of the stacking ensemble algorithm for predicting depression in patients with heart failure(HF).AIM To create a stacking model for predicting depression in patients with HF.METHODS This study analyzed data on 1084 HF patients from the National Health and Nutrition Examination Survey database spanning from 2005 to 2018.Through univariate analysis and the use of an artificial neural network algorithm,predictors significantly linked to depression were identified.These predictors were utilized to create a stacking model employing tree-based learners.The performances of both the individual models and the stacking model were assessed by using the test dataset.Furthermore,the SHapley additive exPlanations(SHAP)model was applied to interpret the stacking model.RESULTS The models included five predictors.Among these models,the stacking model demonstrated the highest performance,achieving an area under the curve of 0.77(95%CI:0.71-0.84),a sensitivity of 0.71,and a specificity of 0.68.The calibration curve supported the reliability of the models,and decision curve analysis confirmed their clinical value.The SHAP plot demonstrated that age had the most significant impact on the stacking model's output.CONCLUSION The stacking model demonstrated strong predictive performance.Clinicians can utilize this model to identify highrisk depression patients with HF,thus enabling early provision of psychological interventions.

基于RF-RFECV和Stacking集成学习的脑卒中预测研究

脑卒中具有发病率高、死亡率高和致残率高的特点,提早发现和治疗显得至关重要。在脑卒中预测方法中,机器学习相对于其他方法具有更好的表现。针对传统的单一机器学习模型在预测的精度或稳定性上都存在局限性的问题,提出了一种基于RF-RFECV和Stacking集成学习的脑卒中预测方法。通过实验证明,该方法可以有效地降低特征维度,获得最优特征子集,与其他的单一模型以及其他集成算法模型相比,Stacking模型的预测精度明显提升,可以更有效地预测脑卒中。

Stacking集成模型模拟膜下滴灌玉米逐日蒸散量和作物系数

为准确模拟膜下滴灌玉米逐日蒸散量和作物系数,该研究以4个经典机器学习模型:随机森林(Random Forest,RF)、支持向量机(Support Vector Machine,SVM)、BP神经网络(Back Propagation Neural Network,BP)和Adaboost集成学习模型(Adaboost,ADA)为基础,基于Stacking算法建立了集成学习模型(Linear Stacking Model,LSM)对膜下滴灌玉米逐日蒸散量和作物系数进行模拟。并将LSM的模拟精度与RF、SVM、BP和ADA模型的模拟精度相比较,结果表明:1)RF、SVM、BP和ADA模型模拟膜下滴灌玉米的逐日蒸散量和作物系数时的相对均方根误差均大于0.2;2)相比RF、SVM、BP和ADA模型,LSM模型提高了玉米逐日蒸散量和作物系数模拟精度。LSM模拟的膜下滴灌玉米的作物系数相比于FAO推荐值更接近实测值;3)日序数、平均温度、株高、叶面积指数和短波辐射5个特征对玉米膜下滴灌玉米日蒸散量和作物系数影响最高,基于这5个特征建立的LSM模型模拟膜下滴灌玉米的蒸散量和作物系数的R2分别为0.9和0.89,相对均方根误差分别为0.23和0.16。因此,建议在该研究区使用日序数、平均温度、株高、叶面积指数和短波辐射5个特征参数建立LSM模型模拟膜下滴灌玉米蒸散量和作物系数。该研究可为高效节水条件下作物蒸散量和作物系数的精准模拟和合理制定灌溉制度提供参考。

基于Stacking元学习策略的电力系统暂态稳定评估

为提高电力系统暂态稳定评估单个模型的准确率,研究了基于元学习策略的暂态稳定评估问题,提出了支持向量机、决策树、朴素贝叶斯和K最近邻法作为基学习算法,线性回归为元学习算法的Stacking评估模型。该模型将上述基学习算法的概率输出作为新训练数据的输入特征,同时保留原始的类标识。线性回归算法在新训练集上学习得到最终暂态稳定评估结果。新英格兰39节点测试系统和IEEE50机测试系统上仿真实现了该模型,仿真结果证明所提模型比单个模型的评估性能更好,为电力系统暂态稳定评估提供了新的思路。

基于Stacking集成学习的注塑件尺寸预测方法

机器学习算法能够处理高维和多变量数据,并在复杂和动态环境中提取数据中的隐藏关系,在注塑件尺寸预测中具有很好的应用前景。注塑件尺寸预测系统的性能取决于机器学习算法的选择,然而,传统的机器学习算法在实际应用中不能达到很好的预测效果。为此,文中提出了一种基于Stacking集成学习的融合模型,首先采用优化的特征选择方法获得最佳的特征数量,然后通过对比分析单一模型的关联度和预测效果、不同Stacking学习器组合方式下模型的预测效果,得到预测性能最佳的模型,该模型的基学习器为极端梯度提升树(XGB)、轻量级梯度提升树(LGB)、核岭回归,元学习器为弹性网络回归。测试结果表明:该模型在注塑件尺寸预测方面的均方根误差和平均绝对误差较XGB和LGB模型分别降低了16%和20%左右,较传统支持向量机模型分别降低了45.22%和46.48%,同时模型预测结果可根据特征解释回溯到实际生产中,为制造工艺和工序的优化提供决策指导。

Stacking集成学习方法在销售预测中的应用

为了提高单一预测模型在销售预测中的性能,提出一种在多机器学习模型融合下基于Stacking集成策略的销售预测方法。将数据划分为四个同分布的数据集;基于各数据集训练多个基学习器;以XGBoost算法为元学习器构建两层Stacking集成学习方法;使用德国Roseman超市在Kaggle平台上的销售数据对算法进行验证。实验结果表明:在Stacking模型中,元学习器利用各基学习器的算法优势提升了模型的预测性能,相比单个模型在测试集上的均方根百分误差,Stacking模型最高减少了23.5%,最低减少了1.8%。

基于Stacking集成学习的土壤侵蚀速率计算与主导因子分析--以三峡库区奉节县为例

土壤侵蚀速率的计算是水土保持工作的关键之一。为提高计算精度,引入Stacking集成方法,利用其能充分融合不同机器学习模型的特点,获取高精度的土壤侵蚀速率空间分布数据并分析影响研究区土壤侵蚀速率的主导因子。基于重庆市奉节县三峡库区2018年降雨量、遥感影像等数据构建特征集,以奉节县土壤侵蚀速率真实数据作为基准,通过训练不同机器学习模型,使用精度评价指标和多样性度量来建立最优的基学习器和元学习器组合,构建Stacking模型并获取土壤侵蚀速率空间分布图,然后针对土壤侵蚀速率分布规律对其主导因子进行边际依赖性分析。结果表明:1)以轻型梯度提升机、随机森林为基学习器,线性回归器为元学习器的Stacking集成模型效果最优,平均绝对误差、均方根误差和决定系数的表现分别为252.48 t/(km^(2)·a)、537.78 t/(km^(2)·a)和0.8687;2)高程、降雨量、植被覆盖、坡度、距道路距离和距水源距离对奉节县土壤侵蚀速率影响程度排序位于前6,重要性所占比例均超过9%;3)在高程200~520 m,年总降雨量高于1250 mm,NDVI为0.24~0.27,坡度在26°~35°之间,距道路距离0~220 m,距水源地距离63~387 m的地区土壤侵蚀速率较高。综上,构建的Stacking模型能够有效融合不同模型优势,提升预测土壤侵蚀速率的精度;奉节县土壤侵蚀速率受多方面因素综合影响,总体上与高程、植被覆盖程度之间呈正相关关系,与降雨量、坡度之间呈负相关关系,较高速率的土壤侵蚀倾向于发生在降雨充沛、植被覆盖度低、距道路及水源较近的低海拔陡峭区域。

一种Stacking集成结构的台风灾害下停电空间预测方法

为提高电网公司防灾减灾能力,考虑电网、气象、地理等因素,从统计学习的角度提出一种台风灾害下停电空间预测方法。首先,以1 km×1 km网格为单位收集数据,并进行标准化、分类变量独热编码处理与筛选、构造特征等处理后作为模型输入数据。其次,选取随机森林、梯度提升决策树、自适应提升、K最近邻、支持向量机、极限树、决策树以及XGBoost等算法,利用Stacking集成技术构造停电空间预测模型。最后,以广东省某县为研究对象,对模型的停电空间预测性能进行验证。在台风“彩虹”下的预测准确率为0.7776,召回率为0.9140。结果验证了在台风灾害下该模型对停电空间预测的可行性与有效性。