BP-Adaboost集成学习算法在地铁施工沉降预测中的应用研究

为解决传统地铁施工沉降预测模型中沉降不随时间有序线性变化的问题,文章基于BP神经网络结合Adaboost增强学习方法构建BP-Adaboost集成学习预测算法,并将其应用于某地铁基坑施工地表沉降预测。实践表明,应用BP-Adaboost集成学习算法预测地铁施工地表沉降,不仅能够满足相关规范限值要求,而且相较于BP神经网络算法、灰色GM(1,1)算法其与实测数据的拟合精度更高,能够更好地反应地铁施工地表沉降规律,可为地铁施工安全提供技术保障。

基于重采样和混合集成学习的不平衡窃电检测

针对电力用户类别不平衡导致窃电检测具有偏向性问题,该文提出一种基于重采样和混合集成学习的不平衡窃电检测模型。首先以Easy-ensemble混合集成学习框架为基础确定最佳采样子集数;然后通过重采样自适应策略,即根据用户用电数据集的不平衡度以及最佳采样子集数确定检测模型的重采样方式,使用电数据达到平衡;最后按照先串行集成减小偏差、后并行集成降低方差的混合集成方式,对重采样后的均衡样本进行窃电检测。算例对比分析表明所提检测模型通过重采样和混合集成有效解决了传统集成算法在不平衡窃电检测中的偏向问题,降低了由于用电数据的不平衡性对集成结果的影响,提高了用户类别不平衡的窃电检测效果,在多种不平衡度下模型的准确率、F1值和G均值均表现优异。

面向不同类型概念漂移的两阶段自适应集成学习方法

大数据时代,流数据大量涌现.概念漂移作为流数据挖掘中最典型且困难的问题,受到了越来越广泛的关注.集成学习是处理流数据中概念漂移的常用方法,然而在漂移发生后,学习模型往往无法对流数据的分布变化做出及时响应,且不能有效处理不同类型概念漂移,导致模型泛化性能下降.针对这个问题,提出一种面向不同类型概念漂移的两阶段自适应集成学习方法(two-stage adaptive ensemble learning method for different types of concept drift,TAEL).该方法首先通过检测漂移跨度来判断概念漂移类型,然后根据不同漂移类型,提出“过滤-扩充”两阶段样本处理机制动态选择合适的样本处理策略.具体地,在过滤阶段,针对不同漂移类型,创建不同的非关键样本过滤器,提取历史样本块中的关键样本,使历史数据分布更接近最新数据分布,提高基学习器有效性;在扩充阶段,提出一种分块优先抽样方法,针对不同漂移类型设置合适的抽取规模,并根据历史关键样本所属类别在当前样本块上的规模占比设置抽样优先级,再由抽样优先级确定抽样概率,依据抽样概率从历史关键样本块中抽取关键样本子集扩充当前样本块,缓解样本扩充后的类别不平衡现象,解决当前基学习器欠拟合问题的同时增强其稳定性.实验结果表明,所提方法能够对不同类型的概念漂移做出及时响应,加快漂移发生后在线集成模型的收敛速度,提高模型的整体泛化性能.

基于特征提取和集成学习的个人信用评分方法

在大数据蓬勃发展的今天,信息经济已经深入社会方方面面,个人信用体系建设的重要性越发突出。而传统的信用体系存在覆盖率不足、评价特征维度高、数据孤岛等问题,为了解决以上问题,提出一种基于特征提取和Stacking集成学习的个人信用评分方法(PSL-Stacking)。方法首先利用Pearson和Spearman系数对数据进行初始化分析剔除不相关数据,利用LightGBM算法进行特征选择,减少冗余特征对模型的影响;其次选取XGboost、LightGBM、Random Forest以及Huber回归等算法,利用Stacking集成学习技术构造个人信用评分模型。最后,以某电信数据为研究对象,对该上述模型的个人信用评分能力进行验证。实验结果得出上述模型具有很好的预测能力,能够准确的对用户信用进行评分,有效降低企业遭受金融欺诈、团伙套利等问题的风险。

使用异质集成学习和心电信号异构特征融合的睡眠呼吸暂停分类方法

睡眠呼吸暂停(SA)会影响睡眠质量,增加心脑血管疾病风险,其准确分类有助于在SA早期阶段及时开展针对性治疗。本文提出一种使用异质集成学习和异构特征融合的SA分类新方法。首先从原始心电信号中提取小波时频谱,使用SE-ResNet作为初级分类器;然后提取RR间期序列和R峰值序列,使用1D CNN-LSTM作为初级分类器;再提取心率变异性特征,使用SVM作为初级分类器。最后采用堆叠法作为异质集成学习的融合策略,再使用另一个SVM作为次级分类器实现SA分类。在Apnea-ECG数据集上进行实验,所提出的SA分类方法的准确率为89.12%。实验结果表明,所提方法有效利用了各初级分类器的多样性和异构特征的互补性,其性能优于传统的SA分类方法。

口令攻击的集成学习模型构建方法

多年来,研究者们提出了多种不同的口令模型,提高了口令攻击的效率,其中包括基于概率上下文无关模型、马尔可夫模型等不同原理的方法,它们分别捕捉了口令中不同方面的特征,这使得通过这些不同特征结合到一起来提高攻击效率成为可能.另一方面,在机器学习领域被广泛使用的集成学习方法能够整合多种模型来学习数据集中的不同特征,因此本文提出将集成学习应用于口令生成领域.本文提出了可扩展的集成口令攻击方法,并重点描述它的两个实例,通过分析多个重要的影响因素,以及进行大量实验来研究它们对攻击性能的影响.本文提出的集成口令攻击方法可以显著提升攻击效率,实验结果表明它相对于经典口令模型有着更高的攻击成功率,尤其是在跨站攻击的场景中,有近20%的提升.

基于THz成像和集成学习的番茄根长表型提取及预测

为检测番茄根系表型,该研究基于THz(Terahertz)成像和集成学习提出一种根系检测技术。首先,对20天生长过程中番茄根系进行多次THz成像。其次,对最优重构后的根系THz伪彩色图去除根系重叠和主根区域的噪声数据。再次,采用Rosenfeld细化算法和滑动窗口遍历法计算根系长度。最后,提取根系有效区域中THz时域光谱和折射率光谱,由Stacking集成模型对番茄根长进行预测。由THz成像计算的番茄根长结果误差小,平均相对误差仅为4.16%;由THz时域数据预测的根长与计算得到的根长之间最大决定系数为0.999,最小均方根误差为0.743 cm;由折射率光谱数据预测根长的最大决定系数为0.998,最小均方根误差为0.976 cm。该方法不仅能根据THz图像准确地计算出番茄根系的长度,还能由番茄根系的THz光谱有效地预测番茄根长表型,该研究为根系表型检测方法提供了理论依据。

集成学习框架下的车辆跟驰行为建模

为了提高复杂行驶环境下车辆跟驰行为预测精度,提出了一种集成学习框架下融合理论驱动模型和数据驱动模型的车辆跟驰行为建模方法。基于stacking集成学习框架,选择理论驱动的智能驾驶模型(IDM)、考虑车辆队列和周围行驶条件因素的数据驱动的长短时记忆(LSTM)网络和门控循环单元(GRU)网络作为跟驰行为特征的一级学习算法,选择3种线性和8种非线性回归方法作为备选二级学习算法来融合一级学习器的输出特征。通过对比使用实际车辆轨迹数据计算的模型预测精度,确定了最优模型。研究结果表明:包含车辆队列和周围行驶条件变量的数据驱动跟驰模型比IDM模型的预测精度更高;多数情况下采用非线性二级学习算法的融合跟驰模型的预测精度高于IDM模型、数据驱动跟驰模型以及采用线性二级学习算法的融合跟驰模型;分别采用GBRT回归和随机森林回归作为二级学习算法的IDM-LSTM-stacking模型和IDM-GRU-stacking模型具有最高的预测精度;外界干扰下的融合跟驰模型稳定性优于单一的理论和数据驱动跟驰模型。集成学习为驾驶行为建模提供了新方法。

结合LSTM自编码器与集成学习的井漏智能识别方法

为了解决传统的井漏智能识别模型因井漏样本数量受限导致其识别准确率低的问题,提出了一种长短期记忆(long short-term memory,LSTM)网络与自编码器(auto-encoder,AE)相结合、集成LSTM-AE的井漏智能识别方法。首先,采用正常样本训练多个包含不同隐藏层神经元数目的LSTM-AE模型,利用重构得分筛选出识别效果较好的几个模型作为基识别器;然后,采用集成学习对多个基识别器的识别结果进行加权融合,解决单一模型因对样本局部特征过度学习导致的误报与漏报问题,提高模型的识别准确率。从某油田18口井的钻井数据中选取了6000组正常钻进状态下的立压、出口流量、池体积数据,对集成LSTM-AE模型进行训练和测试,结果表明,提出方法的识别准确率达到了94.7%,优于其他常用的智能模型的识别结果,为井漏识别提供了一种新的技术途径。

大坝渗压混合预测的STL分解-集成学习模型

针对目前大坝渗压预测研究大多未区分影响因素对渗压不同特征成分贡献的差异,降低了模型的可解释性,且现有的预测模型大多采用单一算法,存在难以区分具有高度非线性和非稳态混合特征的渗流压力序列模式等问题,本文提出一种基于STL分解和集成学习策略的渗压可解释混合预测模型。该模型首先通过时间序列分解(STL)将原始渗压时间序列分解为季节项、趋势项和余项,以避免现有模型在渗流压力预测中模式混淆的不足;然后,不同成分的变化特征可采用多策略改进麻雀搜索算法(MSISSA)优化的核极限学习机(KELM)和卷积神经网络组合门控递归单元(CNN-GRU)组成的集成学习模型来识别;此外,还采用单次单因子法(OFAT)分析影响因素对渗流压力不同特征成分的贡献,从而改变输入因素的权重,以提高模型的可解释性。案例分析结果表明,在确保模型可解释性的同时,所提出的混合模型与基于单一算法的模型相比,预测精度平均提高了48.44%;与其他集成预测模型相比,预测精度平均提高了11.42%,验证了所提模型的有效性,为大坝渗流安全监控提供了新的建模方法。

融合迁移学习和集成学习的服装风格图像分类方法

针对服装风格人工分类受主观性、地域等因素影响而造成的分类错误问题,研究了一种基于人工智能的服装风格图像分类方法。首先,在FashionStyle14数据集基础上筛除重复或无效图像,构建服装风格图像数据集;然后,采用迁移学习方法,对EfficientNet V2、RegNet Y 16GF和ViT Large 16等模型进行微调训练,生成新模型,实现基于单个深度学习的服装风格图像分类;最后,为进一步提高图像分类的准确性、可靠性和鲁棒性,分别采用基于投票、加权平均和堆叠的集成学习方法对上述单个模型进行组合预测。迁移学习实验结果表明,基于ViT Large 16的深度学习模型在测试集上表现最佳,平均准确率为77.024%;集成学习方法实验结果显示,基于投票的集成学习方法在相同测试集上平均准确率可达78.833%。研究结果为解决服装风格分类问题提供了新的思路。

基于集成学习与深度学习的洪水径流预报研究

深度学习模型凭借其对水文因素间复杂作用的优秀处理能力,在水文预报领域得到了一定的应用,然而,针对集成学习与深度学习耦合模型的研究仍有所缺失。通过融合集成学习AdaBoost算法与深度学习Informer模型,提出了一种组合模型,称为AdaBoost-Informer模型,以提高洪水径流预报的精度。该模型以历史雨量和径流数据作为数据输入,将具备长时序依赖捕获能力的Informer作为集成学习的弱预测器,使用网格搜索法进行超参数调优,使用AdaBoost集成学习算法对弱预测器进行加权组合得到强预测器。在浙江省椒江流域的应用分析表明:对比Random Forest、AdaBoost、Transformer、Informer等模型,AdaBoost-Informer模型表现最佳,RMSE为62.08 m^(3)/s,MAE为23.83 m^(3)/s,NSE为0.980,预报合格率为100%。所提模型可有效提高洪水预报精度,为防汛抢险和防洪系统调度提供决策依据。

近红外光谱结合Stacking集成学习的猕猴桃糖度检测研究

利用近红外光谱技术Stacking集成学习对猕猴桃糖度的无损检测。以湖北“云海一号”猕猴桃为研究对象,采用红外分析仪获取了280个样本的光谱数据,包含了4000~10000cm^(-1)范围内的1557个波长数据,使用折射仪测量糖度值。通过蒙特卡洛随机采样结合T检验的奇异样本识别算法筛除异常值样本。利用SPXY算法按照4∶1的比例划分训练集和测试集。使用多元散射校正(MSC)、SG平滑滤波(SG)、趋势校正(DT)、矢量归一化(VN)、标准正态变换(SNV)五种方法对数据进行预处理。使用无信息变量消除法(UVE)、竞争性自适应重加权算法(CARS)和区间变量迭代空间收缩特征选择算法(iVISSA)提取特征波长,使用连续投影算法(SPA)进行二次提取,消除共线性变量。由于单一模型的泛化能力有限,为了扩大建模能力,设计了一种基于Stacking算法的集成学习模型。选择贝叶斯岭回归(BRR)、偏最小二乘回归(PLSR)、支持向量机回归(SVR)以及人工神经网络(ANN)作为基学习器,线性回归(LR)作为元学习器建立集成模型,比较不同组合下集成模型的性能。使用Pearson相关系数分析基学习器与集成模型之间的关系。结果表明:在五种预处理方法之中,矢量归一化的效果最佳。对预处理后的光谱进行特征波长提取,结果显示VN-CARS-PLSR模型效果最好,在测试集上的RP2为0.805,RMSEP为0.498。模型提取了177个特征波长,数据量相比于原始光谱减少了88.6%。通过Stacking算法对基学习器进行融合,对比不同的组合方式,发现PLS+SVR+ANN集成模型预测精度最高,RP2达到了0.853,RMSEP下降至0.433。通过Pearson相关系数分析了基学习器对集成模型性能的影响。研究表明,与单一模型相比,Stacking集成模型能够进行更加全面的建模,具有更高的泛化能力,该方法为猕猴桃糖度品质的无损检测提供了技术支持。

基于改进集成学习的矿井地下水污染风险预测研究

在进行矿井地下水污染风险预测过程中,由于选择的特征与污染风险相关性较低,导致预测精度较差,对此,提出基于改进集成学习的矿井地下水污染风险预测研究,首先利用主成分分析法对矿井地下水污染数据特征进行提取,然后利用SOM网络进行矿井地下水数据聚类处理,最后采用ENN模型进行矿井地下水污染风险预测。实验结果表明,所提方法的污染物浓度预测RMSE和MAPE分别为22 mg·L^(-1)与9.26%,矿井地下水污染风险指数与实际值拟合度高,且R 2值较大,说明所提方法的风险预测能力较好,具有实用性。

基于欠采样和多层集成学习的恶意网页识别

现实中恶意网页与良性网页比重严重失衡,传统的机器学习分类模型不能很好的应用,为此提出一种基于欠采样和多层集成学习的恶意网页检测模型。通过欠采样达到局部数据平衡;通过第一层基于权重和阈值的集成学习确保模型的准确度;通过第二层基于投票的集成学习保证全局信息的完整性。实验结果表明,所提模型在不平衡数据集上的恶意网页识别性能优于传统机器学习模型。

融合电磁和地声特征的地震预测集成学习方法

地震是极具破坏性与不确定性的自然现象,在人们毫无察觉的情况下地震发生在人口稠密区时,将严重危害人们生命财产安全。人们不断努力了解地震的物理特征和物理危害与环境之间的相互作用,以便在地震发生前发出适当的警报。可靠的地震预测应包含对地震信号的分析,但是这些信号在地震发生前不明显;因此使用数据驱动机器学习的方法来分析这些信号与地震的联系并预测地震。通过建立观测台网连续监测与地震发生相关的各种物理量或化学量,据此获取的地震前兆信息是地震预测的研究基础。地震发生前,地球物理场发生显著变化,伴随电磁和地声等多种前兆信号,其中电磁和地声信号具有临震特性,是开展地震临震观测预测研究的重要数据来源;因此对地下的电磁扰动和地声信号进行实时监测,获取长期观测数据用于数据驱动机器学习方法预测地震。该文基于AETA数据的临震模型预报,针对多分量地震监测预测系统(Acoustic and Electromagnetic Testing All in one system,AETA)在川滇地区记录的电磁和地声数据,提取时域和频域特征,采用基于随机森林算法、轻量级梯度提升决策树和极度随机树的集成学习方法共同预测该区域的发震情况,选取发震概率最大的子区域中心位置作为震中预测结果,进一步训练LightGBM回归模型以预测此子区域的震级,按周对地震三要素进行预测。实验结果表明,该方法在川滇地区地震风险预测上,准确率可达0.64,震级预测的平均误差为0.38,最小误差为0.00,具有良好的预测效果。

基于组合时域特征提取和Stacking集成学习的燃煤锅炉NO_(x)排放浓度预测

为提高火电厂锅炉出口NO_(x)排放浓度的预测精度,提出一种考虑组合时域特征的Stacking集成学习模型。首先,为挖掘数据深层信息,采用时序分析、完全自适应噪声集合经验模态分解(complete ensemble empirical mode decomposition with adaptive noise analysis,CEEMDAN)和统计学计算数据标准差、偏度等特征的方法进行组合时域特征提取以构建重构数据;其次,考虑到重构数据中存在的冗余变量对模型的精度有所影响,利用遗传算法(genetic algorithm,GA)对重构数据进行特征降维;最后,为充分发挥各个模型的优势以提高模型的预测精度,构建以极限学习机(extreme learning machines,ELM)、深度神经网络(deep neural networks,DNN)、多层感知器(multilayer perceptron,MLP)、极限梯度提升算法(extreme gradient boosting,XGBoost)为基模型和以回声状态网络(echo state network,ESN)为元模型的Stacking集成学习NOx排放浓度预测模型。实验结果表明:该预测模型在不同数据集下都有着不错的预测效果,预测误差均小于2%,能够对锅炉NOx排放浓度实现精准预测。

基于集成学习的无监督网络入侵检测方法

目前,网络对抗对入侵检测智能化和自主性的需求不断提高,基于深度学习的方法通过训练和学习来区分复杂攻击模式和行为,但有监督的学习方法需要专家知识和大量人工开销。针对上述问题,文章提出一种基于集成学习的无监督网络入侵检测方法,并使用基于3种不同异常检测理念的深度学习检测器,在3种不同集成逻辑下对各单检测器的检测结果进行检测判定。该方法可以综合分析时间序列数据中不同类型的异常数据,降低无监督异常检测模型由于过度拟合所造成的影响,并以一种高效的在线方式检测可能存在的网络攻击数据流。在KDD CUP 1999和CSE-CICIDS 2018数据集上进行验证,实验结果表明,与其他单一的无监督异常检测模型相比,文章提出的集成方法结合了不同无监督检测模型的优势,适用于对多种网络入侵引起的异常进行检测。

基于Stacking算法集成学习的页岩油储层总有机碳含量评价方法

总有机碳含量(TOC)是页岩油储层评价的重要参数,而传统总有机碳含量测井评价方法精度较低且普适性较差,机器学习模型在一定程度上提高了总有机碳含量预测精度,但结果存在不稳定性。为了进一步提高页岩油储层总有机碳含量预测精度,基于有机质岩石物理特征和不同总有机碳含量测井响应特征的深入分析,优选出深侧向电阻率、声波时差、补偿中子和密度测井曲线作为总有机碳含量的敏感测井响应,并将其作为输入特征,以岩心分析总有机碳含量作为期望输出值,分别建立了决策树模型、支持向量回归机模型、BP(Back Propagation)神经网络模型,并建立了以决策树模型为基模型、支持向量回归机模型为元模型的Stacking算法集成学习模型。利用B油田A区块的岩心样本数据和实际井数据对不同模型预测总有机碳含量结果进行了验证,结果表明,基于Stacking算法的集成学习模型的总有机碳含量预测精度最高,相较于决策树模型、支持向量回归机模型、BP神经网络模型和改进的ΔlgR法,预测精度有较大提高。因此,基于Stacking算法的集成学习模型为该研究区最有效的总有机碳含量计算方法,这为准确地评估页岩油储层的生烃潜力、确保页岩油储层的高效开采及资源利用奠定了基础。

基于集成学习算法的M5卷接机烟支质量稳定性分析与控制

PROTOS-M5卷烟机是上海某公司某专线的生产设备,具有较高的自动化和信息化水平,但如何充分利用复杂的在线数采数据来分析、构建有效、稳定的在线物测指标稳定性控制体系,一直是车间质量人员面临的难题。本文以在线烟支质量标偏为研究对象,基于M5卷烟机在线数采数据,研究生产过程中的烟支质量稳定性控制,利用集成学习算法构建以在线烟支质量标偏为响应变量、设备参数簇为解释变量的回归模型,明确了在线烟支质量稳定性控制的关键参数和优化控制范围,并在此基础上构建关键参数的中位数过程控制图,为车间在线烟支质量稳定性预警、监控提供重要的参考与指导。