基于因果正则化极限学习机的风电功率短期预测方法

随着风电并网比例的逐年提高,电力系统对风电功率预测的准确性和稳定性提出了更高要求。对于同一风电场而言,为了避免不同特征选择方法所选择的风电场特征子集不同,从因果关系的角度出发,提出了一种基于因果正则化极限学习机(causal regularized extreme learning machine, CRELM)的风电功率短期预测方法。首先将极限学习机(extreme learning machine, ELM)建模为结构因果模型(structural causal model, SCM),在此基础上计算隐藏层神经元与输出层神经元之间的平均因果效应向量。然后将该平均因果效应向量与输出层权重相结合构成因果正则化项,在最小化训练误差的同时最大化网络的因果关系,以进一步提升模型的预测准确性和预测稳定性。最后,以国内蒙西某风电场数据为例,与采用特征选择或不采用特征选择的预测模型相对比,验证了所提方法的有效性和适用性。

基于动态步长交替方向乘子法正则化极限学习机

为解决交替方向乘子法(alternating direction method of multipliers,ADMM)正则化极限学习机(regularized extreme learning machine,RELM)迭代收敛速度慢和迭代后期误差衰减停滞的问题,提出一种基于动态步长ADMM的正则化极限学习机,记为VAR-ADMM-RELM.该算法在ADMM算法的基础上采用动态衰减步长进行迭代,并同时使用L1和L2正则化对模型复杂度进行约束,解得具有稀疏性和鲁棒性的极限学习机输出权重.在UCI和MedMNIST数据集中对VAR-ADMM-RELM、极限学习机(extreme learning machine,ELM)、正则化极限学习机(regularized ELM,RELM)和基于ADMM的L1正则化ELM(ADMMRELM)进行拟合、分类和回归对比实验.结果表明,VAR-ADMM-RELM算法的平均分类准确率和平均回归预测精度分别比ELM算法提升了1.94%和2.49%,较标准ADMM算法可以取得3~5倍的速度提升,且对异常值干扰具有更好的鲁棒性和泛化能力,在高维度多样本的场景下建模效率逼近标准极限学习机.该方法有效提升了ADMM算法的收敛速度,取得了比主流ELM算法更加优秀的性能表现.

基于3种新型群体智能算法优化正则化极限学习机的三峡水库入库日径流预测

准确预测的入库日径流在水库优化调度中发挥着重要作用。为提高预测精度,提出一种基于小波包变换(WPT)和蜣螂优化(DBO)算法、珍鲹优化(GTO)算法、泥环算法(MRA)优化正则化极限学习机(RELM)的预测模型,并将其应用于三峡水库入库日径流预测研究。首先,利用WPT将三峡水库入库日径流时间序列分解为1个周期项分量和1个波动项分量;其次,利用DBO、GTO、MRA分别优化RELM输入层权值和隐含层偏差,建立WPT-DBO-RELM、WPT-GTO-RELM、WPT-MRA-RELM模型;最后,利用所建立的3种模型分别对入库日径流周期项分量和波动项分量进行预测和重构,并构建基于极限学习机(ELM)的WPT-DBO-ELM、WPT-GTO-ELM、WPT-MRA-ELM模型、基于BP神经网络的WPT-DBO-BP、WPT-GTO-BP、WPT-MRA-BP模型、未经优化的WPT-RELM、WPT-ELM、WPT-BP模型和未经分解的DBO-RELM、GTO-RELM、MRA-RELM模型作对比分析模型。结果表明:①WPT-DBO-RELM、WPT-GTO-RELM、WPT-MRA-RELM模型对三峡水库入库日径流预测的平均绝对百分比误差MAPE分别为0.512%、0.519%、0.762%,平均绝对误差MAE分别为54.05、55.97、86.76 m^(3)/s,均方根误差RMSE分别为84.99、84.81、128.18 m^(3)/s,决定系数DC≥0.9994,希尔不等系数TIC≤0.00517,预测效果优于其他12种模型,具有更高的预测精度和更好的泛化能力。②DBO、GTO、MRA能有效优化RELM网络参数,显著提高RELM预测性能。③引入正则化项的RELM可有效防止预测模型过拟合,提高模型的泛化能力,预测性能优于ELM、BP网络。④所构建的3种模型预测精度高、计算规模小,是一种有效的入库日径流时间序列预测模型。

基于加权正则化极限学习机与改进梯度投影法的谐波源定位

针对配电网谐波源分布稀疏、监测装置少及定位难度高等特点,提出了采用基于加权正则化极限学习机与改进梯度投影法相结合的方法进行谐波源定位。具体的做法是,先构建系统量测节点的优化配置模型,采用模拟退火遗传算法进行求解,然后利用从监测节点获取的量测数据构建基于加权正则化极限学习机的谐波源定位模型,确定含有谐波源的嫌疑节点,实现谐波源的定性分析,最后再采用改进梯度投影法求取嫌疑节点的谐波电流,完成谐波源的定量分析。仿真结果表明:采用加权正则化极限学习机与改进梯度投影法相结合的谐波源定位方法具有定位精度高、速度快的优点,有一定的推广价值。

基于极限学习机的短期电力负荷在线预测

为满足智能电网对电力负荷实时预测的需求,提出基于稀疏递归最小二乘法的极限学习机(SRLS-ELM)在线学习算法,用于短期电力负荷的在线预测.相比在线序列ELM, SRLS-ELM算法无需选择离线样本初始化网络输出权重,将网络学习的平方误差与输出权值的稀疏正则化项相结合,用l1-范数稀疏化网络隐藏层节点,用次梯度策略解决求解过程中代价函数无法处处可微的问题,以递归最小二乘的训练方法完成在线学习,根据估计误差自适应寻找最优正则化参数.仿真结果表明,基于SRLS-ELM的算法能有效简化网络结构,且与ELM、堆叠核ELM批量、在线序列ELM半在线以及精确在线支持向量机回归模型相比,对短期电力负荷在线预测时具有更高的预测精度和学习效率,且鲁棒性强.

L1正则化与pinball损失函数的极限学习机

极限学习机(extreme learning machine, ELM)由于其训练速度快、易于实现等优点,在回归领域得到了广泛的应用。然而,传统ELM的平方损失函数在异常值面前放大了异常值的影响,从而降低了性能。为了提高ELM的鲁棒性,在ELM中引入pinball损失函数。pinball损失函数与误差线性相关,与平方损失函数相比,可以减少异常值的影响。此外,L2范数正则化对于隐藏层节点缺乏稀疏性。相比之下,L1范数正则化可以改善模型的稀疏性。为了同时具有鲁棒性和稀疏性,提出了一种基于L1范数正则化和pinball损失函数的ELM模型,通过迭代重加权算法求解相应的优化问题。为了验证模型的鲁棒性和稀疏性,在6个真实数据集上进行实验。实验结果表明,提出的L1-PELM优于其他方法。特别是对于异常值比率较大的数据,L1-PELM不仅对异常值不敏感,而且保持了稀疏性。

基于改进流形正则化极限学习机的短期电力负荷预测

为提高短期电力负荷预测的精度与效率,提出一种改进流形正则化极限学习机的短期电力负荷预测方法;首先,为了改善极限学习机(ELM)的泛化性能与效率,并解决随机初始化参数导致极限学习机存在的潜在问题,采用流形正则化理论优化极限学习机;其次,针对流形正则化极限学习机中参数的选择,以及流形正则化极限学习机隐层节点选择的问题,提出将贝叶斯优化算法(BOA)融入到流形正则化极限学习机中以优化流形正则化极限学习机(MRELM)。最后,通过实验数据分析,改进流形正则化极限学习机预测方法将预测平均相对误差降低到了1.903%,30次实验的平均相对误差的方差降低到了1.9‰,平均单次运行时间降低到了6.113 s。

一种基于正则优化的批次继承极限学习机算法

极限学习机(ELM)作为一种新型神经网络,具有极快的训练速度和良好的泛化性能。针对极限学习机在处理高维数据时计算复杂度高,内存需求巨大的问题,该文提出一种批次继承极限学习机(B-ELM)算法。首先将数据集均分为不同批次,采用自动编码器网络对各批次数据进行降维处理;其次引入继承因子,建立相邻批次之间的关系,同时结合正则化框架构建拉格朗日优化函数,实现批次极限学习机数学建模;最后利用MNIST, NORB和CIFAR-10数据集进行测试实验。实验结果表明,所提算法具有较高的分类精度,并且有效降低了计算复杂度和内存消耗。

基于正则化与遗忘因子的极限学习机及其在故障预测中的应用

为了解决在线贯序极限学习机(OS-ELM)算法容易产生奇异矩阵、算法贯序更新过程中没有考虑训练样本时效性的问题,提出基于l2-正则化和自适应遗忘因子的OS-ELM(RFOS-ELM)算法。RFOS-ELM在初始阶段加入正则化机制,克服因矩阵奇异而降低OS-ELM泛化能力的缺点。在贯序更新阶段,RFOS-ELM通过引入自适应遗忘因子实时调整新旧训练样本所占比重,推导正则化条件下带遗忘因子RFOS-ELM的递推更新算法,提高其对动态变化系统的跟踪能力。某型无人机机载发射机故障预测实例表明,相比于传统OS-ELM和正则化OS-ELM算法,本文提出方法具有更高的预测精度。

基于流形正则化的在线半监督极限学习机

在基于流形正则化的半监督极限学习机(SS-ELM)的基础上,利用分块矩阵的运算法则,提出了在线半监督极限学习机(OSS-ELM)方法.为避免在实时学习的过程中由于数据累积引起的内存不足,通过对SS-ELM的目标函数的流形正则项的近似,给出了OSS-ELM的近似算法OSSELM(buffer).在Abalone数据集上的实验显示,OSS-ELM(buffer)在线学习的累计时间与所处理的样本个数呈线性关系,同时,9个公共数据集上的实验表明,OSS-ELM(buffer)的泛化能力与SS-ELM的泛化能力的相对偏差在1%以下.这些实验结果说明,OSS-ELM(buffer)不仅解决了内存问题,还在基本保持SS-ELM泛化能力的基础上大幅度提高了在线学习速度,可以有效应用于在线半监督学习当中.

基于流形正则化的批量分层编码极限学习机

针对极限学习机在处理高维数据时存在内存能耗大、分类准确率低、泛化性差等问题,提出了一种批量分层编码极限学习机算法。首先通过对数据集分批处理,以减小数据维度,降低输入复杂性;然后采用多层自动编码器结构对各批次数据进行无监督编码,以实现深层特征提取;最后利用流形正则化思想构建含有继承因子的流形分类器,以保持数据的完整性,提高算法的泛化性能。实验结果表明,该方法实现简单,在NORB,MNIST和USPS数据集上的分类准确率分别可以达到92.16%、99.35%和98.86%,与其它极限学习机算法对比,在降低计算复杂度和减少CPU内存消耗上具有较明显的优势。

基于Jerk流形正则化深度极限学习机的电能质量复合扰动识别

为了有效利用电能质量复合扰动识别中存在的大量难以标注的实测样本,提出了一种基于Jerk流形正则化深度极限学习机(DJRELM)的半监督扰动学习方法.算法通过堆叠嵌入Jerk流形正则化的极限学习机自编码器(JRELM-AE)实现在复合扰动特征自动提取的同时保持数据内部流形结构.分类层通过阈值预测极限学习机和Jerk正则化半监督极限学习机的结合将多层网络扩展到多标签半监督分类应用.实验结果表明:该方法在不同噪声环境下的分类准确率均高于几种基于极限学习机的监督学习、半监督学习算法、传统多层极限学习机和深度卷积神经网络,具有理论意义和实用价值.

考虑变形因子模式下基于正则化极限学习机的大坝变形预报方法

本文将结构风险最小化原则引入极限学习机模型,建立了在考虑变形因子模式下大坝变形预报的正则化极限学习机模型。该模型不仅计算速度较快,而且具有较强的泛化能力。通过对实际工程监测数据的详细分析,结果表明正则化极限学习机模型可以避免原极限学习机模型会导致过学习现象发生的可能,且其预报精度要优于原极限学习机模型、支持向量机模型与BP神经网络模型。显示了将其应用于大坝变形数据分析与预报领域是完全行之有效的。

基于QPSO正则化极限学习机的轴承故障诊断

从复杂的振动信号中提取有效的故障特征并且得到准确的分类结果,建立可靠的故障诊断方法一直都是滚动轴承故障诊断研究中的关键课题。文章提出一种改进的正则化极限学习机(Regularized Extreme Learning Machine,RELM)应用于降噪自动编码器(Denoising AutoEncoder,DAE)的故障分类方法。首先,将振动信号经过快速傅里叶变换得到的频域系数作为高维数据,然后利用堆叠降噪自动编码器(Stacked Denoising Autoencoders,SDAE)对高维数据进行学习,提取更具鲁棒性的特征,再将该特征作为RELM的输入进行分类,得到故障诊断模型。针对RELM中正则化参数选取困难问题,采用量子粒子群优化算法(Quantum-behaved particle swarm optimization,QPSO)进行参数优化。实验结果表明,基于SDAE-RELM的诊断方法在泛化性和故障识别率都优于SDAE和其他分类算法结合的故障识别方法。

基于主成分-正则化极限学习机的超高密度电法非线性反演

超高密度电法是一种新的地球物理探测技术,它通过多通道数据采集和多装置数据联合反演,极大地提高了电法勘探的成像精度.本文提出一种主成分-正则化极限学习机(PC-RELM)非线性反演方法,该方法针对超高密度电法所获取的高维勘探数据进行反演建模,通过随机设定隐层参数来简化模型的学习过程,通过主成分分析方法来进行高维数据降维,最后引入正则化因子提高反演模型的泛化能力.论文给出了超高密度电法的原理、样本构造方法和非线性反演流程,使用交叉验证方法获得了优化的隐节点数目和正则化参数,构造了优化的反演模型.通过两个经典的超高密度模型的反演结果表明,该方法能够较好地解决超高密度电法反演的高维数据非线性建模问题,能够弥补单一装置数据反演的不足,同时相较其他的非线性反演方法(ELM,BPNN和GRNN)具有更加准确的反演结果.

基于天牛群优化与改进正则化极限学习机的网络入侵检测

正则化极限学习机(Regularized extreme learning machine,RELM)因其极易于实现、训练速度快等优点在诸多领域均取得了成功应用.对此,本文将RELM引入到入侵检测中,设计了天牛群优化算法(Beetle swarm optimization,BSO),并针对RELM由于随机初始化参数带来的潜在缺陷,提出基于天牛群优化与改进正则化极限学习机(BSO-IRELM)的网络入侵检测算法.使用LU分解求解RELM的输出权值矩阵,进一步缩短了RELM的训练时间,同时利用BSO对RELM的权值和阈值进行联合优化.为避免BSO算法陷入局部最优,引入Tent映射反向学习、莱维飞行的群体学习与动态变异策略提升优化性能.实验结果表明,在机器学习UCI数据集上,相比于RELM、IRELM、GA-IRELM、PSO-IRELM等算法,BSO-IRELM的数据分类性能提升明显.最后,将BSO-IRELM应用于网络入侵检测数据集NSL-KDD,并与BP(Back propagation)、LR(Logistics regression)、RBF(Radial basis function)、AB(AdaBoost)、SVM(Support vector machine)、RELM、IRELM等算法进行了对比,结果证明BSO-IRELM算法在准确率、精确率、真正率和假正率等指标上均具有明显优势.

基于流形正则化极限学习机的文本分类算法研究

基于极限学习机的文本分类方法在对输入的文本特征进行随机映射时,会呈现一种非线性的几何结构,利用最小二乘法无法对其进行求解,影响文本的分类性能。为此,引入一种新的流形正则化思想,提出基于极限学习机的改进算法。利用拉普拉斯特征映射保持输入文本特征的几何结构。基于样本的类别信息对样本点之间的距离进行修正,优先选择类别相同的样本点,以改善分类性能。在Reuters和20newsgroup数据集上的实验结果表明,与正则化极限学习机算法、AdaBELM算法等相比,该算法分类性能较好,F1-measure值可达91.42%。

基于径向基神经网络和正则化极限学习机的多标签学习模型

相比径向基(RBF)神经网络,极限学习机(ELM)训练速度更快,泛化能力更强.同时,近邻传播聚类算法(AP)可以自动确定聚类个数.因此,文中提出融合AP聚类、多标签RBF(ML-RBF)和正则化ELM(RELM)的多标签学习模型(ML-AP-RBF-RELM).首先,在该模型中输入层使用ML-RBF进行映射,且通过AP聚类算法自动确定每一类标签的聚类个数,计算隐层节点个数.然后,利用每类标签的聚类个数通过K均值聚类确定隐层节点RBF函数的中心.最后,通过RELM快速求解隐层到输出层的连接权值.实验表明,ML-AP-RBF-RELM效果较好.

基于遗传算法和正则化极限学习机的PM2.5浓度预测研究

环境质量与人们的健康息息相关,一直是研究的热点。本文选取长沙市2017年NO2、PM10等大气数据对PM2.5日均值进行预测,采用BIC准则进行特征选择。在传统的超限学习机(ELM)的基础上,引入正则化项以控制模型的复杂度,并用遗传算法(GA)对模型的输入层权重矩阵和隐含层阈值矩阵进行优化,建立遗传算法和正则化极限学习机(GA-RE-ELM)的PM2.5预测模型。实验表明,该模型相比BP神经网络、超限学习机有更好的精度,均方误差分别降低了35.09%、25.49%,平均绝对误差分别降低了40.86%、30.80%,平均绝对百分误差分别降低了45.49%、31.65%,为PM2.5浓度的预测提供一种新的方法。

流形正则化框架下的极限学习机预测锂电池SOC方法

为提高锂电池荷电状态建模预测的精度及泛化能力,提出一种流行正则化框架下的极限学习机建模预测方法。首先,为了解决极限学习机建立预测模型存在过拟合泛化能力弱的问题,以流形假设为依据,在数据输入空间构建图拉普拉斯算子,在其框架内求解极限学习机隐层和输出层之间的权重,达到正则优化目的。其次,针对正则化参数难以选择的问题,提出将差分进化算法融入基于流形正则化框架的极限学习机中以优化其正则化参数。最后,利用采集到的锂电池数据进行了实验验证。结果表明:该方法建立的预测模型预测锂电池SOC精度高,泛化能力强,为锂电池SOC的预测建模提供一种新方法。