基于自适应学习率萤火虫算法的多能源系统联合优化调度

随着碳中和目标下分布式新能源发电的快速增长以及多能协同技术的不断成熟,多能源系统(MES)得到了快速发展,成为未来能源的主要承载形式。但MES包括生产、存储、消费等复杂环节,其经济运行面临挑战。在MES框架下构建了包含新能源发电站、电池储能装置和冷热电联供装置的经济优化模型,以弃风弃光惩罚成本、电池储能装置放电损耗成本、燃气轮机燃气成本、碳排放惩罚成本等最小为目标函数,以电池储能装置的充放电特性、光伏与风力发电机组的出力特性、冷热电平衡等为约束条件,采用一种新型的自适应学习率萤火虫算法(ALRFA)对优化模型进行求解,通过引入自适应学习率参数,可避免陷入局部最优、收敛速度慢等问题。以某园区的用户冷热电负荷为例,验证了所提模型和优化算法的有效性和可行性。

基于萤火虫扰动麻雀搜索算法-极限学习机的光伏阵列故障诊断方法研究

光伏阵列具有随机性、间歇性输出特点,发生故障严重影响电力系统安全运行。针对有效表征不同程度局部阴影与雨天接地故障的故障特征量缺乏的问题,分析不同故障状态下光伏阵列运行特征,提出一种新的6维故障特征向量:开路电压Uoc、最大功率点电压Um与短路电流Isc、最大功率点电流Im分别表征短路与断路故障;U-I特性曲线二阶导数零点数表征局部阴影故障,并利用遗传模拟退火算法优化的模糊C均值聚类算法(the fuzzy C-means clustering algorithm optimized by the genetic simulated annealing algorithm,GSA-FCM)验证Um、Im表征不同程度局部阴影故障的有效性;并网电流总谐波畸变率表征雨天接地故障。引入萤火虫扰动的麻雀搜索算法(sparrow search algorithm with firefly perturbation,FSSA)优化传统极限学习机(extreme learning machine,ELM),建立FSSA-ELM模型,解决传统故障诊断方法实现复杂、收敛速度慢的问题。基于现场数据驱动,建立考虑对地寄生电容的光伏系统仿真模型和实验平台,设计2种不同辐照度范围的仿真方案和实验方案进行方法验证,结果表明,FSSA-ELM模型结合ELM实现简单且FSSA收敛速度快的特点,利用6维故障特征向量,可准确识别光伏阵列故障类型。

基于动态学习率边界的隐私保护算法

深度学习优化算法在对数据进行训练时容易导致隐私泄露,卷积神经网络在进行隐私计算时会因为计算每个样本的梯度而带来巨大的内存开销,针对以上问题,提出一种结合混合重影剪裁的差分隐私动态学习率边界算法.将AdaBound优化算法与差分隐私相结合,缓解了算法在训练时的极端学习率和不稳定现象,减少了在反向传播过程中因为加入噪声而对模型收敛速度产生的影响.在卷积层上使用混合重影剪裁,简化了更新中对于梯度的直接计算所带来的开销成本,可以有效地训练差分隐私模型.最后,通过仿真实验,与其他经典的差分隐私算法进行对比,实验表明,算法实现了在相同隐私预算下更高的准确率,具有更优的性能,对模型的隐私保护效果更好.

基于动量自适应学习率PSO-BP神经网络的钻速预测模型研究

机械钻速(rate of penetration,ROP)是钻井作业优化和减少成本的关键因素,钻井时有效地预测ROP是提升钻进效率的关键。由于井下钻进时复杂多变的情况和地层的非均质性,通过传统的ROP方程和回归分析方法来预测钻速受到了一定的限制。为了实现对钻速的高精度预测,对现有BP (back propagation)神经网络进行优化,提出了一种新的神经网络模型,即动态自适应学习率的粒子群优化BP神经网络,利用录井数据建立目标井预测模型来对钻速进行预测。在训练过程中对BP神经网络进行优化,利用启发式算法,即附加动量法和自适应学习率,将两种方法结合起来形成动态自适应学习率的BP改进算法,提高了BP神经网络的训练速度和拟合精度,获得了更好的泛化性能。将BP神经网络与遗传优化算法(genetic algorithm,GA)和粒子群优化算法(particle swarm optimization,PSO)结合,得到优化后的动态自适应学习率BP神经网络。研究利用XX8-1-2井的录井数据进行实验,对比BP神经网络、PSO-BP神经网络、GA-BP神经网络3种不同的改进后神经网络的预测结果。实验结果表明:优化后的PSO-BP神经网络的预测性能最好,具有更高的效率和可靠性,能够有效的利用工程数据,在有一定数据采集量的区域提供较为准确的ROP预测。

应用萤火虫算法求解基于学习效应的PFSP问题

针对置换流水车间调度问题,应用学习效应理论,将工件的加工时间与工件的加工位置建立联系,缩短了工件的最大完工时间,并将不同学习率下的最小化最大完工时间进行比较,给生产制造企业合理安排生产计划提供借鉴。应用MATLAB软件编写萤火虫算法,对建立的模型进行仿真测试,通过与粒子群算法和遗传算法进行结果对比,验证了算法的有效性,在此基础上求解出具有不同学习率的置换流水车间调度问题的最小化最大完工时间。

用于训练神经网络的自适应梯度下降优化算法

由于神经网络规模的扩大,模型训练变得越来越困难.为应对这一问题,提出了一种新的自适应优化算法——Adaboundinject.选取Adam的改进算法Adabound算法,引入动态学习率边界,实现了自适应算法向随机梯度下降(SGD)的平稳过渡.为了避免最小值的超调,减少在最小值附近的振荡,在Adabound的二阶矩中加入一阶矩,利用短期参数更新作为权重,以控制参数更新.为了验证算法性能,在凸环境下,通过理论证明了Adaboundinject具有收敛性.在非凸环境下,进行了多组实验,采用了不同的神经网络模型,通过与其他自适应算法对比,验证了该算法相比其他优化算法具有更好的性能.实验结果表明,Adaboundinject算法在深度学习优化领域具有重要的应用价值,能够有效提高模型训练的效率和精度.

神经网络动量-自适应学习率BP算法与BP算法的性能比较及其应用

动量 -自适应学习率 BP算法是对标准 BP算法的改进 ,本文对这两种算法进行了分析 ,并利用计算机程序对其性能进行了比较测试 ,利用 VISU AL C++和 MATL

带有校正项的自适应梯度下降优化算法

基于批处理的随机梯度下降(SGD)优化算法通常用于训练卷积神经网络(CNNs),其性能的优劣直接影响神经网络收敛的速度.近年来,一些自适应梯度下降优化算法被提出,如Adam、Radam算法等.然而,这些优化算法既没有利用历史迭代的梯度范数,也没有利用随机子样本中梯度的二阶矩,这些导致自适应梯度下降优化算法收敛速度较慢,性能也不稳定.结合历史梯度范数和梯度的二阶矩,提出了一种新的自适应梯度下降优化算法normEve.通过模拟仿真实验,实验结果表明,提出的新算法在结合历史梯度范数和梯度二阶矩的情形下能有效地提高算法的收敛速度.通过实例验证新算法与Adam优化算法比较,新算法的测试准确率大于Adam优化算法,验证了新算法的优越性.

双学习率自适应的Q路由算法

随着网络不断演进,网络流量呈爆炸式增长,路由方法成为了网络流量控制中的关键难题.这是因为传统的路由策略不具备学习能力,不能从过去的转发经验中学习到拥塞、链路中断等网络异常,也就不能根据网络状态调整路由策略.本文提出了一种双学习率自适应的Q路由算法DALRQ-routing.在轮询阶段,DALRQ-routing根据网络延迟调整echo学习率,减少轮询操作造成的延迟抖动.在转发阶段,算法根据TD-error调整transfer学习率,提高算法收敛速度.通过这种双学习率自适应的机制来降低延迟抖动,加速算法收敛.本文将提出的算法与Full Echo Q-routing和AQFE算法进行了比较.实验结果表明,在动态变化的网络负载下,本文所提出的算法在保持高收敛速度和低初始化峰值延迟的基础上明显减少了延迟抖动,提高了网络的稳定性.

自适应学习率梯度下降的优化算法

提出一种自适应学习率优化算法,可以根据损失函数的变化自动调节学习率大小,且能根据损失函数的变化幅度而调节变化程度;结合tanh函数,保证学习率不会因损失函数变化幅度过大而剧烈变化;在收敛后期,可以将学习率保持在一个固定值范围,以防止后期学习率变化而导致的收敛速度慢或精度差等问题。利用波士顿房价预测和Mnist手写识别两种数据集进行实验验证,通过对比所提出的改进算法与经典梯度下降优化算法,验证了本文算法的可行性和高效性。

一种精英反向学习的萤火虫优化算法

为了提高传统萤火虫算法的收敛速度和求解精度,提出了一种精英反向学习的萤火虫优化算法。通过反向学习策略构造精英群体,在精英群体构成的区间上求普通群体的反向解,增加了群体的多样性,提高了算法的收敛速度;同时,为了避免最优个体陷入局部最优,使整个群体在搜索过程中出现停滞,提出了差分演化变异策略;最后,提出了一种线性递减的自适应步长来平衡算法的开发能力。实验结果表明,算法在收敛速度和收敛精度上有更好的效果。

一种基于自适应搜索策略的改进萤火虫算法

萤火虫算法(FA)是一种基于群智能的优化技术,它在很多优化问题上表现出较好的性能。然而,它求解复杂优化问题时存在一些问题,如收敛速度慢,精度低。针对这些问题,本文提出了一种新的萤火虫算法(取名AFA),该方法使用了三种混合策略,以获得好的优化性能。它首先使用一种自适应的参数方法来动态改变步长参数,然后应用一种改进的搜索策略来消除吸引力,于是,AFA不再包含光吸收系数和初始吸引力这2个参数;再使用反向学习来提高解的精度。仿真结果表明,本文提出的AFA算法优化结果优于MFA及PAFA算法。

BP神经网络中自适应学习率的研究

<正>l引言~[1] 图1是一个典型的三层神经网络BP算铸示意图.Z是输入向量,Y是隐层输出向量0是网络输出向量,V及W分别为层间权向量。逆传播(Backprop-

改进萤火虫优化算法的Renyi熵污油图像分割

针对传统Renyi熵方法在分割污油图像时存在图片差距大、无法根据不同图片进行最优分割的问题,提出改进萤火虫算法对二维Renyi熵分割算法中的α值进行寻优来解决上述问题。分析了采集的污油图片特点以及对污油图片进行分割的必要性;针对多目标寻优精度不高和后期收敛速度较慢的问题,对萤火虫算法进行了改进,并对初始萤火虫位置进行混沌优化处理,使结果达到全局最优;利用基于改进萤火虫算法的Renyi熵图像分割算法对采集的污油图片进行阈值分割实验,并与二维Renyi熵分割、粒子群算法(PSO)Renyi熵分割方法进行比较。实验结果表明:本文提出的算法可以有效地对污油区域进行分割,能够快速地实现复杂图像的精确处理。

兼顾正确率和差异性的自适应集成算法及应用

针对如何从集成分类器中合理地筛选个体以提高集成学习的效果这一难题,提出了新的集成算法.该算法基于知识粒原理设计一种兼顾正确率和差异性的筛选指标,以便从训练的一批分类器中快速地选择个体组建成库;以自适应方式,针对每一类别生成特定的集成分类器,这些集成分类器间存在包容性,由此构建的集成分类器组将占用较少的计算资源,并将以自适应方式进行分类决策.对多种模式分类问题的试验结果表明:与其他集成方法相比,该集成算法更为高效,稳定性更好,具有较强的泛化性能.

BP自适应学习率设计

在神经网络的训练当中存在“过学习”现象以及参数难以选择的困难 .本文指出了大多数自适应 BP算法在学习率自调整中存在的问题 :事后矫正 ,同时通过极其简单的优化手段 ,为当前权值的每一次调整选择一个次优 (甚至最优 )的学习率 ,从而改善了训练过程的平稳性和快速性 ,并且有效地解决了神经网络的“过学习”

基于差分进化算法的瞬变电磁一维反演

实际采集的瞬变电磁数据包含电磁感应和激发极化效应,如何准确提取电阻率和极化率信息是电性源瞬变电磁数据处理的关键。首先,基于Cole⁃Cole复电阻率模型实现有限长电性源瞬变电磁法一维正演,在此基础上提出一种基于差分进化算法的电性源瞬变电磁一维反演方法。然后,在传统差分进化算法的基础上引入反向学习策略及控制参数自适应调节,加快反演的收敛速度,同时在目标函数中引入约束条件,构成最小构造反演,降低反演的多解性。最后,基于典型的三层地电模型和复杂多层模型进行理论模型测试,反演结果可有效恢复模型的电阻率和极化率。利用实测资料进行反演,反演得到的电阻率与OCCAM反演电阻率基本一致。在此电阻率约束的基础上,进一步反演得到极化率信息。反演结果准确地提取了实测数据中的电阻率信息,得到了地下介质的极化率分布,证明了算法的准确性和适用性。

基于IMODA自适应深度信念网络的复杂模拟电路故障诊断方法

针对传统DBN在无监督训练过程中预训练耗时久、诊断精度差等问题,提出了一种基于改进多目标蜻蜓优化自适应深度信念网络(IMODA-ADBN)的模拟电路故障诊断方法。首先,根据参数更新方向的异同提出了自适应学习率,提高网络收敛速度;其次,传统DBN在有监督调优过程利用BP算法,然而BP算法存在易陷入局部最优的问题,为了改善该问题,利用改进的MODA算法取代BP算法提高网络分类精度。在IMODA算法中,添加Logistic混沌印射和基于对立跳跃以获得帕累托最优解,增加算法的多样性,提高算法的性能。在7个多目标数学基准问题上测试该算法,并与3种元启发式优化算法(MODA、MOPSO和NSGA-II)进行比较,证明了IMODA-ADBN网络模型具有稳定性。最后将IMODAADBN运用到二级四运放双二阶低通滤波器的诊断实验中,实验结果表明该方法在收敛速度快的基础上保证了分类精度,诊断率更高,能够实现高难故障的分类与定位。

Ada_Nesterov动量法——一种具有自适应学习率的Nesterov动量法

Nesterov动量法可以很好地改进梯度下降方向,但是其所有参数都具有相同的学习率,并且学习率需要人为设定。Adadelta算法可以自适应学习率,并且每维参数具有独立的学习率。因此,本文首先基于Adadelta算法推导出每一维的学习率公式,其次将其带入Nesterov动量法中,得到了Ada_Nesterov动量法。为了验证提出的Ada_Nesterov动量法,本文设计了两个实验。实验结果表明:动量参数0.5时,Ada_Nesterov动量法在VggNet_16神经网络架构上,基于CIFAR_100数据集的验证准确率最高,损失最小,收敛速度最快。即Ada_Nesterov动量法改进了Nesterov动量法,具有自适应学习率。

一种自适应学习率的遥感影像分类方法

在对遥感影像进行分类识别处理时,深度学习技术容易陷于局部最优,模型参数往往需要手动调整。提出一种基于模拟退火算法的自适应学习率方法,并建立层叠去噪自动编码器模型。给模型添加一定学习率比例,以实现学习率在迭代中自动改变。通过对比实验以及曲面拟合方法,验证了该方法的有效性、实用性和可靠性。该方法能自动调整学习率参数且能够避免局部最优解,分类精度和效率均有所提高。