非独立同分布数据下联邦学习算法中优化器的对比分析

在联邦学习环境中选取适宜的优化器是提高模型性能的有效途径,尤其在数据高度异构的情况下.本文选取FedAvg算法与FedALA算法作为主要研究对象,并提出其改进算法pFedALA.pFedALA通过令客户端在等待期间继续本地训练,有效降低了由于同步需求导致的资源浪费.在此基础上,本文重点分析这3种算法中优化器的作用,通过在MNIST和CIFAR-10数据集上测试,比较了SGD、Adam、ASGD以及AdaGrad等多种优化器在处理非独立同分布(Non-IID)、数据不平衡时的性能.其中重点关注了基于狄利克雷分布的实用异构以及极端的异构数据设置.实验结果表明:1) pFedALA算法呈现出比FedALA算法更优的性能,表现为其平均测试准确率较FedALA提升约1%;2)传统单机深度学习环境中的优化器在联邦学习环境中表现存在显著差异,与其他主流优化器相比,SGD、ASGD与AdaGrad优化器在联邦学习环境中展现出更强的适应性和鲁棒性.

基于通用学习均衡优化器的多阈值图像分割

传统的元启发式多阈值图像分割算法计算复杂度高且容易陷入局部最优,通用学习均衡优化器在搜索过程中使粒子从不同维度的候选粒子中学习,在求解复杂问题最优解时有很强的能力,克服了容易陷入局部最优的问题。提出将通用学习均衡优化算法优化最大类间方差法来实现多阈值图像分割,实验选择标准灰度图像,以峰值信噪比、结构相似度、运行时间和适应度值为评价标准,将该算法与均衡优化算法、粒子群优化算法进行了比较。结果表明,基于通用学习均衡优化器的多阈值图像分割算法结果的峰值信噪比、结构相似度在绝大多数情况下优于另外两个算法,并且收敛速度快,执行效率高。

深度学习优化器进展综述

优化器是提高深度学习模型性能的关键因素,通过最小化损失函数使得模型的参数和真实参数接近从而提高模型的性能。随着GPT等大语言模型成为自然语言处理领域研究焦点,以梯度下降优化器为核心的传统优化器对大模型的优化效果甚微。因此自适应矩估计类优化器应运而生,其在提高模型泛化能力等方面显著优于传统优化器。以梯度下降、自适应梯度和自适应矩估计三类优化器为主线,分析其原理及优劣。将优化器应用到Transformer架构中,选取法-英翻译任务作为评估基准,通过实验深入探讨优化器在特定任务上的效果差异。实验结果表明,自适应矩估计类优化器在机器翻译任务上有效提高模型的性能。同时,展望优化器的发展方向并给出在具体任务上的应用场景。

基于改进多目标平衡优化器算法的点焊机器人路径规划

点焊机器人在工业领域内被广泛应用,合理的焊接顺序可以提高生产效率。为了实现点焊机器人的路径最优规划,针对点焊路径和工作时间建立多目标问题模型,提出一种融合改进快速非支配排序的多目标平衡优化器算法(DMONEO)。加入快速非支配排序,并采用生存评分策略替代拥挤度因子,可以更好地保持种群的多样性,防止DMONEO过早收敛。TSPLIB基准实验结果表明,DMONEO算法相比于其他算法性能表现更好。最后在实际点焊机器人的路径规划应用中进行仿真实验并与其他算法对比,结果表明提出的算法得到的优化效果更好,耗时更短。

深度学习模型训练的优化器实验设计

针对目前国内对深度学习的卷积神经网络(Convolutional Neural Network,CNN)模型教学过程中,对优化器理论学习过程中存在实践不足问题,首先利用kaggle平台上的猫狗数据库,然后通过迁移学习方法设计猫狗识别的深度学习神经网络模型,最后分别选择AdaGrad、RMSProp和Adam三种不同的梯度下降优化算法,对同一网络模型结构进行训练。观察到使用AdaGrad算法对模型训练准确率可达84.1%,RMSProp优化算法对模型训练准确率可达85.6%,Adam算法对模型训练准确率可达86.3%。实验结果表明,在模型优化中,适合的优化算法不但会使模型收敛更快。也会影响模型的性能。同时加深学生理解不同优化器对模型的优化能力。

基于几何平均优化器的门控循环单元模型GMO-GRU的气温预测

为提升气温预测的准确度,改善农业生产等领域的经营情况,提出了利用几何平均优化器算法优化门控循环单元神经网络的GMO-GRU模型。首先,在GRU模型参数选择方面,采用几何平均优化器对其模型选择进行优化。然后,采用伯克利的天气数据集对文中模型进行验证。验证结果表明,提出的预测模型在预测精度上有一定优势,相比于LSTM模型,GMO-GRU模型的MAE、RMSE、MAPE3种指标分别提升了5.5×10^(-3)、1.13×10^(-2)、7.2×10^(-3);相比于GRU模型,GMO-GRU模型的MAE、RMSE、MAPE3种指标分别提升了2.0×10^(-3)、8.9×10^(-3)、3.9×10^(-3)。

基于事件触发的全信息粒子群优化器及其应用

针对标准粒子群优化算法存在早熟收敛和容易陷入局部最优的问题,本文提出了一种基于事件触发的全信息粒子群优化算法(Event-triggering-based full-information particle swarm optimization,EFPSO).首先,引入一类基于粒子空间特性的事件触发策略实现粒子群优化算法(Particle swarm optimization,PSO)的模态切换,更好地维持了算法搜索和收敛能力之间的动态平衡.然后,鉴于引入历史信息能够降低算法陷入局部最优的可能性,提出一种全信息策略来克服PSO算法搜索能力不足的缺陷.数值仿真实验表明,EFPSO算法在种群多样性、收敛率、成功率方面优于其他改进的PSO算法.最后,应用EFPSO算法对变分模态分解(Variational mode decomposition,VMD)去噪算法进行改进,并在现场管道信号去噪取得了很好的效果.

基于海马优化器的光伏-温差混合系统重构

部分遮蔽(partial shading conditions,PSC)是导致光伏(photovoltaic,PV)–温差(thermoelectricgeneration,TEG)混合系统(PV-TEG)输出功率损耗和组件失配的主要原因之一。为了提升PSC下PV-TEG混合系统的发电效率,提出一种基于海马优化器(sea horse optimizer,SHO)的PV-TEG混合系统重构方法。该方法以PV-TEG混合系统的输出功率为目标函数,利用SHO调整电气开关动作来改变混合系统阵列中PV-TEG组件的位置,以提高系统整体功率输出。为验证SHO的可行性和优越性,在实际PSC条件和标准PSC条件下对4×4阵列、9×9阵列和15×9阵列进行仿真分析,并与粒子群优化算法、遗传算法、人工蜂群算法和蚁群算法进行全面对比(失配损耗、平均输出功率和开关动作数量),证明采用SHO算法可以缓解遮蔽带来的影响,提升系统功率。仿真结果表明,通过SHO重构后的PV-TEG混合系统功率在4×4阵列中提高38.36%,在9×9阵列中提高20.74%,在15×9阵列中提高21.14%。此外,基于RTLAB平台进行硬件在环实验(hardware in the loop,HIL),验证了PSC下SHO应用于PV-TEG混合系统的硬件可行性。

基于混合平衡优化器算法的多目标柔性作业车间多重动态调度研究

面对生产过程中出现的多种扰动问题对实际调度过程的影响,构建以紧急订单和机器故障为扰动因素,以最小化最大完工时间、最小化订单拖期惩罚和最小化碳排放为目标的柔性作业车间多重动态调度模型。采用基于事件和周期的混合动态调度策略来应对突发事件,并提出一种改进的平衡优化器算法来求解该模型。该算法通过采用基于精英反向学习的混合种群初始化策略提高初始种群质量;通过采用IPOX交叉、MPX交叉和变异操作,提高算法解集的广泛性和多样性;通过使用基于Metropoils准则的精英选择策略来更新种群,防止种群陷入局部最优;通过双层变邻域搜索提高算法的寻优能力。通过大量拓展算例仿真验证了该算法的有效性、稳定性和优越性。

基于改进天鹰优化器的抱杆结构优化

为了提高抱杆设计的安全性和经济性,提出一种基于改进天鹰优化器的抱杆结构优化方法。根据抱杆工程实例,建立轻量化设计模型。将角钢杆件的截面尺寸作为优化变量,采用罚函数法处理许用应力、位移和屈曲系数三种约束条件。为了解决天鹰优化器局部搜索能力不足的问题,使用混沌映射进行种群初始化,使首代种群在搜索空间内分布更加均匀,并引入新的平衡方式使算法在迭代后期仍具有全局搜索能力,同时加入非线性参数增强局部搜索能力,引入反向学习策略增强算法摆脱局部最优的能力。十杆平面桁架结构尺寸优化算例结果验证了改进算法具有更好的寻优能力。抱杆结构轻量化设计结果表明,改进的天鹰优化器提供的设计方案更佳,抱杆质量减轻了16.55%。改进天鹰优化器能够有效处理平面桁架和空间杆系结构的优化设计问题。

改进天鹰优化器优化Elman神经网络模型预测管道蜡沉积速率

管道结蜡一直是困扰含蜡原油输送的棘手问题,建立准确的蜡沉积速率预测模型对于保障管道的安全运行具有重要的实际意义。考虑到Elman神经网络(Elman neural network,ENN)模型的不足(易陷入极小点、泛化能力弱),基于蜡沉积速率的主要影响因素,提出了一种基于改进天鹰优化器(引入鲸鱼优化算法的狩猎策略对天鹰优化器的局部搜索能力进行改进)的ENN模型,并基于两组室内实验数据对比分析了所建新模型和其他模型预测精度的差异。结果表明,改进新模型的平均绝对百分比误差分别为0.7603%、1.2452%,其预测精度明显高于传统ENN模型;采用改进天鹰优化器建立的ENN模型可对初始权值和阈值进行寻优处理,极大提高了泛化能力,因此具有预测精度高的优点。

融合浓度平衡和菲克定律的新平衡优化器算法

针对平衡优化器算法(equilibrium optimizer,EO)出现的收敛速度慢、算法精度不够、开发和搜索阶段信息不平衡等问题,提出了融合浓度平衡和菲克定律的新平衡优化器算法(new equilibrium optimizer,NEO)。根据布朗运动和扩散现象,不同浓度区域的粒子采取不同的浓度平衡机制,改进算法平衡池,提高种群间的信息交流能力;在算法参数中引入幂函数和指数函数两种自适应因子,进一步平衡全局搜索和局部开发能力,使得粒子种群在解空间中进行广泛搜索和深度挖掘;根据菲克定律,在粒子位置更新公式中引入扰动机制,提高算法寻优精度和收敛速度。采用24个基准测试函数和Wilcoxon秩和检验,将NEO算法和其他智能优化算法进行仿真实验对比,结果表明NEO算法具有良好的优化性能。

基于改进灰狼优化器的无线传感器网络定位增强算法

针对当前无线传感器网络定位算法存在精度不足、定位时间长的问题,提出一种基于改进灰狼优化器的定位方法。针对基本灰狼优化器求解精度不足、易陷入局部最优等缺陷,引入自适应搜索机制来扩展算法的搜索范围,并使用螺旋搜索技术来帮助算法跳出局部最优。传感器节点基于信号强度估算与信号发送端的距离,使用改进的灰狼优化器估算位置。与现有的定位方法相比,所提出的定位算法具有更好的定位精度与收敛速度。

改进平衡优化器算法在约束优化问题中的应用

针对平衡优化器算法存在种群勘探与开发难以平衡、粒子进化信息不足、容易出现早熟现象等问题,提出改进的平衡优化器算法。首先,根据算法优化进行的迭代阶段采用正弦池策略动态地平衡勘探与开发能力,迭代前期通过固定角频率的正弦递减进行大范围的全局勘探,扩大算法探索搜索空间中未知区域,增强发现潜藏优质粒子的能力;迭代后期通过变化角频率的正弦递增进行局部开发使勘探与开发自适应平衡,提高算法优化精度。其次,自适应优先引力策略引入当前最优粒子信息克服粒子进化信息匮乏的问题,然后通过融入均匀分布和贝塔分布共同作用丰富种群粒子进化信息,提高粒子之间的信息交换速率,增强粒子逃离局部最优的能力,达到引导种群向全局最优方向快速收敛目的。最后,使用16个基准测试函数、CEC2017函数集、Friedman检验、Wilcoxon秩和检验以及2个现实中的工程约束优化问题测试所提算法的寻优能力。实验结果表明,相比其他新提出的智能算法,所提算法具有更高的优化精度和更快的收敛速度。

融合麻雀搜索和随机差分的双向学习平衡优化器算法

针对平衡优化器算法(Equilibrium Optimizer,EO)求解精度低、收敛速度慢等问题,提出一种融合麻雀搜索和随机差分的双向学习平衡优化器算法。首先,给出了基于麻雀搜索算法的自适应种群划分策略,以平衡算法的全局探索和局部勘探,从而提高算法的收敛精度和收敛速度。其次,引入随机差分策略来重建平衡池,增加个体之间的信息交流,以利于算法跳出局部最优。最后,设计了一种双向混沌反向学习策略并将其应用到更新后的种群,以增加种群多样性,从而进一步提高算法的收敛精度。通过14个测试函数进行仿真实验,使用Wilcoxon秩和检验以及平均绝对误差来评价算法性能,并将改进算法应用到两个工程设计问题,实验结果验证了3种改进策略的有效性,且改进算法的收敛精度、收敛速度和鲁棒性都有显著提高。

基于邻域搜索的改进反向学习平衡优化器算法

针对标准平衡优化器EO算法收敛精度低、易陷入局部最优解等问题,提出一种结合邻域拓扑搜索改进的反向平衡优化器算法IOLEONS。首先,利用双曲正切自适应算子修改平衡池中平均浓度值,提高算法收敛精度;然后,计算粒子之间的欧氏距离,引入邻域搜索机制,进一步增强算法的局部开发能力,更好地平衡算法开发和探索阶段;最后,利用添加Chebyshev映射的动态对称反向学习策略增强种群的扰动能力,提高种群的多样性,帮助种群跳出局部最优解。对改进算法进行收敛性分析并选取8个基准函数进行仿真实验,Wilcoxon符号秩检验和Friedman秩检验结果显示,改进算法具有较好的优化性能。

基于改进平衡优化器的医学2D/3D图像快速配准算法

医学三维图像(如CT、MRI等)和二维图像(如X光)的配准技术已经被广泛应用于临床诊断和手术规划中.医学图像配准的实质为使用优化算法寻找某种空间变换,使两张图像在空间以及结构上对齐.配准过程中往往由于优化算法寻优精度不高、易陷入局部极值的问题导致配准质量低.针对此问题,提出一种改进的平衡优化器算法(improved equilibrium optimizer based on Logistic-Tent chaos map and Levy flight,LTEO),首先针对种群初始化容易分布不均匀,且随机性太高的问题,引入Logistic-Tent混沌映射对种群进行初始化,提高种群多样性,使它们尽可能地分布于搜索空间内;对迭代函数进行更新,使得优化算法更注重全局范围的搜索,提高算法收敛速度并利于找到全局最优解;引入Levy飞行策略对停滞粒子进行扰动,防止算法陷入局部极值.最后将改进的平衡优化器算法用于2D/3D医学图像配准任务,并对配准过程中数据的频繁传输进行优化,降低配准耗时.通过基准函数测试和临床配准实验对算法进行验证,改进后的平衡优化器可有效提高寻优精度和稳定性,并提高医学图像配准的质量.

分布式光伏发电智能组件控制优化器解决方案

分布式光伏产业面临分散资产运维效率低下、无法解决直流安全隐患的问题,为此,本文提出了一种分布式光伏发电智能组件控制优化器解决方案。首先,介绍了智能组件控制器的定义和功能,探究了其应用场景和优势。随后,以某镇初级中学宿舍楼为实验场地,验证了智能组件控制器在不同复杂场景下对光伏系统发电量的提升效果。结果表明,在多朝向、梯间、积灰、鸟粪等4组场景下,安装优化器其发电量分别提升了23%、3%、7.5%和7.9%。最后,本文提供了智能组件控制器在分布式光伏发电中的推广策略。

改进平衡优化器的超声电机无模型自适应控制

为了提高超声电机的控制性能,将基于数据驱动的无模型自适应控制(Model Free Adaptive Control,MFAC)方法应用到超声电机的速度控制中,并针对MFAC存在参数调整困难的问题,提出一种改进的平衡优化器(Improved Equilibrium Optimizer, IEO)算法用于MFAC参数寻优。首先,利用自适应生成概率策略来平衡算法的探索与开发能力;其次,引入折射反向学习策略来扩大解的搜索范围,提高算法的收敛速度,同时采用柯西变异策略来提高算法跳出局部最优的能力;最后,提出一种改进的时间乘以绝对误差积分(Improved Integral Time Absolute Error, IITAE)指标函数用于MFAC的参数寻优。仿真和实验结果表明,与基于原始平衡优化器算法的MFAC相比,基于改进平衡优化器算法的MFAC的稳态误差和调整时间明显减小,系统的控制性能得到显著提高。

求解高维优化问题的新型平衡优化器算法

针对标准平衡优化器求解高维优化问题时出现的进化停滞现象,本文首先通过对标准平衡优化器中学习参数的函数特征分析,给出了可能导致进化停滞的原因.接着在分析结论基础上提出一种改进的平衡优化器算法.新算法中设计了自适应的生存概率来增强群体在进化后期探索的机会;为了避免平衡池中候选解同质化,对候选解以概率实施自我学习策略,不仅可以提高群体的收敛速度,而且有效防止群体早期收敛;同时还设计了混合反向学习策略,群体中部分个体按混合反向学习策略实施更新,以增强群体的全局搜索能力,帮助种群逃离局部最优.将提出的算法与新型群智能算法在200维和500维数据条件下进行对比实验,实验结果表明改进的平衡优化算法可以避免陷入进化停滞,展现了良好的全局优化能力.