基于自适应学习率卷积神经网络的新型配电网源网荷储无功协调优化技术

随着“双碳”目标的推进,分布式新能源接入电网的容量大幅度提升,配电网源网荷储协调优化策略是实现分布式新能源消纳的重要方法,其中无功优化能够保证电网安全稳定运行。文章提出了一种基于自适应学习率卷积神经网络的配电网源网荷储无功协调优化技术。首先以最小网络损耗和最低电压偏移为目标,构建无功优化模型;其次利用卷积神经网络强大的非线性拟合能力,挖掘出电网运行场景和无功调压设备、储能充放电策略之间的映射关系,引入自适应学习率的方式更新网络参数,提高了网络训练效率;再次通过控制无功调压设备和储能装置充放电情况协调分布式电源出力,实现电力系统无功电压主动优化控制;最后通过IEEE33节点电网模型进行了仿真验证。结果表明,文章所提的配电网源网荷储无功协调优化方法提高了电力系统电压调节能力,为配电网安全可靠运行奠定了良好基础。

融合三维螺旋运动和混合反向学习策略的改进鹈鹕优化算法

针对鹈鹕优化算法收敛速度较慢、初始化过程随机产生初始种群导致种群多样性差,在后期易陷入局部最优等问题,提出了一种融合三维螺旋飞行和混合反向学习策略的鹈鹕优化算法。首先使用Gauss映射初始化种群,提高种群多样性;其次利用三维螺旋飞行和混合最优最差反向学习策略,加强算法跳出局部最优的能力;最后,引入自适应平衡因子与自适应步长,提出鹈鹕坠落策略,以模拟捕食过程中群体的微小变化。最后,通过12个基准函数和实际案例对IPOA(improved pelican optimization algorithm)进行测试,并与8个仿生算法进行对比,测试结果与Wilcoxon符号秩和检验结果均表明IPOA收敛精度与稳定性等各项性能都有所提升,具有明显优势。

基于改进白鲸优化算法的D2D通信功率控制

D2D(Device-to-Device)通信作为未来移动通信网络的关键技术,为用户提供了直接通信的便利性和资源共享的高效性.然而,D2D通信的功率控制一直是影响通信质量和系统性能的关键问题.为解决这一问题,将精英反向学习、自适应权重两种策略引入到白鲸优化算法(Beluga Whale Optimization,BWO)中,并利用莱维飞行的随机步长策略来增加算法寻优的多样性,提出了基于改进白鲸优化算法的D2D通信功率控制方法.该方法利用最优解的信息引导搜索过程,可提高搜索效率和全局收敛,并能够有效提高通信效率和系统稳定性.为了验证所提出方法的有效性,开展了大量的数值仿真实验.结果显示,基于改进白鲸优化算法的D2D通信功率控制方法在增加系统吞吐量、减少干扰方面有显著的改善.同时,提出的算法相对于已有的算法有着更出色的收敛性与鲁棒性,在不同通信环境和参数设置下都能表现出更稳定的性能.

自适应策略优化的粒子群优化算法在神经网络架构搜索中的应用

针对神经网络架构搜索(NAS)任务,提出一种自适应重启策略驱动的协作学习粒子群优化(ARCLPSO)算法。算法核心流程包括协作学习与信息共享、策略切换和参数自适应,以改进传统粒子群优化(PSO)算法在NAS中的性能。ARCLPSO算法结合了全局与局部信息的协同作用和智能切换学习策略。具体地,ARCLPSO利用全局和局部信息的协同作用令粒子向更优的方向移动,通过智能的切换粒子学习策略平衡粒子的搜索性能和收敛速度,提高搜索速度和搜索质量。在NAS-Bench-101数据集上的实验结果表明,ARCLPSO的收敛时间相较于传统进化算法(REA)和随机搜索(RS),分别减少了40.9%和55.2%。

用于训练神经网络的自适应梯度下降优化算法

由于神经网络规模的扩大,模型训练变得越来越困难.为应对这一问题,提出了一种新的自适应优化算法——Adaboundinject.选取Adam的改进算法Adabound算法,引入动态学习率边界,实现了自适应算法向随机梯度下降(SGD)的平稳过渡.为了避免最小值的超调,减少在最小值附近的振荡,在Adabound的二阶矩中加入一阶矩,利用短期参数更新作为权重,以控制参数更新.为了验证算法性能,在凸环境下,通过理论证明了Adaboundinject具有收敛性.在非凸环境下,进行了多组实验,采用了不同的神经网络模型,通过与其他自适应算法对比,验证了该算法相比其他优化算法具有更好的性能.实验结果表明,Adaboundinject算法在深度学习优化领域具有重要的应用价值,能够有效提高模型训练的效率和精度.

适应度反向学习的平衡灰狼算法及其应用

针对传统灰狼优化算法位置更新时勘探与开发失衡,收敛速度慢且陷入局部最优的问题,提出一种改进的灰狼算法(balanced grey wolf algorithm based on fitness back learning,BGWO),引入非线性控制参数,增强算法前期勘探能力,加速收敛;在种群迭代阶段采用重心反向学习的最优适应度权重更新策略,平衡算法的勘探与开发。16组基准函数测试结果表明,改进后算法能自适应跳出局部最优,在加快算法收敛速度的同时提高全局收敛能力与精度。将BGWO应用于PV型旋风分离器粒级效率GBDT(gradient boosting decision tree)的建模,提高了GBDT的精度,模型相关系数0.980,均方误差0.00079,BGWO-GBDT与GBDT、PSO-GBDT和GWO-GBDT相对比,建模精度和稳定性明显提高,验证了BGWO的有效性。

带有校正项的自适应梯度下降优化算法

基于批处理的随机梯度下降(SGD)优化算法通常用于训练卷积神经网络(CNNs),其性能的优劣直接影响神经网络收敛的速度.近年来,一些自适应梯度下降优化算法被提出,如Adam、Radam算法等.然而,这些优化算法既没有利用历史迭代的梯度范数,也没有利用随机子样本中梯度的二阶矩,这些导致自适应梯度下降优化算法收敛速度较慢,性能也不稳定.结合历史梯度范数和梯度的二阶矩,提出了一种新的自适应梯度下降优化算法normEve.通过模拟仿真实验,实验结果表明,提出的新算法在结合历史梯度范数和梯度二阶矩的情形下能有效地提高算法的收敛速度.通过实例验证新算法与Adam优化算法比较,新算法的测试准确率大于Adam优化算法,验证了新算法的优越性.

基于改进非洲秃鹫算法优化极限学习机的船舶运动预测

针对船舶运动预测模型精度不高而造成预测结果误差大的问题,提出一种利用改进非洲秃鹫优化算法(IAVOA)优化模型参数的极限学习机(ELM)预测模型,对船舶运动状况进行预测。在初始化种群时引入Circle混沌映射,增加种群的多样性;加入自适应算子,调整两类秃鹫对其他秃鹫的指引作用,提升算法的收敛速度和解的质量。利用IAVOA优化的ELM模型对船模水池试验运动数据进行预测,并采用均方根误差和平均绝对误差评判该预测模型,与现有其他启发式算法优化ELM模型比较,所提出的IAVOA-ELM具有更优的预测精度和泛化能力。

基于动态学习率边界的隐私保护算法

深度学习优化算法在对数据进行训练时容易导致隐私泄露,卷积神经网络在进行隐私计算时会因为计算每个样本的梯度而带来巨大的内存开销,针对以上问题,提出一种结合混合重影剪裁的差分隐私动态学习率边界算法.将AdaBound优化算法与差分隐私相结合,缓解了算法在训练时的极端学习率和不稳定现象,减少了在反向传播过程中因为加入噪声而对模型收敛速度产生的影响.在卷积层上使用混合重影剪裁,简化了更新中对于梯度的直接计算所带来的开销成本,可以有效地训练差分隐私模型.最后,通过仿真实验,与其他经典的差分隐私算法进行对比,实验表明,算法实现了在相同隐私预算下更高的准确率,具有更优的性能,对模型的隐私保护效果更好.

基于多目标优化的多源域自适应算法

多源域自适应是迁移学习中的一项重要技术,其目标是利用多个源域的知识来提升目标域的学习性能。然而,目前的多源域自适应方法大多关注于源域与目标域之间的差异,忽略了源域的选取问题。为了解决上述问题,提出了基于多目标优化的多源域自适应算法,使用多目标优化来增强各源域之间不相似域的效应和源域与目标域之间相似域的效应。此外,使用粒子群优化算法来优化以上两个目标。对五个基准的评估表明了所提出的模型的有效性。

基于Adam自适应学习率的神经网络训练方法

文章针对深度神经网络训练中的学习率调整问题,通过引入正则化项来优化Adam算法,以提高卷积神经网络的训练效果。在CIFAR-10数据集上的实验表明,基于正则化机制的Adam改进算法相较于传统的Adam优化算法缩短了训练时间,提高了测试和验证准确率,并降低了训练损失,表现出更好的泛化能力。

基于深度学习的网络路由优化算法设计

随着互联网规模的快速扩张和应用场景的高度多样化,传统的网络路由算法在应对复杂、动态的网络环境时面临着日益显著的挑战。在这种背景下,深度学习技术的兴起为应对这一挑战提供了全新的思路和方法。研究旨在通过设计一种基于深度学习的网络路由优化算法来提升网络性能和适应性,以适应日益复杂的网络通信需求。该算法将结合深度学习技术的强大模式识别能力和网络数据中的丰富信息,实现对网络流量的智能管理和优化,从而提高网络的传输效率、降低时延,并提供更好的服务质量。

混合引力搜索的自适应反向学习蜉蝣优化算法

针对蜉蝣优化算法全局探索能力较弱,易陷入局部最优的不足,提出了两种改进策略:利用引力搜索算法更新蜉蝣的速度公式,以增强算法的全局探索能力和局部开发能力;对蜉蝣种群执行自适应反向学习策略,以提高算法的收敛速度及求解精度。将两种策略分别引入雌雄种群中得到六种算法变体。仿真结果表明,雄性种群混合引力搜索算法且雌性种群引入自适应反向学习策略的变体性能最好,命名为GSA-OMA算法。与8个元启发式优化算法相比,GSA-OMA算法具有更好的寻优精度和收敛速度。

基于动量自适应学习率PSO-BP神经网络的钻速预测模型研究

机械钻速(rate of penetration,ROP)是钻井作业优化和减少成本的关键因素,钻井时有效地预测ROP是提升钻进效率的关键。由于井下钻进时复杂多变的情况和地层的非均质性,通过传统的ROP方程和回归分析方法来预测钻速受到了一定的限制。为了实现对钻速的高精度预测,对现有BP (back propagation)神经网络进行优化,提出了一种新的神经网络模型,即动态自适应学习率的粒子群优化BP神经网络,利用录井数据建立目标井预测模型来对钻速进行预测。在训练过程中对BP神经网络进行优化,利用启发式算法,即附加动量法和自适应学习率,将两种方法结合起来形成动态自适应学习率的BP改进算法,提高了BP神经网络的训练速度和拟合精度,获得了更好的泛化性能。将BP神经网络与遗传优化算法(genetic algorithm,GA)和粒子群优化算法(particle swarm optimization,PSO)结合,得到优化后的动态自适应学习率BP神经网络。研究利用XX8-1-2井的录井数据进行实验,对比BP神经网络、PSO-BP神经网络、GA-BP神经网络3种不同的改进后神经网络的预测结果。实验结果表明:优化后的PSO-BP神经网络的预测性能最好,具有更高的效率和可靠性,能够有效的利用工程数据,在有一定数据采集量的区域提供较为准确的ROP预测。

基于PPO的自适应PID控制算法研究

采用MATLAB物理引擎联合Python搭建了一个六轴机械臂,并模拟带有扰动的复杂控制环境,为机械臂训练提供现实中无法提供的试错环境。使用强化学习中近端优化算法(proximal policy optimization,PPO)算法对传统PID控制算法进行改进,引入多智能体思想,根据PID三个参数对控制系统的不同影响及六轴机械臂的特性,将三个参数分别作为不同的智能个体进行训练,实现多智能体自适应调整参数的新型多智能体自适应PID算法。仿真结果表明:该算法的训练收敛性优于MA-DDPG与MA-SAC算法,与传统PID算法的控制效果相比,在遇到扰动及振荡的情况下,能够更有效地抑制振荡,并具有更低的超调量和调整时间,控制过程更为平缓,有效提高了机械臂的控制精度,证明了该算法的鲁棒性及有效性。

自适应学习率梯度下降的优化算法

提出一种自适应学习率优化算法,可以根据损失函数的变化自动调节学习率大小,且能根据损失函数的变化幅度而调节变化程度;结合tanh函数,保证学习率不会因损失函数变化幅度过大而剧烈变化;在收敛后期,可以将学习率保持在一个固定值范围,以防止后期学习率变化而导致的收敛速度慢或精度差等问题。利用波士顿房价预测和Mnist手写识别两种数据集进行实验验证,通过对比所提出的改进算法与经典梯度下降优化算法,验证了本文算法的可行性和高效性。

基于自适应学习率萤火虫算法的多能源系统联合优化调度

随着碳中和目标下分布式新能源发电的快速增长以及多能协同技术的不断成熟,多能源系统(MES)得到了快速发展,成为未来能源的主要承载形式。但MES包括生产、存储、消费等复杂环节,其经济运行面临挑战。在MES框架下构建了包含新能源发电站、电池储能装置和冷热电联供装置的经济优化模型,以弃风弃光惩罚成本、电池储能装置放电损耗成本、燃气轮机燃气成本、碳排放惩罚成本等最小为目标函数,以电池储能装置的充放电特性、光伏与风力发电机组的出力特性、冷热电平衡等为约束条件,采用一种新型的自适应学习率萤火虫算法(ALRFA)对优化模型进行求解,通过引入自适应学习率参数,可避免陷入局部最优、收敛速度慢等问题。以某园区的用户冷热电负荷为例,验证了所提模型和优化算法的有效性和可行性。

基于新型细菌觅食优化算法的飞机动态泊位问题

随着航空运输业的发展,传统手动设计泊位方案已难以满足日益增长的外包维修需求.在外包模式下,如何快速给出高效的动态泊位方案关系到维修任务订单的准点交付,是飞机维修服务公司亟待解决的重要问题.针对飞机泊位进出顺序及碰撞检测特点,构建带时间窗的飞机维修泊位模型.设计自适应趋化学习及交叉协作策略,提出新型细菌觅食优化算法,并设计一系列约束处理机制.研究结果表明,提出的基于矩形碰撞检测方法可有效预防并判断飞机间碰撞阻塞情况.新型细菌觅食优化算法在解决飞机动态泊位问题上展现出搜索精度高、稳定性强等特点.所得高效智能化泊位调度方案有助于在保证维修安全的情况下提升飞机维修服务提供商的维修服务效率,改进维修资源利用率与维修系统的柔性,为企业实现高质量发展打下良好基础.

基于改进鼠群优化算法的起重机主梁轻量化设计

为提高元启发式算法求解桥式起重机主梁优化问题的寻优精度与效率,文中提出一种改进的鼠群优化算法(IRSO)。该算法采用Hénon混沌随机反向学习初始化种群,提高算法的初始寻优性能;在追逐行为中,引入随机反向学习和高斯变异混合策略对鼠群进行逐维学习,增强算法的全局搜索能力;在搏斗行为中,采用翻筋斗搏斗搜索策略更新鼠群位置,增强算法的局部搜索能力;在算法中引入自适应余弦控制因子,实现算法控制参数之间的动态平衡,提高算法的整体寻优能力。仿真结果表明:与其他算法相比,IRSO算法寻优能力更优、收敛精度更高、稳定性和鲁棒性更强;同时,IRSO算法可高效地解决桥式起重机主梁轻量化设计问题,减重效果可达20.72%,具有较好的工程实际应用能力。

深度学习优化器进展综述

优化器是提高深度学习模型性能的关键因素,通过最小化损失函数使得模型的参数和真实参数接近从而提高模型的性能。随着GPT等大语言模型成为自然语言处理领域研究焦点,以梯度下降优化器为核心的传统优化器对大模型的优化效果甚微。因此自适应矩估计类优化器应运而生,其在提高模型泛化能力等方面显著优于传统优化器。以梯度下降、自适应梯度和自适应矩估计三类优化器为主线,分析其原理及优劣。将优化器应用到Transformer架构中,选取法-英翻译任务作为评估基准,通过实验深入探讨优化器在特定任务上的效果差异。实验结果表明,自适应矩估计类优化器在机器翻译任务上有效提高模型的性能。同时,展望优化器的发展方向并给出在具体任务上的应用场景。