基于自适应学习率卷积神经网络的新型配电网源网荷储无功协调优化技术

随着“双碳”目标的推进,分布式新能源接入电网的容量大幅度提升,配电网源网荷储协调优化策略是实现分布式新能源消纳的重要方法,其中无功优化能够保证电网安全稳定运行。文章提出了一种基于自适应学习率卷积神经网络的配电网源网荷储无功协调优化技术。首先以最小网络损耗和最低电压偏移为目标,构建无功优化模型;其次利用卷积神经网络强大的非线性拟合能力,挖掘出电网运行场景和无功调压设备、储能充放电策略之间的映射关系,引入自适应学习率的方式更新网络参数,提高了网络训练效率;再次通过控制无功调压设备和储能装置充放电情况协调分布式电源出力,实现电力系统无功电压主动优化控制;最后通过IEEE33节点电网模型进行了仿真验证。结果表明,文章所提的配电网源网荷储无功协调优化方法提高了电力系统电压调节能力,为配电网安全可靠运行奠定了良好基础。

基于自适应学习率的深度信念网设计与应用

针对深度信念网(Deep belief network,DBN)预训练耗时长的问题,提出了一种基于自适应学习率的DBN(Adaptive learning rate DBN,ALRDBN).ALRDBN将自适应学习率引入到对比差度(Contrastive divergence,CD)算法中,通过自动调整学习步长来提高CD算法的收敛速度.然后设计基于自适应学习率的权值训练方法,通过网络性能分析给出学习率变化系数的范围.最后,通过一系列的实验对所设计的ALRDBN进行测试,仿真实验结果表明,ALRDBN的收敛速度得到了提高且预测精度也有所改善.

一种带自适应学习率的综合随机梯度下降Q-学习方法

在线强化学习中,值函数的逼近通常采用随机梯度下降(Stochastic Gradient Descent,SGD)方法.在每个时间步,SGD方法使用强化学习算法获取随机样本,计算损失函数的局部梯度,单次模型参数更新的计算量小,适合在线学习.但是,由于目标函数不同维度存在梯度差异,SGD方法会产生优化震荡,导致迭代次数增多,收敛速度变慢甚至不能收敛.本文提出一种带自适应学习率的综合随机梯度下降方法(Adaptive Learning Rate on Integrated Stochastic Gradient Descent,ALRI-SGD),对SGD做了两方面改进:(1)在基于参数预测的基础上,利用历史随机梯度信息综合计算当前时间步的更新梯度;(2)根据不同维度的历史梯度信息,动态计算每个维度的学习率.在一定的数学约束条件下,证明了ALRI-SGD方法的收敛性.把ALRI-SGD方法与基于线性函数逼近的离策略Q-学习算法结合,用于求解强化学习中经典的Mountain Car问题和平衡杆问题,并与基于SGD的Q-学习算法进行实验比较.实验结果表明,ALRI-SGD方法能动态匹配模型参数在不同维度上的梯度差异,并使学习率自动更新以适应不同维度的数据特征.ALRI-SGD方法在收敛效率和收敛稳定性两个方面都有提升.

自适应学习率的增量强化学习飞行控制

针对预先设定学习率的增量强化学习(IRL)飞行控制律失败率较高,并且无法适应飞行器大范围动力学特性变化下的稳定控制问题,提出一种自适应学习率的增量强化学习(ALRIRL)控制方法。首先,基于小波分析方法构造控制系统稳定度评价函数,用于评估控制器稳定度。然后,基于梯度下降法设计学习率在线迭代计算方法,以提升强化学习控制器的收敛性。最后,通过随机初始状态及随机动压变化下蒙特卡洛打靶试验和数学仿真来验证ALRIRL算法,仿真结果表明提出的方法能够根据参考状态跟踪误差振荡情况自适应调整学习率参数,实现飞行姿态稳定跟踪控制,提高强化学习飞行控制器的成功率。该方法减轻了IRL飞行控制算法对预先设定学习率超参数的依赖,拓宽了IRL在飞行器大范围动力学参数变化情况下的应用。

基于动量自适应学习率PSO-BP神经网络的钻速预测模型研究

机械钻速(rate of penetration,ROP)是钻井作业优化和减少成本的关键因素,钻井时有效地预测ROP是提升钻进效率的关键。由于井下钻进时复杂多变的情况和地层的非均质性,通过传统的ROP方程和回归分析方法来预测钻速受到了一定的限制。为了实现对钻速的高精度预测,对现有BP (back propagation)神经网络进行优化,提出了一种新的神经网络模型,即动态自适应学习率的粒子群优化BP神经网络,利用录井数据建立目标井预测模型来对钻速进行预测。在训练过程中对BP神经网络进行优化,利用启发式算法,即附加动量法和自适应学习率,将两种方法结合起来形成动态自适应学习率的BP改进算法,提高了BP神经网络的训练速度和拟合精度,获得了更好的泛化性能。将BP神经网络与遗传优化算法(genetic algorithm,GA)和粒子群优化算法(particle swarm optimization,PSO)结合,得到优化后的动态自适应学习率BP神经网络。研究利用XX8-1-2井的录井数据进行实验,对比BP神经网络、PSO-BP神经网络、GA-BP神经网络3种不同的改进后神经网络的预测结果。实验结果表明:优化后的PSO-BP神经网络的预测性能最好,具有更高的效率和可靠性,能够有效的利用工程数据,在有一定数据采集量的区域提供较为准确的ROP预测。

动态自适应学习率优化的卷积神经网络轴承故障诊断方法

滚动轴承的工作转速和载荷很多时候是变化的,基于先验知识的诊断方法很难取得令人满意的分类效果。针对这一问题,提出了基于Nesterov动量的自适应卷积神经网络,用于轴承故障诊断。首先,将网络中传统动量规则替换为Nesterov动量,改善传统方法容易错过最优解问题。其次,为了改善网络泛化能力,设计了一种根据误差变化率动态调整学习率的自适应学习率规则。最后,将采集到的原始数据直接输入到提出的网络中训练故障诊断模型,并利用测试数据对模型进行评测。实验结果表明,提出的优化方法改善了神经网络的收敛性,提高了轴承故障分类精度。

基于自适应学习率独立分量分析的图像盲分离

以独立分量分析(ICA)技术作为主要研究对象,对基于独立分量分析的定点算法进行了详细的分析和推理。传统定点算法具有结构简单、运算速度快的特点,但是在图像盲分离中数据有时不能完全满足独立性假设,因此在有些情况下,该算法是否收敛仍具有不确定性。由此,提出了一种能够自适应调整学习率的改进定点图像盲分离方法。将该方法用于混合图像的分离中,较传统方法而言,有收敛速度更快、鲁棒性更强、对数据相关性要求相对较低的优点。计算估计图像的峰值信噪比可知,分离效果是十分有效的。可见,该算法是一种新的、快速有效的图像分离方法。

BP神经网络中自适应学习率的研究

<正>l引言~[1] 图1是一个典型的三层神经网络BP算铸示意图.Z是输入向量,Y是隐层输出向量0是网络输出向量,V及W分别为层间权向量。逆传播(Backprop-

基于权值变化的BP神经网络自适应学习率改进研究

针对传统神经网络的学习率由人为经验性设定,存在学习率设置过大或过小,容易导致无法收敛或收敛速度慢的问题,本文提出基于权值变化的自适应学习率改进方法,改善传统神经网络学习率受人为经验因素影响的弊端,提高误差精度,并结合正态分布模型与梯度上升法,提高收敛速度.本文以BP神经网络为例,对比固定学习率的神经网络,应用经典XOR问题仿真验证,结果表明本文的改进神经网络具有更快的收敛速度和更小的误差.

自适应学习率的小波神经网络逼近算法

提出一种自适应学习率的小波神经网络算法,从根本上解决了小波神经网络学习率的取值和收敛速度慢的问题,并有效地克服了小波神经网络易陷入局部极小的缺点,仿真实验表明,提出的学习算法可靠,学习率能够随着网络的运行参数而自动变化,无需任何人为调整,克服了小波神经网络学习率靠人为试算选取所带来的问题。采用该种改进算法用于非线性函数逼近明显优于同等规模的固定学习率的小波神经网络。

神经网络动量-自适应学习率BP算法与BP算法的性能比较及其应用

动量 -自适应学习率 BP算法是对标准 BP算法的改进 ,本文对这两种算法进行了分析 ,并利用计算机程序对其性能进行了比较测试 ,利用 VISU AL C++和 MATL

BP自适应学习率设计

在神经网络的训练当中存在“过学习”现象以及参数难以选择的困难 .本文指出了大多数自适应 BP算法在学习率自调整中存在的问题 :事后矫正 ,同时通过极其简单的优化手段 ,为当前权值的每一次调整选择一个次优 (甚至最优 )的学习率 ,从而改善了训练过程的平稳性和快速性 ,并且有效地解决了神经网络的“过学习”

基于自适应学习率优化的AdaNet改进

人工神经网络的自适应结构学习(AdaNet)是基于Boosting集成学习的神经结构搜索框架,可通过集成子网创建高质量的模型。现有的AdaNet所产生的子网之间的差异性不显著,因而限制了集成学习中泛化误差的降低。在AdaNet设置子网网络权重和集成子网的两个步骤中,使用Adagrad、RMSProp、Adam、RAdam等自适应学习率方法来改进现有AdaNet中的优化算法。改进后的优化算法能够为不同维度参数提供不同程度的学习率缩放,得到更分散的权重分布,以增加AdaNet产生子网的多样性,从而降低集成学习的泛化误差。实验结果表明,在MNIST(Mixed National Institute of Standards and Technology database)、Fashion-MNIST、带高斯噪声的Fashion-MNIST这三个数据集上,改进后的优化算法能提升AdaNet的搜索速度,而且该方法产生的更加多样性的子网能提升集成模型的性能。在F1值这一评估模型性能的指标上,改进后的方法相较于原方法,在三种数据集上的最大提升幅度分别为0.28%、1.05%和1.10%。

大型结构自适应学习率RBF神经网络滑模分散控制研究

为了有效处理土木工程结构分散振动控制中子系统间相互影响力和外界荷载不确定性的影响,提出了自适应学习率RBF神经网络滑模分散控制算法(DALRBFSMC)。首先利用Lyapunov稳定性理论设计了仅依赖于子系统位移和速度响应反馈信息的滑模分散控制律,在此基础上,结合RBF神经网络理论和经典梯度下降法,引入Lyapunov函数,推导了调整RBF网络权值的自适应学习率,进而得到能实时调节滑模分散控制律切换增益项的自适应学习率RBF神经网络滑模分散控制算法(DALRBFSMC)。同时,针对子系统不同划分方式及子控制器之间存在重叠,提出了多种分散控制设计策略。对ASCE 9层Benchmark模型进行多种分散控制和集中控制设计。仿真分析结果表明,该分散控制算法适用于不同的分散控制策略,重叠分散控制策略较传统集中控制策略而言有更好的控制效果;同时能使分散控制系统内各作动器均处于功效最大状态。

基于自适应学习率萤火虫算法的多能源系统联合优化调度

随着碳中和目标下分布式新能源发电的快速增长以及多能协同技术的不断成熟,多能源系统(MES)得到了快速发展,成为未来能源的主要承载形式。但MES包括生产、存储、消费等复杂环节,其经济运行面临挑战。在MES框架下构建了包含新能源发电站、电池储能装置和冷热电联供装置的经济优化模型,以弃风弃光惩罚成本、电池储能装置放电损耗成本、燃气轮机燃气成本、碳排放惩罚成本等最小为目标函数,以电池储能装置的充放电特性、光伏与风力发电机组的出力特性、冷热电平衡等为约束条件,采用一种新型的自适应学习率萤火虫算法(ALRFA)对优化模型进行求解,通过引入自适应学习率参数,可避免陷入局部最优、收敛速度慢等问题。以某园区的用户冷热电负荷为例,验证了所提模型和优化算法的有效性和可行性。

基于自适应学习率的运动目标高效检测算法

该文提出了一种改进的基于自适应学习率高斯建模的三帧差分算法。通过基于自适应学习率的混合高斯背景建模,实现背景模型的自适应修正,保证算法在动态环境中能完整提取目标内部信息。其次,采用基于边缘提取的三帧差分改进算法,完成对目标轮廓的快速提取,并以此作为目标图像的边缘补充。实验结果表明,该算法能够完整提取运动目标,并保证目标边缘的连续与平滑,同时检测的速度得到提升,可广泛应用于智能监控、医疗等领域。

一种基于自适应学习率的推荐优化算法模型

在预测推荐系统中用户和项目构成的高维稀疏矩阵中的缺失值时,通常采用随机梯度下降算法对构造的隐因子(LF)模型进行求解,由于在求解过程中,学习速率始终保持不变,这使得在模型训练过程中模型的性能有所损失。因此,本文将构造一种带有自适应学习率的随机梯度下降算法的LF模型(ADA_LF)来处理推荐系统中的高维稀疏矩阵。采用大型工业数据集对模型进行实验测试,结果表明,采用ADA_SGD算法构建的LF模型在收敛速率、预测精度上都有明显提升,提高了模型的性能。

位姿估计自适应学习率的改进

学习率的大小影响着模型的训练速度和收敛精度,为了解决常用学习率AdaGrad的历史梯度干扰、AdaDec中幂指函数相关性不强的问题,从学习率衰减方式出发,提出一种基于衰减时效性的学习率改进方法(AdaRecur)。此学习率改进有两方面:1)通过设置衰减速率ρ减小历史梯度作用并结合当前梯度共同调整学习率;2)根据当前网络梯度的变化,将初始学习率替换为上轮训练中的学习率,以递推的方式调整学习率大小。目标位姿估计中LineMod数据集测试结果表明,在相同训练次数的情况下,AdaRecur比AdaGrad和AdaDec的平移、角度误差小,其中角度误差降低了2.378%,平移误差降低了2.216%,位姿估计的效果更加完美。

基于自适应学习率BP神经网络的火点定位模型

为了解决传统BP (Back Propagation)神经网络收敛较慢的问题,通过BP神经网络搭建火点预测模型,采用一种自适应学习率的方法改进BP神经网络,经比较该算法收敛较快,模型输出可达到预期效果.同时利用现场可编程逻辑门阵列(FPGA)的动态可重构技术实现了改进后的神经网络,通过仿真和结果测试,该设计在预测结果的基础上又大大减少了预测时间,为环保预测、检测轨迹规划提供了一定的理论基础.

AdaSVRG:自适应学习率加速SVRG

在深度学习任务中,随机方差衰减梯度法通过降低随机梯度方差,因此,其具有较好的稳定性和较高的计算效率。然而,这类方法在学习过程中均使用恒定的学习率,降低了随机方差衰减梯度法的计算效率。基于随机方差衰减梯度法,借鉴动量加速思想并对梯度估计采取加权平均策略,对学习率利用历史梯度信息进行自动调整,提出了自适应随机方差衰减梯度法。基于MNIST和CIFAR-10数据集,验证提出的自适应随机方差衰减梯度法的有效性。实验结果表明,自适应随机方差衰减梯度法在收敛速度和稳定性方面优于随机方差衰减梯度法和随机梯度下降法。