神经网络动量-自适应学习率BP算法与BP算法的性能比较及其应用

动量 -自适应学习率 BP算法是对标准 BP算法的改进 ,本文对这两种算法进行了分析 ,并利用计算机程序对其性能进行了比较测试 ,利用 VISU AL C++和 MATL

双学习率自适应的Q路由算法

随着网络不断演进,网络流量呈爆炸式增长,路由方法成为了网络流量控制中的关键难题.这是因为传统的路由策略不具备学习能力,不能从过去的转发经验中学习到拥塞、链路中断等网络异常,也就不能根据网络状态调整路由策略.本文提出了一种双学习率自适应的Q路由算法DALRQ-routing.在轮询阶段,DALRQ-routing根据网络延迟调整echo学习率,减少轮询操作造成的延迟抖动.在转发阶段,算法根据TD-error调整transfer学习率,提高算法收敛速度.通过这种双学习率自适应的机制来降低延迟抖动,加速算法收敛.本文将提出的算法与Full Echo Q-routing和AQFE算法进行了比较.实验结果表明,在动态变化的网络负载下,本文所提出的算法在保持高收敛速度和低初始化峰值延迟的基础上明显减少了延迟抖动,提高了网络的稳定性.

基于动态学习率边界的隐私保护算法

深度学习优化算法在对数据进行训练时容易导致隐私泄露,卷积神经网络在进行隐私计算时会因为计算每个样本的梯度而带来巨大的内存开销,针对以上问题,提出一种结合混合重影剪裁的差分隐私动态学习率边界算法.将AdaBound优化算法与差分隐私相结合,缓解了算法在训练时的极端学习率和不稳定现象,减少了在反向传播过程中因为加入噪声而对模型收敛速度产生的影响.在卷积层上使用混合重影剪裁,简化了更新中对于梯度的直接计算所带来的开销成本,可以有效地训练差分隐私模型.最后,通过仿真实验,与其他经典的差分隐私算法进行对比,实验表明,算法实现了在相同隐私预算下更高的准确率,具有更优的性能,对模型的隐私保护效果更好.

自适应学习率梯度下降的优化算法

提出一种自适应学习率优化算法,可以根据损失函数的变化自动调节学习率大小,且能根据损失函数的变化幅度而调节变化程度;结合tanh函数,保证学习率不会因损失函数变化幅度过大而剧烈变化;在收敛后期,可以将学习率保持在一个固定值范围,以防止后期学习率变化而导致的收敛速度慢或精度差等问题。利用波士顿房价预测和Mnist手写识别两种数据集进行实验验证,通过对比所提出的改进算法与经典梯度下降优化算法,验证了本文算法的可行性和高效性。

基于自适应学习率萤火虫算法的多能源系统联合优化调度

随着碳中和目标下分布式新能源发电的快速增长以及多能协同技术的不断成熟,多能源系统(MES)得到了快速发展,成为未来能源的主要承载形式。但MES包括生产、存储、消费等复杂环节,其经济运行面临挑战。在MES框架下构建了包含新能源发电站、电池储能装置和冷热电联供装置的经济优化模型,以弃风弃光惩罚成本、电池储能装置放电损耗成本、燃气轮机燃气成本、碳排放惩罚成本等最小为目标函数,以电池储能装置的充放电特性、光伏与风力发电机组的出力特性、冷热电平衡等为约束条件,采用一种新型的自适应学习率萤火虫算法(ALRFA)对优化模型进行求解,通过引入自适应学习率参数,可避免陷入局部最优、收敛速度慢等问题。以某园区的用户冷热电负荷为例,验证了所提模型和优化算法的有效性和可行性。

基于动量自适应学习率PSO-BP神经网络的钻速预测模型研究

机械钻速(rate of penetration,ROP)是钻井作业优化和减少成本的关键因素,钻井时有效地预测ROP是提升钻进效率的关键。由于井下钻进时复杂多变的情况和地层的非均质性,通过传统的ROP方程和回归分析方法来预测钻速受到了一定的限制。为了实现对钻速的高精度预测,对现有BP (back propagation)神经网络进行优化,提出了一种新的神经网络模型,即动态自适应学习率的粒子群优化BP神经网络,利用录井数据建立目标井预测模型来对钻速进行预测。在训练过程中对BP神经网络进行优化,利用启发式算法,即附加动量法和自适应学习率,将两种方法结合起来形成动态自适应学习率的BP改进算法,提高了BP神经网络的训练速度和拟合精度,获得了更好的泛化性能。将BP神经网络与遗传优化算法(genetic algorithm,GA)和粒子群优化算法(particle swarm optimization,PSO)结合,得到优化后的动态自适应学习率BP神经网络。研究利用XX8-1-2井的录井数据进行实验,对比BP神经网络、PSO-BP神经网络、GA-BP神经网络3种不同的改进后神经网络的预测结果。实验结果表明:优化后的PSO-BP神经网络的预测性能最好,具有更高的效率和可靠性,能够有效的利用工程数据,在有一定数据采集量的区域提供较为准确的ROP预测。

BP神经网络中自适应学习率的研究

<正>l引言~[1] 图1是一个典型的三层神经网络BP算铸示意图.Z是输入向量,Y是隐层输出向量0是网络输出向量,V及W分别为层间权向量。逆传播(Backprop-

兼顾正确率和差异性的自适应集成算法及应用

针对如何从集成分类器中合理地筛选个体以提高集成学习的效果这一难题,提出了新的集成算法.该算法基于知识粒原理设计一种兼顾正确率和差异性的筛选指标,以便从训练的一批分类器中快速地选择个体组建成库;以自适应方式,针对每一类别生成特定的集成分类器,这些集成分类器间存在包容性,由此构建的集成分类器组将占用较少的计算资源,并将以自适应方式进行分类决策.对多种模式分类问题的试验结果表明:与其他集成方法相比,该集成算法更为高效,稳定性更好,具有较强的泛化性能.

BP自适应学习率设计

在神经网络的训练当中存在“过学习”现象以及参数难以选择的困难 .本文指出了大多数自适应 BP算法在学习率自调整中存在的问题 :事后矫正 ,同时通过极其简单的优化手段 ,为当前权值的每一次调整选择一个次优 (甚至最优 )的学习率 ,从而改善了训练过程的平稳性和快速性 ,并且有效地解决了神经网络的“过学习”

用于训练神经网络的自适应梯度下降优化算法

由于神经网络规模的扩大,模型训练变得越来越困难.为应对这一问题,提出了一种新的自适应优化算法——Adaboundinject.选取Adam的改进算法Adabound算法,引入动态学习率边界,实现了自适应算法向随机梯度下降(SGD)的平稳过渡.为了避免最小值的超调,减少在最小值附近的振荡,在Adabound的二阶矩中加入一阶矩,利用短期参数更新作为权重,以控制参数更新.为了验证算法性能,在凸环境下,通过理论证明了Adaboundinject具有收敛性.在非凸环境下,进行了多组实验,采用了不同的神经网络模型,通过与其他自适应算法对比,验证了该算法相比其他优化算法具有更好的性能.实验结果表明,Adaboundinject算法在深度学习优化领域具有重要的应用价值,能够有效提高模型训练的效率和精度.

一种自适应学习率的遥感影像分类方法

在对遥感影像进行分类识别处理时,深度学习技术容易陷于局部最优,模型参数往往需要手动调整。提出一种基于模拟退火算法的自适应学习率方法,并建立层叠去噪自动编码器模型。给模型添加一定学习率比例,以实现学习率在迭代中自动改变。通过对比实验以及曲面拟合方法,验证了该方法的有效性、实用性和可靠性。该方法能自动调整学习率参数且能够避免局部最优解,分类精度和效率均有所提高。

带有校正项的自适应梯度下降优化算法

基于批处理的随机梯度下降(SGD)优化算法通常用于训练卷积神经网络(CNNs),其性能的优劣直接影响神经网络收敛的速度.近年来,一些自适应梯度下降优化算法被提出,如Adam、Radam算法等.然而,这些优化算法既没有利用历史迭代的梯度范数,也没有利用随机子样本中梯度的二阶矩,这些导致自适应梯度下降优化算法收敛速度较慢,性能也不稳定.结合历史梯度范数和梯度的二阶矩,提出了一种新的自适应梯度下降优化算法normEve.通过模拟仿真实验,实验结果表明,提出的新算法在结合历史梯度范数和梯度二阶矩的情形下能有效地提高算法的收敛速度.通过实例验证新算法与Adam优化算法比较,新算法的测试准确率大于Adam优化算法,验证了新算法的优越性.

Ada_Nesterov动量法——一种具有自适应学习率的Nesterov动量法

Nesterov动量法可以很好地改进梯度下降方向,但是其所有参数都具有相同的学习率,并且学习率需要人为设定。Adadelta算法可以自适应学习率,并且每维参数具有独立的学习率。因此,本文首先基于Adadelta算法推导出每一维的学习率公式,其次将其带入Nesterov动量法中,得到了Ada_Nesterov动量法。为了验证提出的Ada_Nesterov动量法,本文设计了两个实验。实验结果表明:动量参数0.5时,Ada_Nesterov动量法在VggNet_16神经网络架构上,基于CIFAR_100数据集的验证准确率最高,损失最小,收敛速度最快。即Ada_Nesterov动量法改进了Nesterov动量法,具有自适应学习率。

控制Logistic系统的自适应Chebyshev多项式神经网络算法

提出了一种基于自适应Chebyshev多项式神经网络(ACNN)的Logistic混沌系统控制算法。该算法采用Chebyshev正交多项式作为神经网络的激励函数,构建Logistic混沌系统的预测与控制模型。为了保证算法的稳定性,提出和证明了收敛定理,并利用自适应学习率算法提高神经网络的学习效率和收敛速度。通过采用自适应Chebyshev神经网络直接学习Logistic混沌系统的动态特性,并对系统实施目标函数控制。实验仿真结果表明,该算法在Logistic混沌系统有外部干扰的情况下仍能对其进行有效控制,网络学习时间为0.178 s,训练步长为10,均方误差达到1.15×10-4,与其他常见算法相比具有计算量小、速度快、精度高和网络结构简单等优点。

基于频率下降率的结构损伤自适应神经网络识别

笔者探讨了动量系数和学习率自适应调整的神经网络算法及结构裂纹损伤识别特征参数的选取,提出以反映结构损伤位置和程度的频率下降率作为结构裂纹损伤识别的特征参数,利用有限元网格细化法对结构裂纹损伤进行数值模拟,获取训练样本数据,通过自适应神经网络对结构裂纹损伤问题进行识别研究。从结构裂纹损伤识别实例的结果中可以看出,采用频率下降率和自适应神经网络技术对结构裂纹进行损伤识别分析具有较高的精度和可靠性。

混合递阶遗传算法的自适应小波神经网络优化设计

在研究自适应小波神经网络学习算法的基础上,提出了一种混合递阶遗传算法,与标准遗传算法相比,该算法不仅可以同时确定网络参数(连接权、尺度参数和平移参数),而且解决了网络拓扑结构的优化训练问题。仿真结果表明,该算法可以准确地搜索到自适应小波网络的网络参数和最优结构,并能大幅度提高学习效率,是切实可行的。

带有微分项改进的自适应梯度下降优化算法

梯度下降算法作为卷积神经网络训练常用优化算法,其性能的优劣直接影响网络训练收敛性.本文主要分析了目前梯度优化算法中存在超调而影响收敛性问题以及学习率自适应性问题,提出了一种带微分项的自适应梯度优化算法,旨在改善网络优化过程收敛性的同时提高收敛速率.首先,针对优化过程存在较大超调量的问题,通过对迭代算法的重整合以及结合传统控制学原理引入微分项等方式来克服权重更新滞后于实际梯度改变的问题;然后,引入自适应机制来应对因学习率的不适应性导致的收敛率差和收敛速率慢等问题;紧接着,基于柯西-施瓦茨和杨氏不等式等证明了新算法的最差性能上界(悔界)为■(√T).最后,通过在包括MNIST数据集以及CIFAR-10基准数据集上的仿真实验来验证新算法的有效性,结果表明新算法引入的微分项和自适应机制的联合模式能够有效地改善梯度下降算算法的收敛性能,从而实现算法性能的明显改善.

基于差分进化算法的瞬变电磁一维反演

实际采集的瞬变电磁数据包含电磁感应和激发极化效应,如何准确提取电阻率和极化率信息是电性源瞬变电磁数据处理的关键。首先,基于Cole⁃Cole复电阻率模型实现有限长电性源瞬变电磁法一维正演,在此基础上提出一种基于差分进化算法的电性源瞬变电磁一维反演方法。然后,在传统差分进化算法的基础上引入反向学习策略及控制参数自适应调节,加快反演的收敛速度,同时在目标函数中引入约束条件,构成最小构造反演,降低反演的多解性。最后,基于典型的三层地电模型和复杂多层模型进行理论模型测试,反演结果可有效恢复模型的电阻率和极化率。利用实测资料进行反演,反演得到的电阻率与OCCAM反演电阻率基本一致。在此电阻率约束的基础上,进一步反演得到极化率信息。反演结果准确地提取了实测数据中的电阻率信息,得到了地下介质的极化率分布,证明了算法的准确性和适用性。

基于改进的动态因子多层前馈网络学习算法

分析了学习率对BP神经网络中存在的典型问题的影响,提出了一种通过调整学习率改进BP神经网络性能的动态适应算法。仿真结果表明,此BP算法在学习速度方面有较大提高。

基于IMODA自适应深度信念网络的复杂模拟电路故障诊断方法

针对传统DBN在无监督训练过程中预训练耗时久、诊断精度差等问题,提出了一种基于改进多目标蜻蜓优化自适应深度信念网络(IMODA-ADBN)的模拟电路故障诊断方法。首先,根据参数更新方向的异同提出了自适应学习率,提高网络收敛速度;其次,传统DBN在有监督调优过程利用BP算法,然而BP算法存在易陷入局部最优的问题,为了改善该问题,利用改进的MODA算法取代BP算法提高网络分类精度。在IMODA算法中,添加Logistic混沌印射和基于对立跳跃以获得帕累托最优解,增加算法的多样性,提高算法的性能。在7个多目标数学基准问题上测试该算法,并与3种元启发式优化算法(MODA、MOPSO和NSGA-II)进行比较,证明了IMODA-ADBN网络模型具有稳定性。最后将IMODAADBN运用到二级四运放双二阶低通滤波器的诊断实验中,实验结果表明该方法在收敛速度快的基础上保证了分类精度,诊断率更高,能够实现高难故障的分类与定位。