基于动量自适应学习率PSO-BP神经网络的钻速预测模型研究

机械钻速(rate of penetration,ROP)是钻井作业优化和减少成本的关键因素,钻井时有效地预测ROP是提升钻进效率的关键。由于井下钻进时复杂多变的情况和地层的非均质性,通过传统的ROP方程和回归分析方法来预测钻速受到了一定的限制。为了实现对钻速的高精度预测,对现有BP (back propagation)神经网络进行优化,提出了一种新的神经网络模型,即动态自适应学习率的粒子群优化BP神经网络,利用录井数据建立目标井预测模型来对钻速进行预测。在训练过程中对BP神经网络进行优化,利用启发式算法,即附加动量法和自适应学习率,将两种方法结合起来形成动态自适应学习率的BP改进算法,提高了BP神经网络的训练速度和拟合精度,获得了更好的泛化性能。将BP神经网络与遗传优化算法(genetic algorithm,GA)和粒子群优化算法(particle swarm optimization,PSO)结合,得到优化后的动态自适应学习率BP神经网络。研究利用XX8-1-2井的录井数据进行实验,对比BP神经网络、PSO-BP神经网络、GA-BP神经网络3种不同的改进后神经网络的预测结果。实验结果表明:优化后的PSO-BP神经网络的预测性能最好,具有更高的效率和可靠性,能够有效的利用工程数据,在有一定数据采集量的区域提供较为准确的ROP预测。

神经网络动量-自适应学习率BP算法与BP算法的性能比较及其应用

动量 -自适应学习率 BP算法是对标准 BP算法的改进 ,本文对这两种算法进行了分析 ,并利用计算机程序对其性能进行了比较测试 ,利用 VISU AL C++和 MATL

动量-自适应学习BP算法在加工领域的探索

为解决实际加工中试验次数多生产成本高、选取加工参数困难等问题,采用动量-自适应学习BP算法构建BP神经网络预测模型。根据实际情况将典型BP算法改进,得到收敛速度快的动量-自适应学习BP算法模型;用电解加工试验数据对模型结构进行训练,最终建立动量-自适应学习BP神经网络加工预测模型。采用该模型对不同加工参数组合下加工的不锈钢微孔孔径大小进行预测。结果表明,该模型的预测误差低于5%,具有很强的预测能力。

BP神经网络中自适应学习率的研究

<正>l引言~[1] 图1是一个典型的三层神经网络BP算铸示意图.Z是输入向量,Y是隐层输出向量0是网络输出向量,V及W分别为层间权向量。逆传播(Backprop-

BP自适应学习率设计

在神经网络的训练当中存在“过学习”现象以及参数难以选择的困难 .本文指出了大多数自适应 BP算法在学习率自调整中存在的问题 :事后矫正 ,同时通过极其简单的优化手段 ,为当前权值的每一次调整选择一个次优 (甚至最优 )的学习率 ,从而改善了训练过程的平稳性和快速性 ,并且有效地解决了神经网络的“过学习”

动量自适应学习速率梯度下降法神经网络电力负荷预测

电力系统负荷预测的精度将直接影响电力系统的经济效益和用电的安全和稳定,是电力负荷预测的重要组成部分。利用人工神经网络可以任意逼近非线性系统的特性,将其用于短期负荷预测。在标准的BP网络中加入了动量项和自适应学习速率,预测结果表明比标准BP算法具有更好的性能。在相同的情况下,连续预测六天的负荷和一年的负荷,结果都证明了研究方法具有一定的实用性。

Ada_Nesterov动量法——一种具有自适应学习率的Nesterov动量法

Nesterov动量法可以很好地改进梯度下降方向,但是其所有参数都具有相同的学习率,并且学习率需要人为设定。Adadelta算法可以自适应学习率,并且每维参数具有独立的学习率。因此,本文首先基于Adadelta算法推导出每一维的学习率公式,其次将其带入Nesterov动量法中,得到了Ada_Nesterov动量法。为了验证提出的Ada_Nesterov动量法,本文设计了两个实验。实验结果表明:动量参数0.5时,Ada_Nesterov动量法在VggNet_16神经网络架构上,基于CIFAR_100数据集的验证准确率最高,损失最小,收敛速度最快。即Ada_Nesterov动量法改进了Nesterov动量法,具有自适应学习率。

一种改进的BP网络学习算法

本文对添加动量项的BP算法中动量因子对网络收敛速度和收敛精度的影响进行了分析研究,并在此基础上提出了一种改进的算法。仿真结果表明该方法是有效的。

基于自适应学习速率的模糊神经网络控制器

针对模糊神经网络控制器中很难确定一个最佳学习速率的问题,将带有动量因子的自适应学习速率BP算法引入模糊神经网络控制器中。采用模糊推理自适应调节学习速率,同时引入动量因子,提高系统的收敛速度,并基于Lyapunov定理给出了系统稳定的证明过程。针对同一数学模型,用Matlab编程仿真3种方法的实验结果表明:优化后的模糊神经网络控制器较普通模糊神经网络控制器和模糊控制器具有更优越的控制性能。

公路隧道围岩变形时程曲线拟合的BP算法

运用 BP算法学习率自适应调整策略 ,对公路隧道新奥法正台阶施工开挖过程中围岩变形时程曲线的拟合进行了研究 。

一种基于总量风险函数的改进BP算法

为了能设计出一个优良的神经网络结构使得网络在保持良好性能的同时使规模最小化,作者引入了一种新的目标函数,希望能在模型的可靠性和规模之间找到一个适当的折中.基于此新的目标函数提出一种改进的BP算法,同时在改进的算法中采用自适应调整动量和学习率的方法以加快收敛速度和避免误差陷入局部极小值.将改进BP算法用于手写数字识别实验,结果表明,新算法有很好的实用价值.

基于改进型BP算法的外债风险指标预测

利用人工神经网络进行时间序列预测是一种较新的方法 ,它具有不需建立复杂的数学模型以及非线性映射能力强等优点 .采用动量法和学习率自适应调整的改进型 BP算法对外债风险的各项指标进行了非线性时间序列的预测 。

BP改进算法在哮喘症状-证型分类预测中的应用

针对BP算法学习率需要人为不断调试且收敛速度慢的缺点,通过对其算法性能进行分析,提出一种基于竞争学习与学习率自适应的改进BP算法,即CAL-BP算法。将改进算法用于哮喘症状-证型的分类预测实验中,将BP算法与CAL-BP算法对哮喘症状-证型数据的训练效果做了对比,实验结果表明,采用改进的CAL-BP算法训练数据时收敛速度更快,识别率更高。

BP神经网络计算法及其应用研究

研究了 BP神经网络的算法 ,提出了权值、阈值调整的双动量算法和学习率调整的批处理半恢复自适应调整法 ,使网络总体收敛性较好 ;用所设软件计算了 1

BP神经网络算法在数字识别中的应用

介绍 BP神经网络算法的理论和方法 ,并在 MATL AB环境下给出了 BP神经网络算法在数字图像识别系统中的应用 .

一种改进的BP算法

传统的BP算法收敛速度慢,利用附加动量因子和自适应学习速率改进了传统的BP算法,它对于BP网络结构优化,提高收敛速度有明显效果.

BP神经网络训练算法的改进

BP神经网络被广泛应用于分类模式识别、图像处理和系统控制等领域人们对BP网络算法进行了许多的研究,但尚有其不足之处为完成其权的训练,问题的关键在于如何避免陷入局部极小及在此前题下如何提高学习速度为此,就如何选取学习率η和动量矩α提出了改进方案,并应用于数字识别。

改进的BP算法在股市预测中的应用

股票价格预测是证券界和学术界的一个重要的研究课题。神经网络具有强大的非线性逼近能力,文中采用MO-VLBP神经网络建立股票价格预测模型,对某银行的收盘价进行预测。实验结果证明,MO-VLBP网络模型应用于股票价格的短期预测,运算速度快、预测精度高。

一种基于演化算法的BP改进算法

本文在对BP神经网络算法分析的基础上,提出一种基于演化算法的BP改进算法(EBP)。该算法将演化算法运用到BP算法学习率的求解中,从而达到学习率的自适应、自组织的目的。实验结果表明,使用EBP算法进行求解函数逼近、优化和建模等BP神经网络应用问题,都要比传统的BP算法具有更好的精确度和收敛速度,并且能够克服传统BP算法易陷入局部最优解、学习过程出现震荡等缺点。

一种改进的BP神经网络剪枝算法研究

将相关性剪枝算法(CPA)和变学习率、附加动量方法结合提出了一种基于CPA的改进的BP神经网络剪枝算法.实验结果表明,改进的算法可以降低训练步数,加快神经网络的收敛速度,在测试数据集上的均方误差也得到了进一步的优化.