用于训练神经网络的自适应梯度下降优化算法

由于神经网络规模的扩大,模型训练变得越来越困难.为应对这一问题,提出了一种新的自适应优化算法——Adaboundinject.选取Adam的改进算法Adabound算法,引入动态学习率边界,实现了自适应算法向随机梯度下降(SGD)的平稳过渡.为了避免最小值的超调,减少在最小值附近的振荡,在Adabound的二阶矩中加入一阶矩,利用短期参数更新作为权重,以控制参数更新.为了验证算法性能,在凸环境下,通过理论证明了Adaboundinject具有收敛性.在非凸环境下,进行了多组实验,采用了不同的神经网络模型,通过与其他自适应算法对比,验证了该算法相比其他优化算法具有更好的性能.实验结果表明,Adaboundinject算法在深度学习优化领域具有重要的应用价值,能够有效提高模型训练的效率和精度.

基于动量自适应学习率PSO-BP神经网络的钻速预测模型研究

机械钻速(rate of penetration,ROP)是钻井作业优化和减少成本的关键因素,钻井时有效地预测ROP是提升钻进效率的关键。由于井下钻进时复杂多变的情况和地层的非均质性,通过传统的ROP方程和回归分析方法来预测钻速受到了一定的限制。为了实现对钻速的高精度预测,对现有BP (back propagation)神经网络进行优化,提出了一种新的神经网络模型,即动态自适应学习率的粒子群优化BP神经网络,利用录井数据建立目标井预测模型来对钻速进行预测。在训练过程中对BP神经网络进行优化,利用启发式算法,即附加动量法和自适应学习率,将两种方法结合起来形成动态自适应学习率的BP改进算法,提高了BP神经网络的训练速度和拟合精度,获得了更好的泛化性能。将BP神经网络与遗传优化算法(genetic algorithm,GA)和粒子群优化算法(particle swarm optimization,PSO)结合,得到优化后的动态自适应学习率BP神经网络。研究利用XX8-1-2井的录井数据进行实验,对比BP神经网络、PSO-BP神经网络、GA-BP神经网络3种不同的改进后神经网络的预测结果。实验结果表明:优化后的PSO-BP神经网络的预测性能最好,具有更高的效率和可靠性,能够有效的利用工程数据,在有一定数据采集量的区域提供较为准确的ROP预测。

自组织区间二型模糊神经网络及其自适应学习算法

针对复杂不确定非线性系统的辨识问题,提出一种基于聚类的自组织区间二型模糊神经网络学习算法.首先采用具有两个不同加权参数的FCM算法对输入数据进行划分来获取规则前件的不确定均值,同时结合聚类有效性标准确定模糊规则数目,从而自动完成神经网络的结构辨识和规则前件参数辨识;随后给出了基于梯度下降法和Lyapunov函数稳定收敛定理的规则后件权向量学习速率的自适应学习算法.通过非线性系统辨识实例,验证了该算法与其他方法相比具有更快的收敛速度和更高的逼近精度;并且利用该算法建立了某市电力短期负荷预测模型,结果表明该模型具有较高的预测精度,泛化性能更佳.

基于自适应投影学习算法的RBF神经网络多用户检测方法

自适应投影学习算法是一种简单有效的构造和训练径向基函数神经网络的方法,该方法能迭代地确定径向基函数的个数,中心的位置以及网络的权系数。本文将基于自适应投影学习算法的径向基函数神经网络应用于CDMA系统多用户检测,仿真表明:这种方法对远近问题不敏感,具有良好的误码率性能和抗多址干扰性能。

神经网络动量-自适应学习率BP算法与BP算法的性能比较及其应用

动量 -自适应学习率 BP算法是对标准 BP算法的改进 ,本文对这两种算法进行了分析 ,并利用计算机程序对其性能进行了比较测试 ,利用 VISU AL C++和 MATL

动态模糊神经网络及其快速自调整学习算法

针对非线性动态系统辨识和控制的特点,对4层模糊神经网络进行了优化和改进.形成了动态模糊神经网络,提高了网络的稳定性和对动态系统的辨识能力,同时给出了基于Lyapunov函数稳定收敛定理的各权向量以及权矩阵学习速率的自适应调整算法.应用于非线性动态系统的辨识和控制仿真试验表明,改进后的动态模糊神经网络与模糊神经网络相比,可取得更好的辨识精度和跟踪控制效果.

神经网络模型参考自适应控制算法研究

分析了基于BP算法的神经网络模型参考自适应控制器对大惯性环节被控对象的控制效果 ,发现该算法使控制器存在严重的“过学习”现象 .为避免这一现象 ,设计了一种新的误差函数结构 ,得到改进的BP算法 .针对一个存在大惯性环节的线性时变系统 。

BP小波神经网络快速学习算法研究

讨论了BP小波神经网络在训练过程中减小误差函数时最优方向的确定和自适应调整学习率的方法。首先论证了小波神经网络的数学基础 ,然后讨论了BP小波神经网络的学习过程 ,重点讨论了减小误差函数最优方向的确定方法 ,即如何保证步长方向与负梯度方向一致 ,由此得出了自适应调整学习率的简便方法。该方法具有普遍性 ,有广泛的应用价值。仿真结果表明 ,采用最优梯度下降方向可以大幅度提高BP小波神经网络的学习速度。

基于自适应递阶遗传算法的神经网络优化策略

基于递阶结构的遗传算法可以同时对多层前向神经网络进行结构优化和权重求解。与基本的遗传算法相比,这种算法不仅在权重训练方面更加快速稳定,而且能在学习过程中确定网络的拓扑结构,具有较高的学习效率,而在遗传过程中采用自适应的交叉和变异概率能有效加快遗传速度和避免早熟现象的出现。

基于自适应交互算法的神经网络控制器设计

自适应交互算法是一种简单有效的算法 ,可以应用于不同类型的系统。与常用的BP算法相比 ,它不需要反馈网络反向传播误差 ,可以直接用来设计自适应神经网络控制器 ,使控制器的设计简单化。将这种算法应用于神经网络 ,并设计了神经网络控制器。通过仿真研究表明 ,用自适应交互算法设计的控制器不仅结构简单 。

基于模糊RBF神经网络自学习的不确定机器人模糊自适应控制

针对机器人系统的不确定、非线性特点,设计了模糊RBF神经网络控制器学习机器人系统的不确定性上界,并利用模糊推理机产生的分目标学习误差进行训练,避免了采用系统直接输出反馈误差进行训练所存在的权值饱和与过调整问题.此外,在反馈回路还设计了固定比例增益控制器FC,起着监督的作用,对系统实施渐近稳定的控制.仿真结果表明这种控制方案实现了对机器人系统的高精度控制。

控制Logistic系统的自适应Chebyshev多项式神经网络算法

提出了一种基于自适应Chebyshev多项式神经网络(ACNN)的Logistic混沌系统控制算法。该算法采用Chebyshev正交多项式作为神经网络的激励函数,构建Logistic混沌系统的预测与控制模型。为了保证算法的稳定性,提出和证明了收敛定理,并利用自适应学习率算法提高神经网络的学习效率和收敛速度。通过采用自适应Chebyshev神经网络直接学习Logistic混沌系统的动态特性,并对系统实施目标函数控制。实验仿真结果表明,该算法在Logistic混沌系统有外部干扰的情况下仍能对其进行有效控制,网络学习时间为0.178 s,训练步长为10,均方误差达到1.15×10-4,与其他常见算法相比具有计算量小、速度快、精度高和网络结构简单等优点。

基于自适应学习速率的模糊神经网络控制器

针对模糊神经网络控制器中很难确定一个最佳学习速率的问题,将带有动量因子的自适应学习速率BP算法引入模糊神经网络控制器中。采用模糊推理自适应调节学习速率,同时引入动量因子,提高系统的收敛速度,并基于Lyapunov定理给出了系统稳定的证明过程。针对同一数学模型,用Matlab编程仿真3种方法的实验结果表明:优化后的模糊神经网络控制器较普通模糊神经网络控制器和模糊控制器具有更优越的控制性能。

BP神经网络中自适应学习率的研究

<正>l引言~[1] 图1是一个典型的三层神经网络BP算铸示意图.Z是输入向量,Y是隐层输出向量0是网络输出向量,V及W分别为层间权向量。逆传播(Backprop-

前向神经网络快速学习算法在发动机模型辨识中的应用

介绍一种采用前向神经网络辨识发动机非线性模型的快速学习方法,与现有同类方法相比,该方法采用矩阵的QR分解求解线性方程组,解决了维数过高的矩阵直接求逆带来的解失真问题,并把这种方法应用于航空发动机的非线性模型辨识。算例仿真验证了算法的可行性。

一种基于模糊规则的神经网络结构及其学习算法研究

文章提出了一种基于模糊规则的神经网络结构，并用形式化语言进行描述。基于模糊规则的神经网络由输入层、规则层和输出层三层网络结构组成，以隶属度函数（语义值）作为网络权值，输入值沿权值的传播即进行隶属度计算。在充分分析三角形函数特征的基础上，应用启发式方法，导出了FRBNN网络的学习算法。最后应用FRBNN评价船舶碰撞危险度，表明FRBNN兼备神经网络和模糊推理系统的优点。

一种新的神经网络模型及学习算法

给出了一种新的用于推理的神经网络模型，讨论了权矩阵的确定方法和相应的自适应学习算法，并就合成关系的不同取法及意义进行了比较．

一种新的前向神经网络自适应学习算法

针对时变和 或非线性输入的前向神经网络提出了一种感知自适应算法 ,其本质是迫使输出的实际值和期望值之间的误差满足一个渐近稳定的差分方程 ,而不是用后向传播方法使误差函数极小化。通过适当排列扩张输入可以避免算法的奇异性。

非线性函数的自适应分区多神经网络学习及仿真实验

根据BP神经网络学习非线性函数的精度与所学函数的区间大小及变化率等有关, 提出了一种非线性函数的自适应分区多神经网络学习方法, 这种方法根据学习精度的要求,自适应地把所学函数分成若干区间, 分别用一个BP神经网络去学习,从而使学习精度大大提高。 最后, 给出了学习一维函数和多维函数的仿真实例, 其结果表明分区学习的精度可提高10倍以上 。

神经网络自适应位置控制算法研究与实时仿真

在传统PID控制算法的基础上,基于神经网络的自学习特性,提出了基于小脑模型神经网络-CerebellarModelArticulationController(CMAC)和单神经元的复合控制实现前馈反馈位置控制算法。该算法特点是不需要对被控对象建模、控制参数自调整、运算速度快、适用于实时控制。利用dSPACE在松下的电动机上所做实验表明,该算法控制效果良好。