自适应策略优化的粒子群优化算法在神经网络架构搜索中的应用

针对神经网络架构搜索(NAS)任务,提出一种自适应重启策略驱动的协作学习粒子群优化(ARCLPSO)算法。算法核心流程包括协作学习与信息共享、策略切换和参数自适应,以改进传统粒子群优化(PSO)算法在NAS中的性能。ARCLPSO算法结合了全局与局部信息的协同作用和智能切换学习策略。具体地,ARCLPSO利用全局和局部信息的协同作用令粒子向更优的方向移动,通过智能的切换粒子学习策略平衡粒子的搜索性能和收敛速度,提高搜索速度和搜索质量。在NAS-Bench-101数据集上的实验结果表明,ARCLPSO的收敛时间相较于传统进化算法(REA)和随机搜索(RS),分别减少了40.9%和55.2%。

用于训练神经网络的自适应梯度下降优化算法

由于神经网络规模的扩大,模型训练变得越来越困难.为应对这一问题,提出了一种新的自适应优化算法——Adaboundinject.选取Adam的改进算法Adabound算法,引入动态学习率边界,实现了自适应算法向随机梯度下降(SGD)的平稳过渡.为了避免最小值的超调,减少在最小值附近的振荡,在Adabound的二阶矩中加入一阶矩,利用短期参数更新作为权重,以控制参数更新.为了验证算法性能,在凸环境下,通过理论证明了Adaboundinject具有收敛性.在非凸环境下,进行了多组实验,采用了不同的神经网络模型,通过与其他自适应算法对比,验证了该算法相比其他优化算法具有更好的性能.实验结果表明,Adaboundinject算法在深度学习优化领域具有重要的应用价值,能够有效提高模型训练的效率和精度.

基于混合优化算法和深度神经网络模型结合的致密砂岩气藏裂缝参数优化

水平井分段压裂是致密砂岩气藏的主要开发方式,其中水力压裂裂缝参数的合理设计对于气藏的经济效益开发至关重要。基于群智能优化算法和机器学习代理模型的自动优化方法存在所需数值模拟次数多、收敛速度慢和代理模型更新复杂等问题,且依靠现场工程师经验和正交实验等传统方法难以获得最佳的裂缝参数设计。为此,建立了一种新的基于混合优化算法和自适应深度神经网络(DNN)结合的致密气藏裂缝参数优化方法。首先,混合优化算法采用遗传算法(GA)和贝叶斯自适应直接搜索(BADS)之间循环迭代的混合策略。在自适应学习过程中,提出了以“最大平均距离点”作为最不确定解,同时辅以最有希望解和少量拉丁超立方采样解共同更新优化过程中的DNN代理模型。随后,将建立的优化方法用于非均质致密砂岩气藏裂缝参数优化。研究结果表明:(1)在标准测试函数和低维裂缝参数优化问题上,GA+BADS混合优化算法表现出了显著优于GA的寻优速度;(2)针对高维裂缝参数优化问题,GA+BADS混合优化算法在约1/2的GA总数值模拟次数下提高了131万元的经济净现值(NPV),收敛速度和寻优精度都明显增加;(3)相比于GA+BADS混合优化算法,在获得相同NPV时,自适应DNN代理加速优化可再减少24.54%的数值模拟运算次数。结论认为,该优化方法显著提升了优化效率,为解决非常规油气藏中水力压裂裂缝参数设计问题提供了一套可行且高效的智能优化方法,将有力促进非常规油气的规模效益开发。

基于动量自适应学习率PSO-BP神经网络的钻速预测模型研究

机械钻速(rate of penetration,ROP)是钻井作业优化和减少成本的关键因素,钻井时有效地预测ROP是提升钻进效率的关键。由于井下钻进时复杂多变的情况和地层的非均质性,通过传统的ROP方程和回归分析方法来预测钻速受到了一定的限制。为了实现对钻速的高精度预测,对现有BP (back propagation)神经网络进行优化,提出了一种新的神经网络模型,即动态自适应学习率的粒子群优化BP神经网络,利用录井数据建立目标井预测模型来对钻速进行预测。在训练过程中对BP神经网络进行优化,利用启发式算法,即附加动量法和自适应学习率,将两种方法结合起来形成动态自适应学习率的BP改进算法,提高了BP神经网络的训练速度和拟合精度,获得了更好的泛化性能。将BP神经网络与遗传优化算法(genetic algorithm,GA)和粒子群优化算法(particle swarm optimization,PSO)结合,得到优化后的动态自适应学习率BP神经网络。研究利用XX8-1-2井的录井数据进行实验,对比BP神经网络、PSO-BP神经网络、GA-BP神经网络3种不同的改进后神经网络的预测结果。实验结果表明:优化后的PSO-BP神经网络的预测性能最好,具有更高的效率和可靠性,能够有效的利用工程数据,在有一定数据采集量的区域提供较为准确的ROP预测。

自组织区间二型模糊神经网络及其自适应学习算法

针对复杂不确定非线性系统的辨识问题,提出一种基于聚类的自组织区间二型模糊神经网络学习算法.首先采用具有两个不同加权参数的FCM算法对输入数据进行划分来获取规则前件的不确定均值,同时结合聚类有效性标准确定模糊规则数目,从而自动完成神经网络的结构辨识和规则前件参数辨识;随后给出了基于梯度下降法和Lyapunov函数稳定收敛定理的规则后件权向量学习速率的自适应学习算法.通过非线性系统辨识实例,验证了该算法与其他方法相比具有更快的收敛速度和更高的逼近精度;并且利用该算法建立了某市电力短期负荷预测模型,结果表明该模型具有较高的预测精度,泛化性能更佳.

基于自适应投影学习算法的RBF神经网络多用户检测方法

自适应投影学习算法是一种简单有效的构造和训练径向基函数神经网络的方法,该方法能迭代地确定径向基函数的个数,中心的位置以及网络的权系数。本文将基于自适应投影学习算法的径向基函数神经网络应用于CDMA系统多用户检测,仿真表明:这种方法对远近问题不敏感,具有良好的误码率性能和抗多址干扰性能。

神经网络动量-自适应学习率BP算法与BP算法的性能比较及其应用

动量 -自适应学习率 BP算法是对标准 BP算法的改进 ,本文对这两种算法进行了分析 ,并利用计算机程序对其性能进行了比较测试 ,利用 VISU AL C++和 MATL

动态模糊神经网络及其快速自调整学习算法

针对非线性动态系统辨识和控制的特点,对4层模糊神经网络进行了优化和改进.形成了动态模糊神经网络,提高了网络的稳定性和对动态系统的辨识能力,同时给出了基于Lyapunov函数稳定收敛定理的各权向量以及权矩阵学习速率的自适应调整算法.应用于非线性动态系统的辨识和控制仿真试验表明,改进后的动态模糊神经网络与模糊神经网络相比,可取得更好的辨识精度和跟踪控制效果.

神经网络模型参考自适应控制算法研究

分析了基于BP算法的神经网络模型参考自适应控制器对大惯性环节被控对象的控制效果 ,发现该算法使控制器存在严重的“过学习”现象 .为避免这一现象 ,设计了一种新的误差函数结构 ,得到改进的BP算法 .针对一个存在大惯性环节的线性时变系统 。

BP小波神经网络快速学习算法研究

讨论了BP小波神经网络在训练过程中减小误差函数时最优方向的确定和自适应调整学习率的方法。首先论证了小波神经网络的数学基础 ,然后讨论了BP小波神经网络的学习过程 ,重点讨论了减小误差函数最优方向的确定方法 ,即如何保证步长方向与负梯度方向一致 ,由此得出了自适应调整学习率的简便方法。该方法具有普遍性 ,有广泛的应用价值。仿真结果表明 ,采用最优梯度下降方向可以大幅度提高BP小波神经网络的学习速度。

基于自适应递阶遗传算法的神经网络优化策略

基于递阶结构的遗传算法可以同时对多层前向神经网络进行结构优化和权重求解。与基本的遗传算法相比,这种算法不仅在权重训练方面更加快速稳定,而且能在学习过程中确定网络的拓扑结构,具有较高的学习效率,而在遗传过程中采用自适应的交叉和变异概率能有效加快遗传速度和避免早熟现象的出现。

基于自适应交互算法的神经网络控制器设计

自适应交互算法是一种简单有效的算法 ,可以应用于不同类型的系统。与常用的BP算法相比 ,它不需要反馈网络反向传播误差 ,可以直接用来设计自适应神经网络控制器 ,使控制器的设计简单化。将这种算法应用于神经网络 ,并设计了神经网络控制器。通过仿真研究表明 ,用自适应交互算法设计的控制器不仅结构简单 。

基于模糊RBF神经网络自学习的不确定机器人模糊自适应控制

针对机器人系统的不确定、非线性特点,设计了模糊RBF神经网络控制器学习机器人系统的不确定性上界,并利用模糊推理机产生的分目标学习误差进行训练,避免了采用系统直接输出反馈误差进行训练所存在的权值饱和与过调整问题.此外,在反馈回路还设计了固定比例增益控制器FC,起着监督的作用,对系统实施渐近稳定的控制.仿真结果表明这种控制方案实现了对机器人系统的高精度控制。

控制Logistic系统的自适应Chebyshev多项式神经网络算法

提出了一种基于自适应Chebyshev多项式神经网络(ACNN)的Logistic混沌系统控制算法。该算法采用Chebyshev正交多项式作为神经网络的激励函数,构建Logistic混沌系统的预测与控制模型。为了保证算法的稳定性,提出和证明了收敛定理,并利用自适应学习率算法提高神经网络的学习效率和收敛速度。通过采用自适应Chebyshev神经网络直接学习Logistic混沌系统的动态特性,并对系统实施目标函数控制。实验仿真结果表明,该算法在Logistic混沌系统有外部干扰的情况下仍能对其进行有效控制,网络学习时间为0.178 s,训练步长为10,均方误差达到1.15×10-4,与其他常见算法相比具有计算量小、速度快、精度高和网络结构简单等优点。

基于自适应学习速率的模糊神经网络控制器

针对模糊神经网络控制器中很难确定一个最佳学习速率的问题,将带有动量因子的自适应学习速率BP算法引入模糊神经网络控制器中。采用模糊推理自适应调节学习速率,同时引入动量因子,提高系统的收敛速度,并基于Lyapunov定理给出了系统稳定的证明过程。针对同一数学模型,用Matlab编程仿真3种方法的实验结果表明:优化后的模糊神经网络控制器较普通模糊神经网络控制器和模糊控制器具有更优越的控制性能。

BP神经网络中自适应学习率的研究

<正>l引言~[1] 图1是一个典型的三层神经网络BP算铸示意图.Z是输入向量,Y是隐层输出向量0是网络输出向量,V及W分别为层间权向量。逆传播(Backprop-

前向神经网络快速学习算法在发动机模型辨识中的应用

介绍一种采用前向神经网络辨识发动机非线性模型的快速学习方法,与现有同类方法相比,该方法采用矩阵的QR分解求解线性方程组,解决了维数过高的矩阵直接求逆带来的解失真问题,并把这种方法应用于航空发动机的非线性模型辨识。算例仿真验证了算法的可行性。

一种基于模糊规则的神经网络结构及其学习算法研究

文章提出了一种基于模糊规则的神经网络结构，并用形式化语言进行描述。基于模糊规则的神经网络由输入层、规则层和输出层三层网络结构组成，以隶属度函数（语义值）作为网络权值，输入值沿权值的传播即进行隶属度计算。在充分分析三角形函数特征的基础上，应用启发式方法，导出了FRBNN网络的学习算法。最后应用FRBNN评价船舶碰撞危险度，表明FRBNN兼备神经网络和模糊推理系统的优点。

一种新的神经网络模型及学习算法

给出了一种新的用于推理的神经网络模型，讨论了权矩阵的确定方法和相应的自适应学习算法，并就合成关系的不同取法及意义进行了比较．

基于连续时间系统仿真的神经网络学习算法

从连续时间动力学的角度,研究了多层前馈神经网络的学习问题。基于李雅普诺夫稳定性分析方法,建立了一种神经网络权重参数连续调整的学习算法,并基于连续时间系统仿真的思想,给出了一种算法实现的自适应策略。算法实现中,通过估计截断误差估计自动调整步长,几乎不需要人工确定任何参数,而且可以保证算法的稳定性及计算精度。最后,给出了两个典型的应用算例。