神经网络动量-自适应学习率BP算法与BP算法的性能比较及其应用

动量 -自适应学习率 BP算法是对标准 BP算法的改进 ,本文对这两种算法进行了分析 ,并利用计算机程序对其性能进行了比较测试 ,利用 VISU AL C++和 MATL

动量-自适应学习BP算法在加工领域的探索

为解决实际加工中试验次数多生产成本高、选取加工参数困难等问题,采用动量-自适应学习BP算法构建BP神经网络预测模型。根据实际情况将典型BP算法改进,得到收敛速度快的动量-自适应学习BP算法模型;用电解加工试验数据对模型结构进行训练,最终建立动量-自适应学习BP神经网络加工预测模型。采用该模型对不同加工参数组合下加工的不锈钢微孔孔径大小进行预测。结果表明,该模型的预测误差低于5%,具有很强的预测能力。

动量自适应学习速率梯度下降法神经网络电力负荷预测

电力系统负荷预测的精度将直接影响电力系统的经济效益和用电的安全和稳定,是电力负荷预测的重要组成部分。利用人工神经网络可以任意逼近非线性系统的特性,将其用于短期负荷预测。在标准的BP网络中加入了动量项和自适应学习速率,预测结果表明比标准BP算法具有更好的性能。在相同的情况下,连续预测六天的负荷和一年的负荷,结果都证明了研究方法具有一定的实用性。

基于自适应学习速率的模糊神经网络控制器

针对模糊神经网络控制器中很难确定一个最佳学习速率的问题,将带有动量因子的自适应学习速率BP算法引入模糊神经网络控制器中。采用模糊推理自适应调节学习速率,同时引入动量因子,提高系统的收敛速度,并基于Lyapunov定理给出了系统稳定的证明过程。针对同一数学模型,用Matlab编程仿真3种方法的实验结果表明:优化后的模糊神经网络控制器较普通模糊神经网络控制器和模糊控制器具有更优越的控制性能。

基于核自组织映射-前馈神经网络的交通流短时预测

提出了一种基于KSOM-BP神经网络的交通流短时预测模型。利用基于核函数的样本自组织映射神经网络(KSOM),在没有任何先验知识的情况下,自组织、自学习地将具有相似统计特性的历史样本划分成一类,促使分类样本统计特性更集中显著。对每个类别的样本分别建立动量-自适应学习速率的BP神经网络预测模型,以期提高交通流短时预测精度,减少预测时间。结合实际城市道路数据对模型进行验证。验证结果表明:KSOM-BP神经网络的预测误差统计指标MARE小于7%,比基于全部样本训练的BP神经网络的MARE减少4%左右;同时,KSOM-BP神经网络建模时间更短,证明了本文方法的有效性和先进性。

一种改进的BP算法

传统的BP算法收敛速度慢,利用附加动量因子和自适应学习速率改进了传统的BP算法,它对于BP网络结构优化,提高收敛速度有明显效果.

船舶设计任务动态调度预测

在船舶设计过程中经常会出现随机新设计任务,为船舶设计任务调度方案的制订带来一定的困难。基于反向传播(Back Propagation, BP)算法,引入动量-自适应学习率反向传播(Momentum and Self-Adaptive Learning Rate Back Propagation, MSBP)算法预测随机新设计任务是否可加入制订的船舶设计任务调度方案,以解决扰动情况下的船舶设计任务动态调度(Dynamic Scheduling of Ship Design Tasks, DSSDT)问题。为减小求解空间和训练难度,选择对调度结果具有重大影响的属性作为MSBP算法的特征值。基于抽取的特征值构建MSBP算法模型,并采用大量数据完成对模型的训练。对比试验结果表明,MSBP算法的准确性优于未改进的BP算法,某项随机新设计任务的可调度性与其优先级最为密切。

特征提取与两种BP算法在入侵检测中的对比

针对海量的等保测评数据，如何从这些数据中选取适量的数据进行入侵行为分析，提出了根据预测变量对预测目标变量的重要性的特征提取方法。该方法采用importance指数来对预测变量进行等级划分。并选取了一些预处理后的数据运用了两种BP算法--标准BP算法和学习速率自适应调整算法进行了系统仿真预测。通过KDDCup99数据集测试表明，后者相对于前者，其学习训练次数大大降低，学习能力和预测准确率明显提高。

BP神经网络改进算法预测水质浓度的应用

探讨了黄河兰州段地表水水质浓度预测的 BP神经网络法 ,建立了一种动态的、及时的、超前的 BP神经网络预测模型 .并在标准算法的基础上用 2种改进算法同时进行比较 .结果表明 ,改进的 BP算法在水质浓度预测中更能胜任 ,时间短。

醇解度预测的神经网络模型研究

针对聚乙烯醇生产过程的醇解度预测问题,建立神经网络模型;对醇解度的影响因素进行了研究,讨论了输入层、输出层、隐含层等神经元的设置及网络训练的参数,比较了梯度下降BP算法、动量-自适应学习速率调整算法、Levenberg-Marquardt BP算法三种不同的训练算法在本问题上的优劣,并与RBF网络相比较,综合考虑训练时间、训练精度、泛化能力等条件,动量-自适应学习速率调整算法是最适合醇解度预测的,并基于动量-自适应学习速率调整算法建立了神经网络模型;将模型应用于醇解度预测系统,系统实际运行情况表明,利用神经网络模型预测醇解度是可行有效的。

降雨径流模拟神经网络模型及应用

针对水文系统的非线性,构建了基于遗传算法和人工神经网络的降雨径流模拟神经网络模型(GA-BP模型).采用附加动量法和自适应学习速率对BP神经网络进行改进,遗传算法用于优化神经网络的初始权重.以大别山及皖南山区月潭流域为例,将GA-BP模型、BP模型以及新安江模型应用于水文日径流过程模拟,进行应用比较以及分析GA-BP模型在水文径流模拟过程中的难点及其可行性.结果表明,GA-BP模型优化了网络结构,加快了算法收敛速率;可以用于降雨径流过程模拟,也为今后类似研究提供一种模拟技术.在实际应用中可以根据流域资料情况选择合适的模型进行水文模拟作业.

基于改进神经网络的SMT回流焊温度曲线预测

在实际生产中,SMT回流焊工艺通常以实验方法预测温度曲线,其高成本低效率是目前亟待解决的问题.针对温度曲线输入参数与曲线多重特征值间的非线性映射关系,提出基于BP神经网络技术的温度曲线预测模型.针对训练中出现的不足,改进了误差计算方法和权值调整方式,消除了预测样本次序对网络的影响,提高了网络训练速度.利用MAPE评估方法将网络预测结果与某公司实际生产数据进行对比,结果显示预测值满足企业生产误差精度要求,因此所建立的神经网络可以有效地进行温度曲线预测,为企业回流焊生产工艺规划提供指导.

海战场多传感器目标识别中神经网络的应用研究

由于海面目标所处的海战场环境的复杂性,以及海面目标探测获取的状态数据的不确定、缺失、模糊以及动态变化等,使得海面目标的综合识别非常困难。为了解决这些问题,需要对海战场多传感器目标综合识别中采用智能的神经网络进行应用研究。文中提出一种特征级采用LMBP神经网络算法,从多维度学习训练多传感器获取的数据,提取更多相关细节的目标特征属性信息,决策级采用证据理论的智能算法模型,即列文伯格误差反向传播结合证据理论算法的目标综合识别算法(Levenberg Marquardt Back Propagation-Dempster Shafer,简称LMBP-DS算法);然后通过Matlab仿真实验,比较不同的隐藏节点数对识别率的影响,找到LMBP-DS算法最佳的神经网络结构;通过对比实验得出:LMBP-DS算法比动量自适应学习BP-DS算法具有更快的收敛速度,同时具有更稳健高效的识别正确率,从而更适用于海战场多传感器目标综合识别。

一种改进的BP神经网络在新股定价中的应用

针对传统BP神经网络算法的不足,提出了一种改进的BP神经网络算法;给出了改进算法在新股定价中的应用,从影响新股定价内外部因素出发提炼和处理数据,利用改进算法进行仿真实验;结果表明,利用改进的算法在新股定价中起到了较好的应用效果。

BP网络应用于黄河水质浓度的预测研究

我们首次建立了不同算法运用于DO浓度预测的三种BP神经网络模型 ,并将其用于地表水质浓度的预测 结果表明 ,三种网络均可较满意地预测DO浓度 但比较之下 ,基于L

基于位置和程度指标的结构损伤识别研究

为提高结构损伤识别的精度，提出基于动、静态数据融合的位置指标和完全基于频率的位置指标，并采用学习速率自适应调整的新型BP神经网络学习算法，其特点是在网络迭代过程中根据网络学习误差来调整学习速率的取值。该方法有效地克服了传统BP网络学习过程中容易陷入局部极小和收敛速度慢、学习效率不高的缺点，进一步讨论了参数输入方式对网络识别效果的影响，并分别采用两步诊断法和一步诊断法进行损伤识别。

基于高次指数平滑动态边界限制的深度学习优化算法

针对自适应算法存在的不收敛问题,提出了一种Adam改进算法.通过引入多个超参数,并进行多次指数平滑,来弥补一次指数平滑的不足.此外,对二阶动量计算加以修正,预防了二阶动量数据发生不良的波动,从而达到平滑非预期的大学习率的效果.分别在Resnet模型和Densenet模型上对cifar10和cifar100数据集进行了对比实验.从实验可以看出,所提算法适用于不同的模型结构和不同数据集,与Adam算法相比,其准确率平均提升了1.3%,同时为收敛问题提供了一种有效的解决方案.

河网水情预测的三种BP神经网络方法比较

针对神经网络能模拟复杂的河网水流运动规律,采用两种改进BP算法(动量—学习率自适应算法和Levenberg-Marquart法),以松花江河网水情预测为例与普通BP算法进行了应用比较。结果表明,两种改进BP算法的收敛速度和预测精度较普通BP算法均有明显的提高,L-M法的收敛速度较动量—学习率自适应算法更快,但在对超出训练样本特征范围的1998年超百年一遇历史性特大洪水进行外推模拟时,动量—学习率自适应算法表现更好。

基于改进BP神经网络的手写字符识别

针对标准反向传播(BP,Back Propagation)神经网络算法收敛速度慢、易陷入局部极小等缺点,采用附加动量法与学习速率自适应调整相结合策略对神经网络初始参数进行设置。通过在权重计算公式中加入动量项,降低神经网络对误差曲面局部调节的敏感性,有效抑制其陷于局部极小。学习速率根据总误差的变化进行自适应调整,可以有效地缩短学习时间,加快收敛速度。将该改进算法应用于数字、英文字母以及简单汉字的手写字符识别系统中,进行了有无动量、有无噪声等实验,结果表明该方法与传统BP算法相比识别精度较高、训练时间较短且具有较强的鲁棒性。

改进的BP神经网络在路基沉降预测中的应用

针对传统的BP神经网络存在的缺点,提出了用附加动量法、自适应学习速率和L-M优化算法等几种算法进行优化。通过对比分析,证明了采用L-M优化和附加动量因子算法相结合取得了最优的预测效果。该方法克服了BP神经网络模型存在的收敛速度慢、易陷入局部极小点的缺点。结合现场实测数据,将该优化模型与传统的BP神经网络预测模型对比,预测结果表明改进的BP神经网络在路基沉降预测中精度最高,适宜广泛采用。