基于混合双层自组织径向基函数神经网络的优化学习算法

针对传统方法采用先训练后测试两阶段学习机制极易导致的过拟合或欠拟合问题,提出一种基于混合双层自组织径向基函数神经网络的优化学习(hybrid bilevel self-organizing radial basis function neural network optimization learning,Hb-SRBFNN-OL)算法。首先,将训练过程和测试过程集成到一个统一的框架中,规避过拟合或欠拟合问题。其次,基于进化学习机制,提出上下2层的交互式优化学习算法,上层基于网络复杂度和测试误差自组织调整网络结构,下层采用列文伯格-马夸尔特(Levenberg Marquardt,LM)算法作为优化器对自组织径向基函数神经网络(self-organizing radial basis function neural network,SO-RBFNN)的连接权值进行优化。最后,利用来自多个子网络的综合信息生成模型的最终输出,加速网络全局收敛。为验证所提方法的可行性,分别在多个分类和预测任务中进行了测试实验。结果表明,在与传统神经网络结构相似甚至更好的测试和分类精度下,该方法不仅能实现更快的训练收敛,而且能进化成更精简紧凑的径向基函数神经网络(radial basis function neural network,RBFNN)模型。尤其在污水处理过程中总磷的质量浓度预测实验中,测试集中均方根误差(root mean squared error,RMSE)最高可降低48.90%,实际场景实验结果验证了所提算法的精确性更佳且泛化能力更强。

基于同伦延拓的冗余机械臂逆运动学优化算法研究

目的针对偏置冗余机械臂的逆运动学,采用传统数值法存在依赖初始值、奇异位姿收敛性差等问题,提出一种改进数值法。方法首先将非线性方程组转化为同伦方程组,引入同伦延拓算法能够有效避免依赖初始值的问题,同时能够获取逆运动学解空间。然后考虑奇异位姿,将同伦方程组转化为最小二乘问题,采用Levenberg Marquardt算法对同伦方程组进行路径追踪,以获取逆运动学解空间。最后将关节极限避免问题映射为解空间优化问题,引入二进制改进粒子群优化算法,获得最优逆运动学解。结果实验结果表明,相较于传统数值法,文中所提数值法针对逆运动学求解具有更高的收敛率、更快的收敛速度,同时二进制改进粒子群算法能够有效避免关节极限问题。结论采用文中所提数值法求解逆运动学的精度较高,能够满足实时性要求,对于机械臂用于包装作业具有一定的理论意义和工程应用价值。

基于Levenberg-Marquardt算法的桥梁结构静力参数识别

为了提高桥梁结构状态评估中结构参数识别的精度和稳定性,克服Gauss-Newton法不能有效地处理奇异和非正定矩阵以及对初始点要求苛刻的缺点,利用Levenberg-Marquardt法,通过在Gauss-Newton法的迭代矩阵中添加阻尼项,对迭代矩阵加以修正,通过Matlab自编程序实现对实际结构参数的优化求解。对一连续梁的数值模拟计算表明,在Gauss-Newton法迭代发散的情况下,Levenberg-Marquardt法的识别结果相对误差在10%左右,Levenberg-Marquardt法基本能实现对真实结构参数的识别,为结构进一步的状态评估提供了结构模型最基本的量化信息。

Levenberg-Marquardt算法的一种新解释

Levenberg-Marquard(tLM)算法与最小二乘(Least Square,LS)方法关系密切,标度总体最小二乘(Scaled Total Least Square,STLS)是最小二乘,数据最小二乘(Data Least Square,DLS)与总体最小二乘(Total Least Square,TLS)的统一与推广,但是它与LM算法的关系尚不清楚。给出了一种求STLS解的算法及其子空间解释与拓扑解释,利用矩阵分解揭示了LM算法与STLS的密切关系,结果表明:阻尼因子使得LS解转变为STLS解;噪声子空间的剔除与系数矩阵条件数的控制保证了LM算法的稳健性与收敛速度;STLS的鲁棒性保障了LM算法处理过参数化问题的能力。

基于Levenberg-Marquardt算法的内部缺陷导热反问题研究

在传热学的基础上,建立了三维的物理和数学模型,同时对LM(Levenberg-Marquardt)方法进行了修正。根据修正后的模型进行了导热反问题模拟研究,计算结果显示修正后的模型收敛速度更快;同时利用修正后的导热反问题的数学模型对材料内部不同性质缺陷的位置、几何形状及导热率对反问题求解的影响进行了分析,发现修正后的模型如果同时对缺陷位置、几何形状和导热率进行求解时,效果不好,但是对缺陷位置、几何形状与导热率分别进行求解时,可以获得比较好的结论;而测量误差对该方法求解结果有所影响,特别是对导热率影响较大。

基于Levenberg-Marquardt改进算法的图像拼接

通过对Levenberg-Marquardt(LM)算法每一步迭代过程设计评估因子以及迭代参数,建立了一种LM改进算法。与经典LM算法相比,改进算法避免了迭代中矩阵奇异性导致算法出现中断的缺陷,加快了误差能量函数迭代过程中的下降速度,减少了无效计算。算法的全局收敛性保证了图像拼接中能够有效地去除重影的存在。仿真实验表明,较经典的LM算法,该方法在全景图拼接质量上有较好改进。

Levenberg-Marquardt算法在T-S型模糊RBF神经网络训练中的应用

为了提高T-S型模糊RBF神经网络的训练效率,把Levenberg-Marquardt算法引入到T-S型模糊RBF神经网络的训练过程中,提高了网络训练的收敛速度,减小了训练过程陷入局部极小点的概率,然后基于这种算法推导出T-S型模糊RBF神经网络的快速训练算法,即混合学习算法。最后通过实验验证了这种算法的有效性和实用性。

一个解非光滑方程组的Levenberg-Marquardt算法

给出了一个求解非光滑约束方程组的Levenberg-Marquardt算法,每一步迭代中只需求解一个严格凸的二次规划问题.首先,利用松弛变量的绝对值函数将原问题转化成一个无约束方程组;然后,结合光滑化技术设计Levenberg-Marquardt算法.此算法具有全局收敛性,并且在弱于非奇异性的局部误差界条件下,具有局部二次收敛性质.初步的数值试验结果表明,此算法实际计算效果良好.

求解随机线性互补问题的Levenberg-Marquardt型算法

针对随机线性互补问题的期望残差极小化模型,利用蒙特卡罗方法将其转化为有限个样本的近似问题.基于投影Levenberg-Marquardt算法,给出了求解近似问题的1种Levenberg-Marquardt型算法,证明了算法在一定条件下是全局收敛的.数值实验表明算法是有效的.

基于Levenberg-Marquardt算法的转炉动态脱碳自学习模型研究与应用

通过对转炉动态脱碳模型参数自学习算法的研究,建立了基于Levenberg-Marquardt算法的动态碳参数自学习模型,生产实际应用结果表明,转炉冶炼过程中碳温双命中率达到89%,获得预期的研究目标。

采用Levenberg Marquardt的逐步递进波形分解方法

针对机载全波形Li DAR波形数据分解问题,提出一种采用Levenberg Marquardt的逐步递进波形分解方法。该方法基于Levenberg Marquardt的非线性最小二乘拟合算法,选取高斯函数模型并采用逐步递进的波形分解方式得到准确的模拟波形。对Riegl数据中的2条典型波形进行分解实验,并与普通非线性最小二乘方法的结果进行对比分析,证明该方法是可行有效的。

基于Levenberg Marquardt的数控机床主轴负载振动的非线性拟合

数控机床主轴负载时,在不同条件下主轴微量的振动影响着机床的加工精度、加工效率以及刀具的磨损与使用寿命。为确保机床主轴负载时的稳定性,提出一种监测机床主轴振动速度量,并进行多元非线性拟合估测振动量的方法。先根据机床主轴负载的3个变量因素——进给速度、主轴转速和切削量,基于Levenberg Marquardt算法分别建立三者与机床主轴速度振动量的关系。接着选取三者的关系函数模型之一为基础函数,按“加”、“减”、“乘”和“除”进行关联。最后以组合的函数为基础模型进行多元非线性拟合求取系数参数,得出最终的拟合函数。实验结果表明,机床主轴负载时,该方式能有效地预估主轴的速度振动量,准确率超过97%。

BP神经网络快速收敛算法研究

以标准 BP算法为基础 ,应用 L evenberg- Marquardt优化算法 ,提出了一种快速收敛的 BP算法——L MBP算法。仿真结果表明 ,与标准 BP算法及其他改进形式比较 ,L MBP算法收敛速度大大提高 ,稳定性并未降低 ,这为 BP神经网络应用于实时性要求高的场合 (如在线检测 )提供了算法基础。该算法的缺点是计算量大 ,所需计算机内存大 ,不适合大型网络的计算。

非合作航天器间相对位姿的单目视觉确定算法

针对非合作航天器接近操作过程中200 m以内的相对位姿参数确定问题,该文充分利用目标航天器已知的结构模型信息,推导了利用单个光学相机实现非合作航天器相对位姿参数测量的迭代算法。与传统的交会对接视觉系统不同,该视觉系统不需要在目标航天器上安装光学特征,而是充分利用了目标航天器的自身结构特征,因此更适用于一般航天器间的相对位姿参数测量。为解决相对位姿单目视觉确定的非线性问题,该文选择了求解非线性问题性能优良的Levenberg-Marquardt算法。最后对该文算法进行数学仿真,仿真结果表明算法的有效性和可靠性,适合航天器在轨实时应用。

基于神经网络和遗传算法的池塘溶解氧预测模型

水产养殖池塘是一个多变量、非线性和大时延系统,其中溶解氧的预测也是一个复杂的问题。针对大连某水产养殖池塘,作者建立了一个基于Levenberg-Marquardt(LM)神经网络和遗传算法(GA)的溶解氧预测模型GA-LM,并将该模型与传统的BP神经网络进行比较分析。结果表明:使用本研究中建立的GA-LM模型预测的溶解氧值和实际测定值吻合较好,预测更为精准,运行时间明显减少。

改进的L-M算法用于大分子体系相平衡的神经网络预测

误差反向传播 (EBP) 算法目前已广泛应用于 Back propagation (BP) 网络的学习和训练, 但存在网络收敛速度慢的缺点. 从目标函数和网络权值与阈值的初始化两方面对标准的 Levenberg Marquardt算法做了改进,改进的算法可以减少计算的复杂性及对内存的需求, 尤其对具有较大样本及复杂拓扑结构的网络效果更为明显.基于改进的Levenberg Marquardt算法的BP网络对蛋白质体系的溶解度和聚合物成膜体系的液 液相平衡性质进行模拟和预测, 结果表明: 改进的Levenberg Marquardt算法较传统的EBP算法的收敛速度大大提高, 且能较好地用于预测溶菌酵素在盐溶液中的溶解度和水/二甲基乙酰胺/聚砜成膜体系的双结点曲线.

基于LM算法的双隐含层BP神经网络的水位预测

为获得更精确的径流水位预测效果,文章提出了基于Levenberg Marquardt(LM)算法的BP双隐含层神经网络模型(BPDHLM)。LM算法是梯度下降法与高斯-牛顿法的结合,能缩短BP网络的收敛时间,改善网络的收敛性能;相对单隐层而言,双隐含层BP网络则能改善网络的性能误差,误差梯度,从而提高模型预测精度并改善网络性能。研究结果表明:该模型预报稳定性好,预报准确率高,为径流-水位时间序列预测提供一个有效建模方法。

快速收敛的BP神经网络算法

以标准BP算法为基础,应用Levenberg Marquardt最优化方法,提出了一种快速收敛的BP算法———LMBP算法。经实验验证并与标准BP算法及其它改进形式比较,LMBP算法大大提高了收敛速度,而且性能稳定。这为BP神经网络应用于实时性要求高的场合(如在线检测)提供了算法基础。该算法的缺点是计算量大,所需计算机内存大,不适合大型网络的计算。

BP神经网络的LM算法及其对颗粒碰撞振动阻尼的预测

介绍了一种BP神经网络的改进Levenberg Marquardt(LM)算法原理,用这种方法对颗粒碰撞振动系统的阻尼进行了训练和仿真,并将此改进算法与传统算法进行比较.结果表明,该算法稳定、快捷,预测准确,适合应用于对实时性要求比较高的场合,且预测得到的模型与相关文献中的结果一致.

一种改进型神经网络算法NN-LMBP

提出最近邻Levenberg-Marquardt误差反向传播神经网络算法。针对BP神经网络收敛速度慢的不足,利用Levenberg-Marquardt优化算法进行改进。同时为了提高神经网络的泛化能力,进一步基于最近邻算法对样本进行修剪。试验表明,与一般神经网络算法相比,NN-LMBP在改善神经网络泛化能力的基础上,有效地提高了神经网络收敛的速度。