共轭梯度与牛顿混杂算法及在神经网络的应用

在Powell重启动共轭梯度法基础上,利用共轭迭代过程产生的二阶导数信息,构造出当前点的牛顿方向,从而得出一类快速共轭梯度法。用于神经网络逼近非线性函数的学习结果表明,该算法的收敛速度均高于使用相同构造公式的共轭梯度算法。

一类改进的拟牛顿算法

在拟牛顿方程基础上,推导出一种新的DFP校正公式,并在强Wolfe步长规则下给出一类新的DFP算法。随后提出一种改进的强Wolfe线性搜索法,改善由于精度所导致的线性搜索失败的问题,并在一定假设下证明改进的算法具有全局收敛性。最后用算例来改进前后的DFP算法的性能作对比,结果表明改进的算法行之有效,并且具有更好的收敛性。

极大极小问题的光滑化信赖域共轭梯度法

目的求解无约束有限极大极小问题。方法利用光滑函数将极大极小问题转化为可微的无约束优化问题。结果给出了信赖域牛顿共轭梯度法解该优化问题的算法。结论该算法是可行的、有效的,尤其是对于大规模问题,该算法与其他方法相比具有明显的优势。

一类非线性方程组的改进牛顿算法

研究求解非线性方程组的局部算法。提出了LU分解的牛顿步与预优广义共轭梯度步的优化组合的方法(简称LU Newton PGCG)。在保证传统牛顿方法恰二阶收敛的条件下,证明了新算法也具有相同的恰二阶收敛的优点,但在计算量上却有一定的节省。如变量维数n=150时,其计算量可以节省40%,且当变量维数n趋于无穷时,二者的计算量之比以ln2 lnn的速度趋于零。

一类等式约束优化问题的改进牛顿算法

提出了牛顿方法与预优广义共轭梯度方法相结合的方法(简称为Newton-PGCG)求解库恩-塔克方程组。给出Newton-PGCG算法中预优广义共轭梯度法中预优阵的选取问题及其步数参数的确定原则,并在保证牛顿方法恰二阶收敛的条件下,证明了此算法也具有恰二阶收敛的优点。

结合CF和PCG搜索的拟牛顿优化算法

针对拟牛顿优化算法求解非线性方程组和无约束优化问题时,需要进行大量的迭代计算的问题.文中提出了一种结合CF和PCG搜索的拟牛顿优化算法,该算法结合CF和PCG搜索的步长因子来得到一种有效的牛顿搜索算法.在强Wolfe准则下的全局收敛性和数值分析结果表明,文中所提出的算法能加快拟牛顿优化算法的求解速度并能得到更高的精度.

一类Riccati矩阵方程广义自反解的双迭代算法

本文研究了一类Riccati矩阵方程广义自反解的数值计算问题.利用牛顿算法将Riccati矩阵方程的广义自反解问题转化为线性矩阵方程的广义自反解或者广义自反最小二乘解问题,再利用修正共轭梯度法计算后一问题,获得了求Riccati矩阵方程的广义自反解的双迭代算法.拓宽了求解非线性矩阵方程的迭代算法.数值算例表明双迭代算法是有效的.

一类离散时间代数Riccati矩阵方程对称解的双迭代算法

利用逆矩阵的Neumann级数形式,将在线性二次优化问题中遇到的含未知矩阵之逆的离散时间代数Riccati矩阵方程(DTARME)转化为高次多项式矩阵方程,然后采用牛顿算法求高次多项式矩阵方程的对称解,并采用修正共轭梯度法求由牛顿算法每一步迭代计算导出的线性矩阵方程的对称解或者对称最小二乘解,建立求DTARME的对称解的双迭代算法。双迭代算法仅要求DTARME有对称解,不要求它的对称解唯一,也不对它的系数矩阵做附加限定。数值算例表明双迭代算法是有效的。

多层感知器三种学习算法的比较

多层感知器是一种多层前馈神经网络,常用的快速训练算法有共轭梯度法、拟牛顿法。通过模式分类实验对这两种算法和BP算法进行比较,并由试验数据得出这几种算法的复杂性、可靠性,以及由算法产生的多层感知器的泛化能力。

一类双变量Riccati矩阵方程组对称解的迭代算法

基于求线性矩阵方程组约束解的修正共轭梯度法,讨论了由Nash均衡对策导出的一类双矩阵变量Riccati矩阵方程组(R-MEs)对称解的数值计算问题.提出用牛顿算法将R-MEs的对称解问题转化为双矩阵变量线性矩阵方程组的对称解或者对称最小二乘解问题,并采用修正共轭梯度法解决后一计算问题,建立了求R-MEs对称解的新型迭代算法.新型迭代算法仅要求R-MEs有对称解,不要求它的对称解唯一,也不对它的系数矩阵做附加限定.数值算例表明,新型迭代算法是有效的.

一类离散时间代数Riccati矩阵方程异类约束解的双迭代算法

本文研究在最优控制系统中遇到的离散时间代数Riccati矩阵方程(DTARME)异类约束解的数值计算问题.首先对多变量DTARME中的逆矩阵采用矩阵级数方法进行等价转化,然后采用牛顿算法求多变量DTARME的异类约束解,并采用修正共轭梯度法求由牛顿算法每一步迭代计算导出的线性矩阵方程的异类约束解或者异类约束最小二乘解,建立求多变量DTARME的异类约束解的双迭代算法.双迭代算法仅要求多变量DTARME有异类约束解,不要求它的异类约束解唯一,也不对它的系数矩阵做附加限定.数值算例表明,双迭代算法是有效的.

关于CF-PCG算法参数的研究

分析了ＣＦ－ＰＣＧ算法的效率随其参数的变化性质，将参数σ，ｐ的确定，由求解整数规划子问题转化为确定一个不等的上界，从而减少求解参数的计算量，使ＣＦ－ＰＣＧ算法的实现更加方便．

二维椭圆型方程反问题中优化算法的比较

近年来,决定椭圆型方程系数反问题在地磁、地球物理、冶金和生物等实际问题上有着广泛的应用．本文讨论了二维的决定椭圆型方程系数反问题的数值求解方法．由误差平方和最小原则,这个反问题可化为一个变分问题,并进一步离散化为一个最优化问题,其目标函数依赖于要决定的方程系数．本文着重考察非线性共轭梯度法在此最优化问题数值计算中的表现,并与拟牛顿法作为对比．为了提高算法的效率我们适当选择加快收敛速度的预处理矩阵．同时还考察了线搜索方法的不同对优化算法的影响．数值实验的结果表明,非线性共轭梯度法在这类大规模优化问题中相对于拟牛顿法更有效．

含高次逆幂的矩阵方程对称解的双迭代算法

本文研究了在控制理论和随机滤波等领域中遇到的一类含高次逆幂的矩阵方程的等价矩阵方程对称解的数值计算问题.采用牛顿算法求等价矩阵方程的对称解,并采用修正共轭梯度法求由牛顿算法每一步迭代计算导出的线性矩阵方程的对称解或者对称最小二乘解,建立了求这类矩阵方程对称解的双迭代算法,数值算例验证了双迭代算法是有效的.

离散对偶代数Riccati方程异类约束解的双迭代算法

利用逆矩阵的Neumann级数形式,将在离散时间跳跃线性二次控制问题中遇到的含未知矩阵之逆的离散对偶代数Riccati方程(DCARE)转化为高次多项式矩阵方程组,然后采用牛顿算法求高次多项式矩阵方程组的异类约束解,并采用修正共轭梯度法求由牛顿算法每一步迭代计算导出的线性矩阵方程组的异类约束解或者异类约束最小二乘解,建立求DCARE的异类约束解的双迭代算法.双迭代算法仅要求DCARE有异类约束解,不要求它的异类约束解唯一,也不对它的系数矩阵做附加限定.数值算例表明,双迭代算法是有效的.

基于L-M算法的反向传播网络的湿度传感器输出误差补偿研究

针对湿度传感器的输出非线性问题,提出了基于L-M算法建立BP神经网络进行补偿校正,实现电阻型湿度传感器的输入与输出非线性补偿,并与共轭梯度算法、拟牛顿算法所建立的神经网路模型进行对比,重点比较了模型迭代性能、标准偏差;最后发现当神经网络用L-M算法进行训练模拟时在迭代性能、标准偏差等方面具有更优异的表现,更适合湿度传感器的非线性特性的补偿校正。

二次矩阵方程异类约束1-3-7解的迭代算法

讨论了控制理论中二次矩阵方程的约束解问题,结合牛顿算法以及修正共轭梯度算法(MCG),建立了多变量二次矩阵方程异类约束1-3-7解的牛顿-MCG算法.先用牛顿算法把非线性二次矩阵方程转化为关于校正矩阵的线性矩阵方程,再用MCG算法求线性矩阵方程异类约束解或最小二乘约束解,给出了算法性质和结论.最后,用数值算例验证了该算法是有效的.

求解加权最小包容球问题的两种算法

研究在高维空间中的加权最小包容球问题,该问题是非光滑的凸优化问题.提出光滑逼近和非精确牛顿共轭梯度算法求解该问题,并证明其收敛性.此外,给出数值实验,比较这2种算法和经典牛顿共轭梯度算法的计算效率,其中非精确牛顿共轭梯度算法的计算效率更高.

广义Riccati矩阵方程异类约束解的两种迭代算法

针对在时变系统中提出的广义Riccati矩阵方程约束解问题,基于共轭梯度算法原理建立了两种求广义Riccati矩阵方程异类约束解(对称和反对称解)的算法,即非精确牛顿修正共轭梯度算法(In-Newton-MCG算法)和非精确牛顿正交投影算法(In-Newton-OPA算法),并给出了两种算法收敛性结论和两种算法的数值实验.算例表明,In-Newton-MCG算法在一定条件下比In-Newton-OPA算法具有更高的计算效率.

基于BP神经网络的微量药品动态称重系统非线性补偿

针对微量药品动态称重系统中电阻应变式称重传感器的输出电压与药品单元质量之间的非线性关系问题,提出了基于BP神经网络的非线性补偿方案。基于L-M算法建立了BP神经网络模型,实现了电阻应变式称重传感器的输入与输出非线性补偿校正,并与bfgs拟牛顿算法、Scaled共轭梯度算法所建立的BP神经网络模型对比,重点比较了模型预测输出、误差性能分析、回归分析。仿真实验结果表明:基于L-M算法建立的BP神经网络模型,在收敛速度、误差性能方面具有更高效的表现,有利于微量药品动态称重系统中称重传感器的非线性特性的有效校正。