一类改进的拟牛顿算法

在拟牛顿方程基础上,推导出一种新的DFP校正公式,并在强Wolfe步长规则下给出一类新的DFP算法。随后提出一种改进的强Wolfe线性搜索法,改善由于精度所导致的线性搜索失败的问题,并在一定假设下证明改进的算法具有全局收敛性。最后用算例来改进前后的DFP算法的性能作对比,结果表明改进的算法行之有效,并且具有更好的收敛性。

基于修正稀疏拟牛顿的电容层析成像重建算法

针对电容层析成像(ECT)技术中的"软场"效应和病态问题,提出一种基于修正稀疏拟牛顿的电容层析成像重建算法。推导出基于修正稀疏拟牛顿的数学模型。给出运用该算法的电容层析成像图像重建这一反问题求解的最终迭代公式。将ECT反问题求解的迭代公式用于数字仿真模拟实验。将仿真实验结果与经典的LBP算法、Landweber算法、CG算法、SD算法等成像结果比较分析,证明基于修正稀疏拟牛顿重建算法在解决ECT图像重建问题上,其图像成像质量与收敛速度,都有很好的保证。

非凸无约束优化问题一个修正的广义DFP型拟牛顿法

对一般非凸无约束优化问题提出了一类在修正的DFP算法下的广义拟牛顿算法,证明了该算法对非凸函数在Goldste in非精确线搜索下具有全局收敛性.

几个修正拟牛顿算法的收敛性分析

将几个拟牛顿算法推广到一类新拟牛顿方程,得到几个修正拟牛顿算法;在目标函数为一致凸的条件下,证明了它们都具有全局收敛性。

结合锥模型算法的修正多步拟牛顿法

提出一种解决维数较大的无约束优化问题的混合算法.该算法采用了一个开关用于切换修正多步拟牛顿算法和锥模型算法.结果表明,该算法既保留了拟牛顿算法的快速有效性,又将适用范围扩大到了二次模型逼近效果较差的函数,且对于大多数维数较大的函数都是切实可行的.

一种基于DFP方法的拟牛顿恒模算法跟踪信道变化能力的研究

本文根据信道变化快慢程度,把信道模型分成剧变信道和渐变信道。分析研究了恒模盲均衡算法(CMA)在不同的信道模型下跟踪信道变化的能力。针对于原有典型恒模盲均衡算法的性能上的劣势,结合最优化理论,提出了一种线性受限拟牛顿恒模算法,称之为LC-DFPCMA,并将它与传统的线性受限恒模算法(LC-CMA)及最小二乘恒模算法(LSCMA)进行了仿真比较。仿真结果表明,提出的LC-DFPCMA算法比LC-CMA算法能更快地跟踪信道变化且收敛效果较好;与LSCMA算法相比,算法复杂度有明显降低。

带线搜索的修正拟牛顿非单调信赖域算法

提出了一类新的求解无约束最优化问题的非单调信赖域算法.不同于传统的非单调信赖域算法,此算法在每步都采用非单调W olfe线搜索得到下一个迭代点.这样得到的新算法不仅不需重解子问题,而且在每步迭代满足新拟牛顿方程同时保证目标函数的近似Hessen阵Bk的正定性.在较弱的条件下,证明了此算法的全局收敛性.数值结果表明该算法的有效性.

应用修正正交有限内存拟牛顿算法的全波形反演

全波形反演(FWI)通过最小化观测数据与计算数据之间的误差,得到高分辨率的地下模型参数。正则化技术常用来克服FWI的不适定性。复杂地质模型可能同时具有平滑特征及锐利边界,单一的正则化方法往往不能得到令人满意的反演结果。为此,针对带有混合正则化的目标泛函不可微性,提出一种修正正交有限内存拟牛顿方法,求解相应的正则化目标泛函。在具有复杂构造的修正Marmousi模型以及BG Compass模型上进行数值模拟试验,且与不带有正则化的全波形反演及邻近有限内存拟牛顿方法进行比较,结果表明所提修正正交有限内存拟牛顿算法在计算效率及定量分析上具有明显的优越性。

基于修正拟牛顿公式的全波形反演

波形反演是一种利用全波场信息,通过最小化预测波场和实际波场的残差来揭示地下岩性和构造信息的方法.本文首先简述了常规拟牛顿算法的原理,之后利用一种新的拟牛顿公式对Davidon-Fletcher-Powell(DFP)和Broyden-Fletcher-Goldfarb-Shanno(BFGS)算法进行了修正,改进后的BFGS算法在近似Hessian矩阵逆矩阵时,不仅考虑了梯度和模型信息,还加入了目标函数本身的信息,而且对于每次迭代,基本没有增加计算量.数值试验表明,相对常规拟牛顿方法,修正BFGS算法在保证反演精度的同时,明显提高了反演效率.

一种新修正拟牛顿法的超线性收敛性

拟牛顿法是无约束极小化中最有效的算法之一 .通过讨论一种基于新拟牛顿方程的修正拟牛顿法 。

列修正拟Newton法在并行算法中的应用(二)

在文中我们曾将列修正拟 Newton 法用于建立在隐式 Adams 方法的并行算法上.本文同样利用解非线性方程组的列修正拟 Newton 法给出了常微分方程数值解法中 Adams 外插公式的并行计算方法,并证明了该方法的收敛性.

优化问题的拟牛顿算法

拟牛顿算法是无约束优化问题的有效而著名的算法 ,是牛顿法的近似 .牛顿算法要求目标函数二次连续可微 ,Hesse阵非奇异且正定 ,计算量较大 .拟牛顿算法只要求目标函数一次连续可微 ,以拟牛顿方程为基础来构造算法 ,易于实现 ,计算量较小 ,并形成了完整的算法体系 ,在理论与应用上都有重要意义 .

BFGS修正算法在前馈神经元网络学习中的应用

介绍了拟牛顿公式中 BFGS修正算法和 Wolf- Powell不精确线性搜索准则所具有的全局收敛性质 。

一类带非精确线性搜索的 DFP 算法

众所周知,以DFP和BFGS为代表的拟牛顿法是解无约束非线性规划问题:min{f(x);x∈R^n}的最常用和最有效的方法之一。但是在实际计算中,若选择步长因子时作的线性搜索“低精度”时,DFP算法的计算效果有时并不理想。而且,尽管1976年Powell证明了带非精确线性搜索的BFGS算法有一步超线性收敛率,1988年吴士泉采用重复使用原始正定矩阵的方法使得算法中用到的变尺度矩阵及其逆阵的迹有界,并且证明这类修改后的DFP算法,对一致凸目标函数,当线性搜索是非精确时,也具有一步超线性收敛率。但是对一般的DFP算法相应的结论是否成立,至今还是一个没有解决的问题。

修正的两步BFGS算法的全局收敛性

拟牛顿方法在无约束优化中起着核心的作用。修正的两步拟牛顿法是在两步拟牛顿法基础上,构造一个修正的带有向量参数的多步拟牛顿方程。主要讨论在目标函数一致凸的条件下,基于该修正方程的两步BFGS算法的全局收敛性。

修正DFP和Broyden族校正公式及其正定遗传性分析

分析拟牛顿算法正定遗传性问题,对DFP和B royden族校正公式修正,得出相应的正定性一般性结论和正定遗传性的等价条件,并证明了等价条件的结论.

一种新的修正SR1更新公式及其算法收敛性

SR1更新公式对比其他的拟牛顿更新公式,会更加简单且每次迭代需要更少的计算量。但是一般SR1更新公式的收敛性质是在一致线性无关这一很强的条件下证明的。基于前人的研究成果,提出了一种新的修正SR1公式,并分别证明了其在一致线性无关和没有一致线性无关这两个条件下的局部收敛性,最后通过数值实验验证了提出的更新公式的有效性,以及所作出假设的合理性。根据实验数据显示,在某些条件下基于所提出更新公式的拟牛顿算法会比基于传统的SR1更新公式的算法收敛效果更好一些。

关于超记忆DFP方法的收敛性

本文把M.J.D.POWELL关于拟牛顿法的收敛性的结果推广到超记忆DFP方法,得到了超记忆DFP方法的收敛性定理和超线性收敛速度的结果,并讨论了记忆项的作用.

一类不精确拟牛顿型算法的局部收敛性分析

为了求解Hilbert空间中算子方程或minimax问题,构造了一类无穷维空间中的不精确拟牛顿算法,并考虑了其线性收敛性和超线性收敛性,是对有限维空间中不精确拟牛顿法的推广.当迭代算子由Broyden修正给出时,在一定的假设条件下,得到了不精确Broyden方法的线性收敛性和超线性收敛性.这为使用不精确拟牛顿法结合投影法求解算子方程做好了准备.

Quasi-Newton Method相关综述

拟牛顿算法是目前无约束优化问题的有效而著名的算法,是牛顿法的近似。牛顿算法要求目标函数二次连续可微,Hessian阵非奇异且正定,计算量较大。拟牛顿算法只要求目标函数一次连续可微,以拟牛顿方程为基础来构造算法,易于实现,计算量较小,并形成了完整的算法体系,在理论与实际应用上都有重要意义。本文在对拟牛顿算法中常见的BFGS算法、DEP算法、SR1算法及Broyden族的校正公式、性质、收敛性等进行了总结,同时针对近几年出现在解决实际优化问题中的拟牛顿算法的推广做了简单介绍。