Armijo型线搜索下的三项共轭梯度法

基于无记忆BFGS拟牛顿法结构,给出一个LS型的三项共轭梯度法,证明了该方法在Armijo型线搜索下对非凸函数具有全局收敛性,对二阶连续一致凸函数具有至少R-线性收敛速率.初步的数值实验表明该方法是有效的.

一类共轭梯度法在非单调Armijo型线搜索下的全局收敛性

在Armijo型线搜索的基础上提出两种非单调Armijo型线搜索,研究了一类在非单调Armijo型线搜索下的无约束优化问题的共轭梯度算法,证明了其全局收敛性。

Armijo型线搜索下一种共轭梯度法的收敛性

对无约束非线性规划问题,本文分别在两种不同的Armijo型线搜索下证明了Liu-Storey共轭梯度法的所有搜索方向都是充分下降的,并进一步证明了该算法是全局强收敛的。对另一种放松了函数值下降条件可以获得更大步长的Armijo型线搜索,本文还证明了该算法是全局强收敛的。

Armijo型线搜索下一种修正HS共轭梯度法的全局收敛性

本文对HS算法进行了修正,在Armijo型线搜索下,该方法保证每次迭代中的搜索方向是充分下降的.在较弱的条件下,证明了此修正HS算法具有全局收敛性.最后对算法进行了数值试验,试验结果表明该算法具有良好的收敛性和有效性,尤其适合求解大规模无约束优化问题.

修正的LS共轭梯度法在Armijo型线搜索下的收敛性

给出了一种修正的LS算法,该算法保证每次迭代中的搜索方向是充分下降的,并在两种不同的Armijo型线搜索下证明了该算法是全局强收敛的。

基于Armijo搜索步长的几种共轭梯度法的分析对比

共轭梯度法是解决无约束优化问题的一种重要方法,使用不精确的Armijo搜索步长的方法,利用MATLAB工具对FR共轭梯度法、PRP共轭梯度法、HS共轭梯度法3种方式的收敛效果进行对比。结果表明:在低次函数里使用FR共轭梯度法效果较好,在高次函数里使用PRP共轭梯度法或HS共轭梯度法的收敛效果较好,并且在函数波动较大时,初值的选择应尽量靠近收敛点,才能有不错的收敛效果。

一种修正PRP共轭梯度法的全局收敛性

PRP共轭梯度法是众多求解无约束优化问题的共轭梯度法中数值效果表现最好的算法之一.提出一种修正的PRP共轭梯度法,该算法始终产生充分下降方向,并且该充分下降性的产生不依赖于任何线搜索.在一定的条件下,证明了该算法在Armijo型线搜索下求解无约束优化问题时具有全局收敛性.最后,给出了相应的数值结果,证明了该算法的有效性.

共轭下降法的一个全局收敛性结果

共轭梯度法是求解无约束最优化问题的一个著名方法 ,共轭下降法是其中的一种 ,它最早由 Fletcher提出 .在对共轭下降法进行研究并确定了步长λk时 ,使用了一种新的 Armijo类型的搜索 ,证明了新算法的可行性及全局收敛性 .提出的搜索简单易行 。

一种全局收敛的Polak-Ribière-Polyak共轭梯度法

给出了一种新的PRP共轭梯度法.在算法中采用步长公式和Armijo类型线搜索相结合的策略,从而减少了计算量.在适当的条件下,证明了算法的全局收敛性.

一种修正的DY共轭梯度法的全局收敛性

提出了一种新的非线性修正的DY共轭梯度算法(MDYCG),该算法得到的搜索方向为下降方向,它既不受线搜索规则的影响;也不受目标函数的凸性影响;在精确线搜索下,MDYCG算法化归为标准的DY共轭梯度算法;证明了该方法在Armijo型线搜索下的全局收敛性,给出了初步的数值结果。

PR共轭梯度算法的全局收敛性

给出一种新的Armijo型的线搜索 ,在该搜索下PR共轭梯度算法能保证无约束最优化问题的全局收敛性 .

伪单调均衡问题的一种加速投影算法

介绍了求解均衡问题的几类算法,并针对收敛性证明需要Lipschitz连续性条件的问题,提出了一种加速投影算法.该算法首先由辅助问题原理和Armijo型线搜索得到一个预估点并以此构造一个超平面,进一步通过选择适当步长和减小投影域使得算法产生的序列快速收敛,从而实现加速投影的目的.最后,在双重函数f伪单调且不需要Lipschitz连续的条件下,证明了该算法产生的迭代序列全局收敛到伪单调均衡问题的解.

Armijo型线搜索下的谱CD共轭梯度法

提出了一种新的非线性修正的谱CD共轭梯度算法。该算法得到的搜索方向为下降方向,它既不受线搜索规则的影响,也不受目标函数的凸性影响。同时算法在精确线搜索条件下能够诱导出标准的CD共轭梯度方法。给出的新方法在两种不同Armijo型线搜索规则下具有全局收敛性,数值实验结果显示了新算法的可行性。

Armijo型线搜索一个修正LS共轭梯度法的全局收敛性

提出一个新的修正Liu-Storey共轭梯度(MLSCG)算法。在精确线搜索下MLSCG算法化归为标准的Liu-Sto-rey(LS)共轭梯度算法。MLSCG算法产生的搜索方向不依赖于所使用的线搜索准则而具有充分下降性。本文证明了MLSCG算法在一个Armijo型线搜索下具有全局收敛性。数值试验表明,对于多数算例MLSCG算法比PRP、HS、LS等算法具有更好的计算结果。

一类共轭梯度法的全局收敛性

将具有某种性质的一类共轭梯度法与一种Armijo型线搜索方法相结合,得到了一类新的共轭梯度算法,证明了这类新算法是全局收敛的,PRP方法为其一个特例。数值试验表明,新算法是有效的。

Global Convergence of a Modified Spectral CD Conjugate Gradient Method

In this paper,we present a new nonlinear modified spectral CD conjugate gradient method for solving large scale unconstrained optimization problems.The direction generated by the method is a descent direction for the objective function,and this property depends neither on the line search rule,nor on the convexity of the objective function.Moreover,the modified method reduces to the standard CD method if line search is exact.Under some mild conditions,we prove that the modified method with line search is globally convergent even if the objective function is nonconvex.Preliminary numerical results show that the proposed method is very promising.