一类Armijo搜索下新的共轭梯度法及其全局收敛性

为有效求解大规模无约束优化问题,提出了一类新的混合共轭梯度法.该方法在每步迭代中都不依赖于函数的凸性和搜索条件而自行产生充分下降方向.在适当的条件下,获证了在Armijo搜索下,即使求解非凸函数极小化的问题,算法也具有全局收敛性.同时,数值实验表明所提算法可以有效求解优化测试问题.

一类Armijo搜索下的混合HS-PRP共轭梯度法

为有效求解大规模无约束优化问题,本文基于HS方法和PRP方法,提出了一类新的混合共轭梯度法.该方法在每步迭代中都不依赖于函数的凸性和搜索条件而自行产生充分下降方向.在精确搜索下,本文算法将还原为标准的PRP方法.在适当的条件下,获证了该法在Armijo搜索下,即使求解非凸函数极小化的问题,算法也具有全局收敛性.同时,数值实验表明本文算法可以有效求解优化测试问题.

Armijo搜索下改进的LS共轭梯度法

共轭梯度法是求解无约束优化问题的一类重要方法。通过调整搜索方向,提出了一类改进的LS共轭梯度法,该方法在每步迭代中都能不依赖于任何搜索而自行产生充分下降方向。在精确搜索下,该算法将还原为原LS方法。在适当的条件下,获证了该法在Armijo搜索下,即使求解非凸函数极小化的问题,算法也全局收敛。同时,数值实验表明该算法可以有效求解优化问题。

Armijo搜索下的记忆梯度法及其收敛性

本文提出一种新的无约束优化记忆梯度算法,在Armijo搜索下,该算法在每步迭代时利用了前面迭代点的信息,增加了参数选择的自由度,适于求解大规模无约束优化问题。分析了算法的全局收敛性。

Armijo搜索下共轭梯度算法的全局收敛性

证明了只要 βk 不属于某一负区间 ,在Armijo搜索下 。

一类Armijo搜索下的记忆梯度法及其全局收敛性

通过构造新的kβ,提出了一种新的无约束优化问题的记忆梯度算法,同时在Armijo线搜索下分析了该算法的全局收敛性,数值实验表明了新算法的有效性。

一种Armijo搜索下的谱共轭梯度法

基于文献[6]中的βb k的构造方法,提出了一种新的谱共轭梯度法,证明了该方法不依赖于任何线搜索具有充分下降性,在Armijo线搜索下证明了算法具有全局收敛性。数值试验结果表明:在Armijo线搜索下,该方法明显优于SFRA、SPRPA算法。

Armijo搜索下的谱共轭梯度法

基于Hager-Zhang提出的共轭梯度法,构造了一种新的谱βk,证明了该方法不依赖于任何线搜索就具有充分下降性,并且在Armijo搜索下证明了算法的全局收敛性。数值试验表明,该方法明显优于谱DY、谱FR、谱PRP算法。

基于Armijo搜索步长的几种共轭梯度法的分析对比

共轭梯度法是解决无约束优化问题的一种重要方法,使用不精确的Armijo搜索步长的方法,利用MATLAB工具对FR共轭梯度法、PRP共轭梯度法、HS共轭梯度法3种方式的收敛效果进行对比。结果表明:在低次函数里使用FR共轭梯度法效果较好,在高次函数里使用PRP共轭梯度法或HS共轭梯度法的收敛效果较好,并且在函数波动较大时,初值的选择应尽量靠近收敛点,才能有不错的收敛效果。

基于Armijo搜索步长的BFGS与DFP拟牛顿法的比较研究

拟牛顿法是求解无约束优化问题的重要方法,采用非精确Armijo准则确认搜索步长,其中初始点的选取采用两种不同的方法:利用MATLAB工具箱中的rand命令对BFGS和DFP两种算法的初始点进行随机选取;固定选择两个不同的初始点。讨论不同的初始点选取方法对两种算法收敛效率及结果的影响,最后对两种算法收敛效果进行比较研究。结果表明:在多项式函数中,初始点的选取方法对DFP法的收敛效率有一定影响,在低次函数中,DFP法收敛效率更好,在高次函数中,使用BFGS法的收敛效果更好;在非多项式函数中,随机取点对计算结果有一定影响,选择离极小点近的点作为初始点得到的最小值更好,并且使用BFGS法的收敛速度更快。

Armijo搜索下求解无约束优化问题的扰动BFGS方法

文献[1]提出了一种求解无约束优化问题的扰动BFGS方法,并在Wolfe搜索下证明了其全局收敛性。本文证明了该扰动BFGS方法在较弱的Armijo线性搜索下求解非凸问题也具有全局收敛性。数值结果表明在Armijo搜索下该方法也具有较好的数值效果。

Armijo搜索下求解无约束优化问题的扰动BFGS方法

文献[3]提出了一种求解无约束优化问题的扰动BFGS方法,并在Wolfe搜索下证明了其全局收敛性.本文证明了该扰动BFGS方法在较弱的Armijo线性搜索下求解非凸问题也具有全局收敛性.数值结果表明在Armijo搜索下该方法也具有较好的数值效果.

一类基于Armijo搜索的改进DY共轭梯度法及其全局收敛性

本文通过结合MFR方法与MDY方法,对搜索方向进行调整,提出了一类求解无约束优化问题的修正DY共轭梯度法,该法在每步迭代都能不依赖于任何搜索而自行产生充分下降方向.在适当的条件下,证明了在Armijo搜索下对于非凸的优化问题,本文算法是全局收敛的.数值实验表明本文算法是有效的.

Armijo线性搜索下Hager-Zhang共轭梯度法的全局收敛性

Hager和Zhang提出了一种新的非线性共轭梯度法(简称HZ方法),并证明了该方法在Wolfe搜索和Goldstein搜索下求解强凸问题的全局收敛性.但是HZ方法在标准Armijo搜索下求解非凸问题是否全局收敛尚不清楚.该文提出了一种保守的HZ共轭梯度法,并且证明了这种方法在Armijo线性搜索下求解非凸优化问题的全局收敛性.此外,作者给出了一些数值结果以检验该方法的有效性.

结合广义Armijo步长搜索的一类新的共轭度算法及其收敛特征

对求解无约束规划的共轭梯度算法中共轭梯度方向中的参数给了一个假设条件,从而确定它的一个取值范围,使其在此范围内取值均能保证共轭梯度方向是目标函数的充分下降方向,提出了一类新的共轭梯度算法,在去掉迭代点列有界和广义Armijo步长搜索下讨论了算法的全局收敛性。同时给出了具有好的收敛性质和较快收敛速度的FR,PR,HS共轭梯度法的修正形式。数值例子表明新算法比Armijo搜索下的FR,PR,HS共轭梯算法更稳定更有效。算法需要较小的存储,特别适于求解大规模无约束最优化问题。

新Armijo线搜索下的PRP共轭梯度法及其收敛性分析

优化算法研究,主要工作是给迭代点寻求可接受且有效的步长及可行的下降方向.在求解大规模无约束优化问题时,共轭梯度法被广泛应用.其中, Polak-Ribiere-Polyak方法 (简称:PRP方法)是众多共轭梯度法中数值表现相对较好的,但它在许多线搜索下并不具备全局收敛性,如何发挥PRP方法数值优良,而克服其收敛性差,是学者们致力探索的热点课题.本文提出新的PRP参数公式,并对Armijo线搜索方法进行修正,建立了新Armijo线搜索下的PRP共轭梯度算法,证明算法满足充分下降条件,并证明算法在适当条件下具有全局收敛性.

结合Armijo步长搜索的一类新记忆梯度算法及其收敛特征

对于求解无约束规划的共轭梯度算法中的共轭梯度方向参数 ,给定一个假设条件 ,确定它的一个取值范围 ,以保证搜索方向是目标函数的充分下降方向 ,由此提出了一类新的记忆梯度算法。在去掉迭代点列有界和Armijo步长搜索下 ,讨论了算法的全局收敛性 ,同时给出了结合FR、PR、HS共轭梯度算法的修正形式。数值实验表明 ,新算法比Armijo步长搜索下的FR、PR、HS共轭梯度法更稳定、更有效。

一类基于Armijo线搜索的新的谱共轭梯度法

为了构造具有更好收敛性的谱共轭梯度法,根据已有的共轭系数β~*_k和β■,构造了一个新的共轭系数β■,从而给出了一个新的谱共轭梯度法。经过选取适当的谱系数,保证新方法在每次迭代时总能产生充分下降的搜索方向。该性质具有既不依赖所使用的线搜索,又不依赖目标函数凸性的优点。利用Armijo线搜索,在一般假设条件下,给出了该方法全局收敛性的证明。

Armijo型线搜索下的三项共轭梯度法

基于无记忆BFGS拟牛顿法结构,给出一个LS型的三项共轭梯度法,证明了该方法在Armijo型线搜索下对非凸函数具有全局收敛性,对二阶连续一致凸函数具有至少R-线性收敛速率.初步的数值实验表明该方法是有效的.

Armijo线搜索下谱共轭梯度法全局收敛的一个充分条件

在一般假设下,提出并证明了Armijo线搜索下谱共轭梯度法全局收敛的一个充分条件,分析了充分条件的优越性。分析结果表明:1)该充分条件的一个推论是文献[9]中定理1弱化后的结果;2)谱参数对谱共轭梯度法的全局收敛性起着重要的调节作用;3)该充分条件为构造全局收敛的谱共轭梯度法提供了依据。