Armijo线性搜索下Hager-Zhang共轭梯度法的全局收敛性

Hager和Zhang提出了一种新的非线性共轭梯度法(简称HZ方法),并证明了该方法在Wolfe搜索和Goldstein搜索下求解强凸问题的全局收敛性.但是HZ方法在标准Armijo搜索下求解非凸问题是否全局收敛尚不清楚.该文提出了一种保守的HZ共轭梯度法,并且证明了这种方法在Armijo线性搜索下求解非凸优化问题的全局收敛性.此外,作者给出了一些数值结果以检验该方法的有效性.

一类Armijo搜索下的混合HS-PRP共轭梯度法

为有效求解大规模无约束优化问题,本文基于HS方法和PRP方法,提出了一类新的混合共轭梯度法.该方法在每步迭代中都不依赖于函数的凸性和搜索条件而自行产生充分下降方向.在精确搜索下,本文算法将还原为标准的PRP方法.在适当的条件下,获证了该法在Armijo搜索下,即使求解非凸函数极小化的问题,算法也具有全局收敛性.同时,数值实验表明本文算法可以有效求解优化测试问题.

一类Armijo搜索下新的共轭梯度法及其全局收敛性

为有效求解大规模无约束优化问题,提出了一类新的混合共轭梯度法.该方法在每步迭代中都不依赖于函数的凸性和搜索条件而自行产生充分下降方向.在适当的条件下,获证了在Armijo搜索下,即使求解非凸函数极小化的问题,算法也具有全局收敛性.同时,数值实验表明所提算法可以有效求解优化测试问题.

新Armijo线搜索下的PRP共轭梯度法及其收敛性分析

优化算法研究,主要工作是给迭代点寻求可接受且有效的步长及可行的下降方向.在求解大规模无约束优化问题时,共轭梯度法被广泛应用.其中, Polak-Ribiere-Polyak方法 (简称:PRP方法)是众多共轭梯度法中数值表现相对较好的,但它在许多线搜索下并不具备全局收敛性,如何发挥PRP方法数值优良,而克服其收敛性差,是学者们致力探索的热点课题.本文提出新的PRP参数公式,并对Armijo线搜索方法进行修正,建立了新Armijo线搜索下的PRP共轭梯度算法,证明算法满足充分下降条件,并证明算法在适当条件下具有全局收敛性.

Armijo型线搜索下的三项共轭梯度法

基于无记忆BFGS拟牛顿法结构,给出一个LS型的三项共轭梯度法,证明了该方法在Armijo型线搜索下对非凸函数具有全局收敛性,对二阶连续一致凸函数具有至少R-线性收敛速率.初步的数值实验表明该方法是有效的.

一类基于Armijo线搜索的新的谱共轭梯度法

为了构造具有更好收敛性的谱共轭梯度法,根据已有的共轭系数β~*_k和β■,构造了一个新的共轭系数β■,从而给出了一个新的谱共轭梯度法。经过选取适当的谱系数,保证新方法在每次迭代时总能产生充分下降的搜索方向。该性质具有既不依赖所使用的线搜索,又不依赖目标函数凸性的优点。利用Armijo线搜索,在一般假设条件下,给出了该方法全局收敛性的证明。

Armijo线搜索下谱共轭梯度法全局收敛的一个充分条件

在一般假设下,提出并证明了Armijo线搜索下谱共轭梯度法全局收敛的一个充分条件,分析了充分条件的优越性。分析结果表明:1)该充分条件的一个推论是文献[9]中定理1弱化后的结果;2)谱参数对谱共轭梯度法的全局收敛性起着重要的调节作用;3)该充分条件为构造全局收敛的谱共轭梯度法提供了依据。

一类共轭梯度法在非单调Armijo型线搜索下的全局收敛性

在Armijo型线搜索的基础上提出两种非单调Armijo型线搜索,研究了一类在非单调Armijo型线搜索下的无约束优化问题的共轭梯度算法,证明了其全局收敛性。

结合广义Armijo步长搜索的一类记忆梯度算法及其收敛特征

本文对求解无约束规划的超记忆梯度算法中线搜索方向中的参数,给了一个假设条件,从而确定了它的一个新的取值范围,保证了搜索方向是目标函数的充分下降方向,由此提出了一类新的记忆梯度算法.并在去掉迭代点列有界和广义Armijo步长搜索下,讨论了算法的全局收敛性,且给出了结合形如共轭梯度法FR,PR,HS的记忆梯度法的修正形式.数值实验表明,新算法比Armijo线搜索下的FR,PR,HS共轭梯度法和超记忆梯度法更稳定、更有效.

Armijo型线搜索下一种共轭梯度法的收敛性

对无约束非线性规划问题,本文分别在两种不同的Armijo型线搜索下证明了Liu-Storey共轭梯度法的所有搜索方向都是充分下降的,并进一步证明了该算法是全局强收敛的。对另一种放松了函数值下降条件可以获得更大步长的Armijo型线搜索,本文还证明了该算法是全局强收敛的。

一类具有全局收敛性的相关的广义Fletcher-Reeves法(DGFR法)

本文介绍了βｋ对于βＦＲｋ的相关比能确保在Ｗｏｌｆｅ线性搜索和广义Ａｒｍｉｊｏ线性搜索下的相关的广义Ｆｌｅｔｃｈｅｒ－Ｒｅｅｖｅｓ法（ＤＧＦＲ法）具有全局收敛性的情形．

一类Armijo搜索下的记忆梯度法及其全局收敛性

通过构造新的kβ,提出了一种新的无约束优化问题的记忆梯度算法,同时在Armijo线搜索下分析了该算法的全局收敛性,数值实验表明了新算法的有效性。

一类改进的PRP型共轭梯度法

近年来,随着机器学习、模糊理论、神经网络等热门领域的发展以及计算机技术的日益成熟,优化方法越来越受重视,共轭梯度法也吸引了更多学者进行深入学习和研究。目前对共轭梯度法的研究主要分为两类,第一类是直接对共轭梯度参数进行改进,第二类是将不同的共轭梯度法进行混合,例如将两种现有的共轭梯度法进行凸组合,尝试构造新算法。对于不同的混合方法,其优缺点和收敛性特征等方面存在差异。在本文中,基于两项下降的PRP方法和三项下降的PRP方法,我们提出一类下降的PRP方法,当参数取特定值时,方法分别是两项下降的PRP方法和三项下降的PRP方法。而且算法不依赖于线搜索具有充分下降性质。在适当条件下,我们证明算法在Armijo型线搜索下具有全局收敛性。数值实验测试了大规模无约束优化问题,结果表明算法是有效的。

结合广义Armijo步长搜索的一类记忆梯度算法

给定记忆梯度算法搜索方向中的参数一个假设条件,从而确定它的一个取值范围,使其在此范围内取值均能得到目标函数的充分下降方向,由此提出一类新的记忆梯度算法.在去掉迭代点列有界和广义Arm ijo步长搜索下,讨论了算法的全局收敛性,且给出了结合形如共轭梯度法FR,PR,HS的记忆梯度法的修正形式.数值实验表明,新算法比Arm ijo线搜索下的共轭梯度法FR、PR、HS和记忆梯度法更稳定、更有效.

解伪单调变分不等式的修正惯性次梯度外梯度法

针对实Hilbert空间中的伪单调变分不等式问题,将惯性法和黏性法相结合,构造了一种基于Armijo线性搜索的次梯度外梯度法.在没有Lipschitz连续性的假定下,给出了该算法生成的迭代序列的强收敛性.最后,通过数值实验说明了该算法是有效的.

Armijo型线搜索下一种修正HS共轭梯度法的全局收敛性

本文对HS算法进行了修正,在Armijo型线搜索下,该方法保证每次迭代中的搜索方向是充分下降的.在较弱的条件下,证明了此修正HS算法具有全局收敛性.最后对算法进行了数值试验,试验结果表明该算法具有良好的收敛性和有效性,尤其适合求解大规模无约束优化问题.

Armijo搜索下改进的LS共轭梯度法

共轭梯度法是求解无约束优化问题的一类重要方法。通过调整搜索方向,提出了一类改进的LS共轭梯度法,该方法在每步迭代中都能不依赖于任何搜索而自行产生充分下降方向。在精确搜索下,该算法将还原为原LS方法。在适当的条件下,获证了该法在Armijo搜索下,即使求解非凸函数极小化的问题,算法也全局收敛。同时,数值实验表明该算法可以有效求解优化问题。

一种修正的Fletcher-Reeves共轭梯度法及其全局收敛性

提出了一种修正的Fletcher-Reeves共轭梯度法,该算法具有不依赖于线搜索方法的充分下降性.在一定条件下建立了基于Armijo或Wolfe线搜索利用该算法求解非凸优化问题的全局收敛性定理.相关的数值试验结果检验了该方法的有效性.

一个修正Liu-Storey共轭梯度法的全局收敛性

基于无记忆BFGS拟牛顿法结构提出一个新的修正Liu-Storey(LS)非线性共轭梯度法(简称MLSCG算法)。在精确线搜索下MLSCG算法化归为标准的LS共轭梯度算法。MLSCG算法产生的搜索方向不依赖于线搜索准则而具有充分下降性。新方法在一个Armijo型线搜索下具有全局收敛性。数值试验表明:对于多数算例,新算法比PRP、HS、LS算法具有更好的计算结果。

Armijo线搜索修正LS共轭梯度法的收敛性

基于修正LS共轭梯度法,给出合适的初始步长,使采用Armijo线搜索的迭代过程满足充分下降性.在较弱的条件下,证明算法具有全局收敛性和至少线性收敛速率.