新Armijo线搜索下的PRP共轭梯度法及其收敛性分析

优化算法研究,主要工作是给迭代点寻求可接受且有效的步长及可行的下降方向.在求解大规模无约束优化问题时,共轭梯度法被广泛应用.其中, Polak-Ribiere-Polyak方法 (简称:PRP方法)是众多共轭梯度法中数值表现相对较好的,但它在许多线搜索下并不具备全局收敛性,如何发挥PRP方法数值优良,而克服其收敛性差,是学者们致力探索的热点课题.本文提出新的PRP参数公式,并对Armijo线搜索方法进行修正,建立了新Armijo线搜索下的PRP共轭梯度算法,证明算法满足充分下降条件,并证明算法在适当条件下具有全局收敛性.

一类基于Armijo线搜索的新的谱共轭梯度法

为了构造具有更好收敛性的谱共轭梯度法,根据已有的共轭系数β~*_k和β■,构造了一个新的共轭系数β■,从而给出了一个新的谱共轭梯度法。经过选取适当的谱系数,保证新方法在每次迭代时总能产生充分下降的搜索方向。该性质具有既不依赖所使用的线搜索,又不依赖目标函数凸性的优点。利用Armijo线搜索,在一般假设条件下,给出了该方法全局收敛性的证明。

Armijo线搜索下谱共轭梯度法全局收敛的一个充分条件

在一般假设下,提出并证明了Armijo线搜索下谱共轭梯度法全局收敛的一个充分条件,分析了充分条件的优越性。分析结果表明:1)该充分条件的一个推论是文献[9]中定理1弱化后的结果;2)谱参数对谱共轭梯度法的全局收敛性起着重要的调节作用;3)该充分条件为构造全局收敛的谱共轭梯度法提供了依据。

Armijo线搜索下一个杂交共轭梯度法及其强收敛性

讨论无约束优化问题,提出了一个新的杂交共轭梯度法公式.基于新公式,采用Armijo型线搜索条件确定步长,建立了一个杂交共轭梯度算法,在常规假设条件下证明了新算法的下降性和强收敛.

Armijo线搜索修正LS共轭梯度法的收敛性

基于修正LS共轭梯度法,给出合适的初始步长,使采用Armijo线搜索的迭代过程满足充分下降性.在较弱的条件下,证明算法具有全局收敛性和至少线性收敛速率.

Armijo线搜索下一个修正的PRP共轭梯度法的全局收敛性

提出一个求解大规模无约束优化的修正PRP共轭梯度算法.在每步迭代中,该算法均能自动产生一个不依赖于任何线搜索的充分下降方向且该方向具有信赖域性质.通过使用Armijo线搜索计算步长,在标准的假设条件下,证明了算法的全局收敛性.数值实验结果表明该算法是有效的.

基于Armijo线搜索的布里渊散射谱图像降噪算法

为提高布里渊光时域分析(BOTDA)系统的信噪比,减少累计平均次数,改善实时性的同时保障测量精度,提出了基于Armijo线搜索的BOTDA散射谱图像降噪算法。该算法从能量扩散的角度利用偏微分方程的各向异性保证降噪图像具有良好的边缘保持特性,基于图像的局部特征提高了传感系统的测量精度。运用Armijo回溯线搜索法自适应选取最速下降步长,对256次累计平均的BOTDA实验数据进行降噪处理,只需两步迭代,即可达到最佳降噪效果,有效减少了数据采集时间,提高了系统的实时性。

Armijo型线搜索下的三项共轭梯度法

基于无记忆BFGS拟牛顿法结构,给出一个LS型的三项共轭梯度法,证明了该方法在Armijo型线搜索下对非凸函数具有全局收敛性,对二阶连续一致凸函数具有至少R-线性收敛速率.初步的数值实验表明该方法是有效的.

一类共轭梯度法在非单调Armijo型线搜索下的全局收敛性

在Armijo型线搜索的基础上提出两种非单调Armijo型线搜索,研究了一类在非单调Armijo型线搜索下的无约束优化问题的共轭梯度算法,证明了其全局收敛性。

Armijo型线搜索下一种共轭梯度法的收敛性

对无约束非线性规划问题,本文分别在两种不同的Armijo型线搜索下证明了Liu-Storey共轭梯度法的所有搜索方向都是充分下降的,并进一步证明了该算法是全局强收敛的。对另一种放松了函数值下降条件可以获得更大步长的Armijo型线搜索,本文还证明了该算法是全局强收敛的。

基于Armijo型线搜索下的谱共轭梯度法

在WYL共轭梯度法的基础上,提出了一种新的谱共轭梯度法,并且证明了该方法在Armijo线搜索下具有充分下降性和全局收敛性.数值试验表明该方法是有效的。

Armijo型线搜索下一种修正HS共轭梯度法的全局收敛性

本文对HS算法进行了修正,在Armijo型线搜索下,该方法保证每次迭代中的搜索方向是充分下降的.在较弱的条件下,证明了此修正HS算法具有全局收敛性.最后对算法进行了数值试验,试验结果表明该算法具有良好的收敛性和有效性,尤其适合求解大规模无约束优化问题.

非单调ARMIJO型线搜索下的新谱共轭梯度法

共轭梯度方法是解决大规模无约束优化问题的重要方法,从不同角度来研究共轭梯度法有着重要意义.本文在非单调线搜索技术[1]基础之上,提出的一种新的非单调谱共轭梯度方法,并证明该方法具有充分下降性和全局收敛性.

修正的LS共轭梯度法在Armijo型线搜索下的收敛性

给出了一种修正的LS算法,该算法保证每次迭代中的搜索方向是充分下降的,并在两种不同的Armijo型线搜索下证明了该算法是全局强收敛的。

结合广义Armijo步长搜索的一类记忆梯度算法及其收敛特征

本文对求解无约束规划的超记忆梯度算法中线搜索方向中的参数,给了一个假设条件,从而确定了它的一个新的取值范围,保证了搜索方向是目标函数的充分下降方向,由此提出了一类新的记忆梯度算法.并在去掉迭代点列有界和广义Armijo步长搜索下,讨论了算法的全局收敛性,且给出了结合形如共轭梯度法FR,PR,HS的记忆梯度法的修正形式.数值实验表明,新算法比Armijo线搜索下的FR,PR,HS共轭梯度法和超记忆梯度法更稳定、更有效.

一类Armijo搜索下的记忆梯度法及其全局收敛性

通过构造新的kβ,提出了一种新的无约束优化问题的记忆梯度算法,同时在Armijo线搜索下分析了该算法的全局收敛性,数值实验表明了新算法的有效性。

基于简单二次函数模型的带线搜索的新信赖域算法

基于简单二次函数模型,结合非精确大步长Armijo线搜索技术,建立了一个新的求解无约束最优化问题的组合信赖域与线搜索算法,在目标函数梯度▽f(x)在R^n上一致连续条件下证明了算法的全局收敛性.数值例子表明算法是有效的,适合求解大规模问题.

结合广义Armijo步长搜索的一类记忆梯度算法

给定记忆梯度算法搜索方向中的参数一个假设条件,从而确定它的一个取值范围,使其在此范围内取值均能得到目标函数的充分下降方向,由此提出一类新的记忆梯度算法.在去掉迭代点列有界和广义Arm ijo步长搜索下,讨论了算法的全局收敛性,且给出了结合形如共轭梯度法FR,PR,HS的记忆梯度法的修正形式.数值实验表明,新算法比Arm ijo线搜索下的共轭梯度法FR、PR、HS和记忆梯度法更稳定、更有效.

一类新的带线搜索的自适应非单调信赖域算法

对于无约束优化问题提出了一类基于新锥模型的带线搜索的信赖域算法。利用自适应技术,当试探步不成功时,不需重新求解子问题,而采用Armijo线搜索,以减少计算量。在适当的条件下,证明了算法的全局收敛性。

基于信赖域技术的处理带线性约束优化的内点算法(英文)

基于信赖域技术,本文提出了一个求解带线性等式和非负约束优化问题的内点算法,其特点是:为了求得搜索方向,算法在每一步迭代时仅需要求解一线性方程组系统,从而避免了求解带信赖域界的子问题,然后利用非精确的Armijo线搜索法来得到下一个迭代内点. 从数值计算的观点来看,这种技巧可减少计算量.在适当的条件下,文中还证明了该算法所产生的迭代序列的每一个聚点都是原问题的KKT点.