Armijo型线搜索下一种修正HS共轭梯度法的全局收敛性

本文对HS算法进行了修正,在Armijo型线搜索下,该方法保证每次迭代中的搜索方向是充分下降的.在较弱的条件下,证明了此修正HS算法具有全局收敛性.最后对算法进行了数值试验,试验结果表明该算法具有良好的收敛性和有效性,尤其适合求解大规模无约束优化问题.

修正的LS共轭梯度法在Armijo型线搜索下的收敛性

给出了一种修正的LS算法,该算法保证每次迭代中的搜索方向是充分下降的,并在两种不同的Armijo型线搜索下证明了该算法是全局强收敛的。

Armijo型线搜索下的三项共轭梯度法

基于无记忆BFGS拟牛顿法结构,给出一个LS型的三项共轭梯度法,证明了该方法在Armijo型线搜索下对非凸函数具有全局收敛性,对二阶连续一致凸函数具有至少R-线性收敛速率.初步的数值实验表明该方法是有效的.

一类共轭梯度法在非单调Armijo型线搜索下的全局收敛性

在Armijo型线搜索的基础上提出两种非单调Armijo型线搜索,研究了一类在非单调Armijo型线搜索下的无约束优化问题的共轭梯度算法,证明了其全局收敛性。

Armijo型线搜索下一种共轭梯度法的收敛性

对无约束非线性规划问题,本文分别在两种不同的Armijo型线搜索下证明了Liu-Storey共轭梯度法的所有搜索方向都是充分下降的,并进一步证明了该算法是全局强收敛的。对另一种放松了函数值下降条件可以获得更大步长的Armijo型线搜索,本文还证明了该算法是全局强收敛的。

一类改进的PRP型共轭梯度法

近年来,随着机器学习、模糊理论、神经网络等热门领域的发展以及计算机技术的日益成熟,优化方法越来越受重视,共轭梯度法也吸引了更多学者进行深入学习和研究。目前对共轭梯度法的研究主要分为两类,第一类是直接对共轭梯度参数进行改进,第二类是将不同的共轭梯度法进行混合,例如将两种现有的共轭梯度法进行凸组合,尝试构造新算法。对于不同的混合方法,其优缺点和收敛性特征等方面存在差异。在本文中,基于两项下降的PRP方法和三项下降的PRP方法,我们提出一类下降的PRP方法,当参数取特定值时,方法分别是两项下降的PRP方法和三项下降的PRP方法。而且算法不依赖于线搜索具有充分下降性质。在适当条件下,我们证明算法在Armijo型线搜索下具有全局收敛性。数值实验测试了大规模无约束优化问题,结果表明算法是有效的。

Armijo型线搜索下一个修正Hestenes-Stiefel共轭梯度法的全局收敛性

提出一个新的修正Hestenes-Stiefel(HS)非线性共轭梯度法(MHSCG算法).在精确线搜索下MH-SCG算法化归为标准的HS共轭梯度算法.该算法产生的搜索方向不依赖于线搜索准则而具有充分下降性.新方法在一个修正Armijo型线搜索下具有全局收敛性.数值试验表明,对于多数算例新算法比PRP、HS、LS算法具有更好的计算结果.

Armijo型线搜索一个修正LS共轭梯度法的全局收敛性

提出一个新的修正Liu-Storey共轭梯度(MLSCG)算法。在精确线搜索下MLSCG算法化归为标准的Liu-Sto-rey(LS)共轭梯度算法。MLSCG算法产生的搜索方向不依赖于所使用的线搜索准则而具有充分下降性。本文证明了MLSCG算法在一个Armijo型线搜索下具有全局收敛性。数值试验表明,对于多数算例MLSCG算法比PRP、HS、LS等算法具有更好的计算结果。

Armijo型线搜索下的谱CD共轭梯度法

提出了一种新的非线性修正的谱CD共轭梯度算法。该算法得到的搜索方向为下降方向,它既不受线搜索规则的影响,也不受目标函数的凸性影响。同时算法在精确线搜索条件下能够诱导出标准的CD共轭梯度方法。给出的新方法在两种不同Armijo型线搜索规则下具有全局收敛性,数值实验结果显示了新算法的可行性。

一种修正PRP共轭梯度法的全局收敛性

PRP共轭梯度法是众多求解无约束优化问题的共轭梯度法中数值效果表现最好的算法之一.提出一种修正的PRP共轭梯度法,该算法始终产生充分下降方向,并且该充分下降性的产生不依赖于任何线搜索.在一定的条件下,证明了该算法在Armijo型线搜索下求解无约束优化问题时具有全局收敛性.最后,给出了相应的数值结果,证明了该算法的有效性.

一种新的Armijo型线搜索条件

本文在几种常见的Armijo型线搜索基础上,提出了一种新的Armijo型线搜索条件,并证明了由Du等人提出的杂交共轭梯度法的全局收敛性。数值实验表明新方法对于给定的测试函数是有效的。

一个修正Liu-Storey共轭梯度法的全局收敛性

基于无记忆BFGS拟牛顿法结构提出一个新的修正Liu-Storey(LS)非线性共轭梯度法(简称MLSCG算法)。在精确线搜索下MLSCG算法化归为标准的LS共轭梯度算法。MLSCG算法产生的搜索方向不依赖于线搜索准则而具有充分下降性。新方法在一个Armijo型线搜索下具有全局收敛性。数值试验表明:对于多数算例,新算法比PRP、HS、LS算法具有更好的计算结果。

一种修正的DY共轭梯度法的全局收敛性

提出了一种新的非线性修正的DY共轭梯度算法(MDYCG),该算法得到的搜索方向为下降方向,它既不受线搜索规则的影响;也不受目标函数的凸性影响;在精确线搜索下,MDYCG算法化归为标准的DY共轭梯度算法;证明了该方法在Armijo型线搜索下的全局收敛性,给出了初步的数值结果。

改进的混合共轭梯度法求解无约束优化算法

为克服一般的共轭梯度法搜索步长较小、收敛速率慢的不足,提出一种改进的混合共轭梯度算法。引入修正的Armijo线搜索技术,保证该算法的充分下降性,结合拟牛顿法中对Hessen矩阵的近似方法,改进一般共轭梯度法的搜索方向,提高算法的搜索速率,给出该共轭梯度算法的收敛性证明。在标准的无约束优化问题上对该改进共轭梯度算法进行测试,将该算法应用于某化工网络优化模型的求解中,均取得较好的结果。实验结果表明,该共轭梯度算法有较好的收敛速度,有效降低了计算时间。

PR共轭梯度算法的全局收敛性

给出一种新的Armijo型的线搜索 ,在该搜索下PR共轭梯度算法能保证无约束最优化问题的全局收敛性 .

伪单调均衡问题的一种加速投影算法

介绍了求解均衡问题的几类算法,并针对收敛性证明需要Lipschitz连续性条件的问题,提出了一种加速投影算法.该算法首先由辅助问题原理和Armijo型线搜索得到一个预估点并以此构造一个超平面,进一步通过选择适当步长和减小投影域使得算法产生的序列快速收敛,从而实现加速投影的目的.最后,在双重函数f伪单调且不需要Lipschitz连续的条件下,证明了该算法产生的迭代序列全局收敛到伪单调均衡问题的解.

一类修正LS谱共轭梯度法的全局收敛性

谱共轭梯度法是一类将共轭梯度法和谱梯度法相结合的方法。2001年由Birgin和Martinez首先提出,但该方法不能保证始终产生下降方向。本文用已有的修正方法,给出一个修正的Liu-Storey公式,并结合谱梯度法,提出了一个具有充分下降性的修正Liu-Storey谱共轭梯度法,证明了该方法在标准Armijo非精确线搜索下的全局收敛性,并易推知该方法在Armijo-Goldstein非精确线搜索准则下同样满足全局收敛性。给出的数值实验表明,新算法略优于LS方法。

一类共轭梯度法的全局收敛性

将具有某种性质的一类共轭梯度法与一种Armijo型线搜索方法相结合,得到了一类新的共轭梯度算法,证明了这类新算法是全局收敛的,PRP方法为其一个特例。数值试验表明,新算法是有效的。