一类带Wolfe条件的修改的Broyden算法

本文提出一类带Wolfe条件的修改的Broyden算法,证明了在一定条件下,算法具有整体收敛性、超线性收敛率和二阶收敛性,及Broyden算法的一些收敛性质。1.

修改的β_k^N(μ)方法在标准Wolfe条件下的全局收敛性(英文)

在没有线搜索的条件下,修改的βkN(μ)方法满足充分下降条件.证明了其在标准Wolfe条件下具有全局收敛性.初步的数值结果表明该方法是有效的.

修改的LS共轭梯度法在强Wolfe条件下的全局收敛性(英文)

提出一种修改的LS共轭梯度法.在精确线搜索下,该方法可归结为LS共轭梯度法.在非精确线搜索下,它满足充分下降条件g_k^Td_k≤-3/4‖gk‖~2.本文还证明了其在强Wolfe条件下的全局收敛性.初步的数值结果表明该方法是有效的.

求解无约束优化的一个新的下降共轭梯度法

基于Dai-Yuan共轭梯度法,本文给出了求解无约束优化的一个非线性共轭梯度法.对任意的线性搜索,该方法满足充分下降条件gTkdk≤-(1-1/4μ)‖gk‖2,μ>1/4;而且,对一般的非线性函数,不需限制的下限值,用Wolf线搜索具有全局收敛性.

含参数Dai-Yuan共轭梯度法及其收敛性

通过对Dai-Yuan共轭梯度法的分析,将βkDY推广到更一般的形式.根据搜索方向的下降性要求,得出含参数Dai-Yuan共轭梯度法.在Wolfe条件下,证明了方法的收敛性;在强Wolfe条件下,证明了方法的充分下降性.含参数Dai-Yuan共轭梯度法不仅仅是Dai-Yuan共轭梯度法在形式上的推广,其参数的合理选择有望使Dai-Yuan共轭梯度法良好的数值表现得到进一步改善.

带参数共轭梯度法簇的全局收敛性

共轭梯度法是最优化中最常用的方法之一,广泛地应用于求解大规模优化问题,其中参数β_k的不同选取可以构成不同的共轭梯度法.给出了一类含有三个参数的共轭梯度算法,这种算法能够在给定的条件下证明选定的β_k在每一步都能产生一个下降方向,同时在强Wolfe线搜索下,这种算法具有全局收敛性.

无约束优化之线性搜索技术研究

梯度下降法及其变体是最常用的数值优化算法之一,也是迄今为止优化神经网络最常用的方法.在每一个最新的深度学习库中几乎都包含了各种优化的梯度下降法的实现.作为其关键子问题的线性搜索技术解决了梯度下降法带来的收敛速度慢、易陷入局部极值等缺点,实现了非线性函数求全局极值的快速收敛.本文对线性搜索技术及其收敛性进行深入研究,实现了基于Armijo条件的回溯算法,并对其性能进行了分析.

一种修正共轭梯度法的全局收敛性分析

为了保证共轭梯度法每次迭代方向都是下降方向,通过选择参数定义了一个新的搜索方向,设计了一种求解无约束优化问题的修正共轭梯度算法,并对算法的收敛性进行了分析。结果表明:所设计的算法每次迭代产生的搜索方向都是下降方向,且当迭代次数充分大时,搜索方向是有界的;当假设目标函数可微,且其梯度满足Lipschitz条件,线性搜索满足Wolfe条件时,该算法是全局收敛的。

求解大规模问题的谱共轭梯度法（英文）

共轭梯度法是求解大规模无约束优化问题的一类重要方法.由于共轭梯度法产生的搜索方向不一定是下降方向,为保证每次迭代方向都是下降方向,本文提出一种求解无约束优化问题的谱共轭梯度算法,该方法的每次搜索方向都是下降方向.当假设目标函数一致凸,且其梯度满足Lipschitz条件,线性搜索满足Wolfe条件时,讨论所设计算法的全局收敛性.

界约束非线性方程组的非单调线搜索法

提出一种用非单调线搜索方法求解简单界约束非线性方程组,算法采用不精确线搜索技巧,并使用非单调结构,将当前函数最大值的下降改进为函数平均值的下降,推广了算法的适用范围.进行了数值试验,结果表明算法十分有效.

一种新的混合的共轭梯度算法的全局收敛性

文章提出了一个新的混合共轭梯度法,它可以被看作是HS和DY的凸组合方法,并证明了在Wolfe条件下具有全局收敛性,它为一个算法的实际应用提供理论依据.

相关DY共轭梯度法的全局收敛性

针对无约束优化问题的一类重要算法——共轭梯度法,提出一种相关DY共轭梯度法,由此得到新的确定βk公式,并在强Wolfe条件下证明了该算法的全局收敛性。结合修正的DY共轭梯度法,得到相关修正DY共轭梯度法,确定另一个βk公式,同时证明在强Wolfe条件下,该算法是全局收敛的。通过拓展共轭梯度法相关性的有关内容,进一步验证了共轭梯度法中FR公式与DY公式之间的某种特殊的联系。

由β_k^(DY)控制的一类无约束优化方法

将Dai-Yuan共轭梯度法的前提条件βk>0改为βk<0,根据搜索方向的下降性要求,得出含参数Dai-Yuan记忆梯度法,并在Wolfe条件下做出了收敛性证明,从而进一步得到了由βkDY控制的一类无约束优化方法.

一个带有干扰因子修正PRP共轭梯度法的全局收敛性

非线性共轭梯度法是解决大规模优化问题的一种非常有效的方法,提出了一个修正的PRP方法,该参数带有干扰因子,并证明了这一新的参数具有非负性,且在适当条件下,采用Wolfe线搜索,证明该算法具有全局收敛性.

无约束优化的两类变参数共轭梯度法

In this paper, author presents a class of conjugate gradient methods with four parameters in the choice of the scalarβk, and the b-subclass and the p-class of these methods are first improved, then two class of conjugate gradient methods with a variable parameter are obtained and it is shown that these two class of conjugate gradient methods are both descent methods and of global convergence when steplengths satisfy general Wolfe condition.