一种新拟牛顿法的收敛性分析

作为传统拟牛顿方程的改进，有人提出了新拟牛顿方程。本文证明了一个基于新牛顿方程的拟牛顿法的全局收敛性和局部超线性收敛性。

基于新拟牛顿方程的拟牛顿法的全局收敛性分析

研究了基于新牛顿方程的Broyden类拟牛顿法的全局收敛性，得到了与传统拟牛顿方程的相应结果完全相同的结论．

一种改进的BFGS算法及其全局收敛性分析

针对无约束最优化问题,提出了一个基于新拟牛顿方程Bk+1sk=yk*的新改进BFGS算法,并在目标函数一致凸的假设条件下证明了该算法的全局收敛性。

一类新拟牛顿算法的全局收敛性与数值试验

在Hiroshi Yabe等提出的新拟牛顿方程基础上,给出一类新拟牛顿算法(称为MBFGS算法),同时在一定的假设条件下,结合Wolfe搜索准则,证明了MBFGS算法具有全局收敛性,并进行了数值试验,结果表明,对于一般的无约束优化,本文的MBFGS算法是正确和有效的.

一种新修正拟牛顿法的超线性收敛性

拟牛顿法是无约束极小化中最有效的算法之一 .通过讨论一种基于新拟牛顿方程的修正拟牛顿法 。

基于新拟牛顿方程的一类改进BFGS算法

针对无约束最优化问题 ,在已建立的一类新拟牛顿方程 Bk+ 1sk=yk =yk+ γks Tksksk的基础上 ,证明了满足新拟牛顿方程的一类改进 BFGS算法在修正矩阵 Bk 中参数 tk 满足 | 1 - tk|≤t′‖ sk‖ ( t′为任一常数 ) ,且目标函数一致凸的条件下 ,具有全局收敛性 .基于新方程的改进 BFGS算法产生的修正矩阵比传统拟牛顿方程产生的修正矩阵更接近于

基于新拟牛顿方程的一类超线性收敛的改进BFGS算法

针对无约束最优化问题,在已建立的一类新拟牛顿方程的基础上,把满足于传统拟牛顿方程的一类改进BFGS算法推广到新拟牛顿方程,从而得到一类基于新拟牛顿方程的改进BFGS算法.证明该算法在目标函数为一致凸时具有局部超线性收敛性.

一类修正BFGS算法的局部超线性收敛性

基于Hiroshi Yabe提出的新拟牛顿方程,给出了一类更广泛的修正BFGS算法(MBFGS算法),并在一定的假设条件下,结合Wolfe搜索准则,证明了MBFGS算法具有局部超线性收敛性.数值试验结果表明,对于一般无约束优化,MBFGS算法是正确和有效的.

新拟牛顿方程下一类改进BFGS算法的全局收敛性

文献[1]曾在已建立的一类新拟牛顿方程Bk+1sk=yk-=yk+kγskTsksk的基础上,证明了满足新拟牛顿方程的一类改进BFGS算法在目标函数为一致凸的条件下,具有全局收敛性。此文针对该算法,给出了全局收敛性的另一种证明方法。

基于新拟牛顿方程的拟牛顿法的超线性收敛性分析

假设f(x)二阶连续可微且一致凸时和f(x)的二阶导数矩阵G(x)在极小点x*处满足Hlder条件,文章证明了基于新拟牛顿方程的拟牛顿法的超线性收敛性.

几个修正拟牛顿算法的收敛性分析

将几个拟牛顿算法推广到一类新拟牛顿方程,得到几个修正拟牛顿算法;在目标函数为一致凸的条件下,证明了它们都具有全局收敛性。

基于新拟牛顿方程的优化算法设计及应用

通过四阶泰勒展开对拟牛顿方程进行修正,提出新拟牛顿方程。根据标准DFP及BFGS算法中Hessian矩阵(逆)的构造方法,给出对应的新拟牛顿方法,并结合0.618线性搜索编写出新拟牛顿算法的程序。三个标准测试函数数值试验结果显示,新拟牛顿算法的收敛效率比标准拟牛顿算法快。将新拟牛顿方法应用到实际问题,解决消防站选址问题,并进一步阐释新拟牛顿算法的优越性。

基于新拟牛顿方程解决分类问题

逻辑回归和线性支持向量机是解决大规模分类问题的有效方法,然而它们的分布式实现问题到现在也没有得到更好的研究.近年来,由于分布式计算框架在迭代算法中低效率性的原因,一种基于内存的集群计算平台Spark已经被提出来,并正在成为应用于大规模数据处理和分析的一个普遍框架.在本研究中,使用了新拟牛顿方程用于解决逻辑回归以及线性支持向量机的问题,并且在Spark框架中进行了实现.实验表明该方法显著提高了大规模分类问题的准确性和效率.

一类新拟牛顿非单调信赖域算法

提出了一类新的求解无约束最优化问题的新拟牛顿非单调信赖域算法.采用加权的r_k用以调整信赖域半径,在适当的条件下,证明了算法的全局收敛性.数值结果表明算法的有效性.