可分离凸规划问题的交替邻近梯度法的次线性收敛率

给出了目标函数为3个凸函数的和且具有线性约束的可分离凸规划问题的交替邻近梯度法在遍历意义下的次线性收敛率为■的一个充分条件.

算子分裂法求解一类变分不等式问题的收敛率分析

考虑一类变分不等式问题:寻找x^*∈Ω,满足F(x^*)T(x-x^*)≥0,x∈Ω,其中Ω是R n上的闭凸子集,F=f+g是R n到R n的连续算子,f和g单调但f的表达式未知.针对此类应用较广的问题,本文研究了一种新的算子分裂法.根据已有的收敛性结果,进一步分析了该方法在非遍历意义下O(1/k)和o(1/k)的次线性收敛率,其中k表示迭代步数.最后,通过数值实验展示了算法的有效性.

求解多目标优化问题的非单调牛顿法的超线性收敛性

讨论求解无约束多目标优化问题的非单调牛顿法的全局收敛性和局部超线性收敛率.首先,给出由非单调牛顿法生成的步长的下界,再利用求解多目标优化问题的牛顿法的相关结论证明了非单调牛顿法的全局收敛性.其次,在目标函数的海塞矩阵的一致连续性的条件下证明了非单调牛顿法具有局部超线性收敛率.

一个修正的谱共轭梯度法

对无约束优化问题进行了研究,提出了一个修正的谱共轭梯度法。该算法的搜索方向是下降方向,在标准的Wolfe-Powell线搜索下具有全局收敛性,且在适当的条件下,证明了该算法具有线性收敛率。对一些标准的测试函数进行了数值实验,数值实验结果表明所提算法在算法迭代次数,函数调用次数以及程序运行时间等方面是有效的,且与相关算法相比有一定的优势。最后将该算法应用到图像去噪问题,对经典图像Lena与Camera施加了不同的噪声效果并用该算法进行图像去噪,与文献中相关算法进行了对比,通过信噪比这一指标说明该算法有良好的去噪效果。

求解单调AVI问题的一个新方法

本文提出了一个求解单调AVI问题的新方法,并在无任何附加条件下,证明了它的收敛性和线性收敛率.

Nonlinear Programming Algorithm and Its Convergence Rate Analysis

In this paper,we improve the algorithm proposed by T.F.Colemen and A.R.Conn in paper [1]. It is shown that the improved algorithm is possessed of global convergence and under some conditions it can obtain locally supperlinear convergence which is not possessed by the original algorithm.

一类随机方差缩减算法的分析与改进

近年来,随机方差缩减类算法在求解机器学习中的大规模优化问题时得到了广泛应用.但是如何选择此类算法的合适步长依然是值得研究的问题.受启发于结合Barzilai-Borwein步长的随机方差缩减梯度(stochastic variance reduced gradient with Barzilai-Borwein step size,SVRG-BB)算法,本文针对方差缩减类算法提出基于局部Lipschitz常数估计的自适应步长,并通过构建一个极小极大化问题给出该步长应用于不同算法时的参数选取方法.然后将该步长与随机递归梯度算法(stochastic recursive gradient algorithm,SARAH)和随机方差缩减(stochastic variance reduced gradient,SVRG)算法相结合,分别提出结合自适应步长的随机递归梯度(SARAH with adaptive step size,SARAH-AS)方法和结合自适应步长的随机方差缩减梯度(SVRG with adaptive step size,SVRG-AS)算法,并且在强凸假设下证明以上算法点距离序列的线性收敛性质.此外,本文还提供一个新颖的视角揭示为什么SARAH+算法是有效的.在公开数据集上的数值实验结果表明本文提出的自适应步长在方差缩减类算法中表现良好.

NONMRAMETRIC IDENTIFICATION FOR NONLINEAR AUTOREGRESSIVE TIME SERIES MODELS:CONVERGENCE RATES

In this paper, the optimal convergence rates of estimators based on kernel approach for nonlinear AR model are investigated in the sense of Stone[17,18]. By combining the or mixingproperty of the stationary solution with the characteristics of the model itself, the restrictiveconditions in the literature which are not easy to be satisfied by the nonlinear AR model areremoved, and the mild conditions are obtained to guarantee the optimal rates of the estimatorof autoregression function. In addition, the strongly consistent estimator of the variance ofwhite noise is also constructed.