次梯度法在求解非光滑最优化问题时的计算效果研究(英文)

Numerical Performance of Subgradient Methods in Solving Nonsmooth Optimization Problems

本文研究了次梯度法的一些重要问题。次梯度法是梯度法在非光滑优化中的直接推广。在每一步的迭代中,选取一个负次梯度方向为搜索方向,并以一定的规则设置搜索步长。次梯度法的每一步迭代不一定都下降,但是可以证明,对于非光滑凸优化问题,次梯度法能够保证全局收敛性。次梯度法的搜索步长是预先设置的,步长设置准则包括常值步长准则、有限平方和步长准则和已知全局极小值的步长准则。本文对各种步长准则的收敛性进行了证明。为了验证次梯度法在不同的步长准则下的计算效果,本文应用次梯度法对一系列非光滑最优化问题进行了计算实验,并分析了他们的计算结果。数值实验结果表明,常值步长准则收敛速度慢,精度不高,而且步长的选择困难。而有限平方和步长准则收敛速度更快,也能够达到更高的精度。至于已知全局极小值的步长准则,虽然精度也较高,但是因为需要事先已知凸优化问题的全局极小值,所以这种步长准则的应用范围有限。

The subgradient methods in solving nonsmooth optimization problems are studied in this paper.Firstly,we present a brief review of the available subgradient methods.Then,different sorts of step size rules are introduced and the corresponding convergence is established.Finally,some convex nonsmooth optimization problems are computed to test the numerical performance of provided subgradient methods. Numerical comparisons between different subgradient methods are investigated too.