非凸-凹极小极大问题的双尺度交替梯度下降上升算法

针对一类非凸-(强)凹极小极大问题,基于双尺度梯度下降上升算法,用交替梯度更新来替代同步梯度更新,从而提出了一种新算法-双尺度交替梯度下降上升算法.通过数值实验结果表明,新算法在MNIST数据集上的分类准确率明显高于原算法,从而验证了新算法的有效性.

凸-凹极小极大优化问题的零阶梯度下降上升算法

[目的]为了解决基于梯度下降上升算法在某些应用中,目标函数的梯度信息计算昂贵或难以获取的问题。[方法]基于此,针对一类凸-凹极小极大优化问题,在梯度下降上升算法(OGDA)的框架下,基于均匀分布的平滑化方法用差商来近似函数梯度信息,提出了一类零阶梯度下降上升算法(ZO-OGDA)。[结果]基于带误差的邻近点算法的收敛性分析理论,证明得到所提算法ZO-OGDA取得ε-稳定点的迭代复杂度为O(ε-1)。[结论]最后通过数值仿真,实验结果表明所提出的算法ZO-OGDA在数值上与算法OGDA表现相近。

非凸极小极大问题的优化算法与复杂度分析

非凸极小极大问题是近期国际上优化与机器学习、信号处理等交叉领域的一个重要研究前沿和热点,包括对抗学习、强化学习、分布式非凸优化等前沿研究方向的一些关键科学问题都归结为该类问题。国际上凸-凹极小极大问题的研究已取得很好的成果,但非凸极小极大问题不同于凸-凹极小极大问题,是有其自身结构的非凸非光滑优化问题,理论研究和求解难度都更具挑战性,一般都是NP-难的。重点介绍非凸极小极大问题的优化算法和复杂度分析方面的最新进展。