极小极大优化问题的一类自适应三次正则化牛顿法

许多机器学习问题,如对抗学习、强化学习和图像处理的一些典型问题大都可归结为极小极大优化问题。因此,极小极大优化问题最近已经成为最优化领域与机器学习交叉领域中的一个重要研究前沿和热点,吸引了众多学者的关注和研究。如何有效求解极小极大优化问题,是优化领域及应用中的关键科学问题之一。考虑到极小极大三次正则化牛顿法中,三次正则化项的系数是相对固定的,会影响算法的收敛性。本文首先针对非凸–强凹极小极大优化问题,采用信赖域半径的选取策略,提出了一类自适应极小极大三次正则化牛顿法。然后证得了算法的迭代复杂度为O(T-1/3)。最后,通过一类对抗攻击神经网络问题,验证了该算法的有效性。

非凸极小极大问题的优化算法与复杂度分析

非凸极小极大问题是近期国际上优化与机器学习、信号处理等交叉领域的一个重要研究前沿和热点,包括对抗学习、强化学习、分布式非凸优化等前沿研究方向的一些关键科学问题都归结为该类问题。国际上凸-凹极小极大问题的研究已取得很好的成果,但非凸极小极大问题不同于凸-凹极小极大问题,是有其自身结构的非凸非光滑优化问题,理论研究和求解难度都更具挑战性,一般都是NP-难的。重点介绍非凸极小极大问题的优化算法和复杂度分析方面的最新进展。

分块凸-非凹极小极大问题的交替近端梯度算法

本文提出一种单循环分块交替近端梯度算法求解分块凸-非凹的极小极大优化问题。在该算法的每次迭代中,采用近端梯度法交替更新目标函数中的各个变量。从理论上证明了算法达到ε-稳定点需要的迭代复杂度是O(ε-4),这是求解分块凸-非凹的极小极大优化问题的首个带复杂度的单循环算法。