单边相对光滑非凸-凹极小极大问题的镜像梯度算法

本文提出了一种镜像梯度下降梯度上升算法来求解单边相对光滑的非凸-凹极小极大问题。在算法的每次迭代中,我们采用镜像梯度下降步来更新相对光滑的变量,采用梯度上升投影步来更新目标函数中光滑的变量。本文在理论上证明了算法收敛到ε-近似一阶稳定点的迭代复杂度是O(ε^(-4))。

一类非凸-强凹极小极大问题的零阶优化算法

极小极大问题是博弈论和机器学习中的一类重要问题。目前已有大量基于目标函数的梯度和Hessian阵信息的优化算法来求解这类问题。但在有些应用中,目标函数的梯度或Hessian阵信息往往是计算昂贵或难以获取的。为此,针对一类非凸-强凹极小极大问题,在极小极大三次正则化牛顿算法的框架下,通过基于Stein恒等式的高斯平滑化方法来近似梯度与Hessian阵信息,进而提出一类零阶极小极大三次正则化牛顿算法。分析算法的收敛性,并得到算法达到一个二阶平稳点时的迭代复杂度为O(ε^(-3/2)),其中ε是算法终止所达到的精度。数值仿真实验结果表明:在相同的精度下,所提出的算法在CPU运行时间上优于极小极大三次正则化牛顿算法。

基于SCN函数共轭梯度方向的稀疏向量特征提取算法

稀疏向量特征提取是指在优化时利用各种范数对解进行约束,从而获得带有稀疏特征的最优解,其广泛应用于复杂系统中的机器学习、深度学习和大数据分析等领域的特征提取问题.大量的研究表明各种范数如L_(0)范数、L_(1)范数和L_(2)范数的方法都存在各自的缺点,主要表现在越容易求解的范数越不精准稀疏,越精准稀疏的范数越难求解.文章提出了一种基于SCN函数共轭梯度方向的稀疏向量特征发现算法(CGDL),稀疏向量特征发现可以用一个稀疏特征提取优化模型建立,其目标函数是一个SCN函数,对其中的L_(0)范数进行转换,形成一个具有特殊结构优化问题,这个问题等价于双层规划的凸-凹极小极大化问题,这类问题可以解决稀疏回归、图像特征和压缩感知等问题.文章给出了上述模型的稀疏特征提取算法的详细计算步骤和收敛性分析证明,并且对给定的实际数据集和高维模拟数据集对算法的有效性、复杂性和收敛速度进行了数值对比实验,表明了该算法在精准度和稀疏性上显著优于其他对比方法,并且具有较好的收敛速度.