线性插值投影次梯度方法的最优个体收敛速率

投影次梯度算法(projected subgradient method,PSM)是求解非光滑约束优化问题最简单的一阶梯度方法,目前只是对所有迭代进行加权平均的输出方式得到最优收敛速率,其个体收敛速率问题甚至作为open问题被提及.最近,Nesterov和Shikhman在对偶平均方法(dual averaging method,DAM)的迭代中嵌入一种线性插值操作,得到一种拟单调的求解非光滑问题的次梯度方法,并证明了在一般凸情形下具有个体最优收敛速率,但其讨论仅限于对偶平均方法.通过使用相同技巧,提出了一种嵌入线性插值操作的投影次梯度方法,与线性插值对偶平均方法不同的是,所提方法还对投影次梯度方法本身进行了适当的修改以确保个体收敛性.同时证明了该方法在一般凸情形下可以获得个体最优收敛速率,并进一步将所获结论推广至随机方法情形.实验验证了理论分析的正确性以及所提算法在保持实时稳定性方面的良好性能.

非Lipschitz集值混合变分不等式的一个投影次梯度方法

建立了一个投影次梯度方法来求解一类集值混合变分不等式,其中相关的映象不必是Lipschitz连续的.在合适的条件下,证明了在Hilbert空间中该方法产生的序列强收敛于问题的唯一解.

变分不等式的惯性次梯度外梯度算法

在实Hilbert空间中提出求解单调变分不等式的惯性次梯度外梯度算法,其中变分不等式的可行集是一个光滑凸函数的水平集.新算法应用惯性加速技巧,迭代过程中对映射F赋值一次,并只需向两个半空间作投影两次.在适当的假设下,证明该算法的弱收敛性.新算法改进和推广相关文献中的相应结果.

伪单调变分不等式的次梯度外梯度投影算法

在有限维欧式空间中研究了Censor,Gibali和Reich意义下变分不等式的次梯度外梯度投影算法。在伪单调假设条件下,利用He和Liao所提出的线搜索条件,证明了由次梯度外梯度投影算法所产生的迭代序列强收敛到经典变分不等式的解。去掉了Censor,Gibali和Reich文章中关于变分不等式所涉及映像的Lipschitz连续性条件。

使用Nesterov步长策略投影次梯度方法的个体收敛性

很多机器学习问题都可以最终转换为优化问题来进行求解,凸优化算法已经被成功用于各种机器学习优化问题中,而在优化算法的研究中是否能获得最优的收敛速率是一个最基本问题.此外,稀疏性是稀疏学习问题中关注的另一个目标.目前,人们已经提出了大量的随机优化方法求解大规模机器学习优化问题,但大部分的研究只是针对平均输出方式获得了最优收敛速率.个体输出方式显然比平均方式的输出具有更好的稀疏性,但使个体收敛速率获得最优具有一定的难度,人们已经将强凸情形下的最优个体收敛性作为公开问题进行广泛研究.对于光滑目标函数的优化问题,著名学者Nesterov提出了一种步长策略,使得梯度方法的收敛速率获得了数量级形式的加速,并且获得了最优的个体收敛速率.目前,Nesterov加速算法已经应用于各种具有光滑损失函数机器学习优化问题中,研究者基于该加速策略提出了大量的随机优化算法.能否将这种技巧推广至非光滑情形获得最优的个体收敛速率显然是有意义的问题.文中考虑在非光滑优化算法中引入这种步长策略.特别地,我们聚焦经典的一阶梯度方法,提出了一种嵌入加速算法步长策略的投影次梯度算法,证明了这种算法在求解非光滑损失函数学习问题时具有最优的个体收敛速率.这是比标准投影次梯度方法只有在平均输出方式下才具有最优收敛速率更强的结论,也是一阶梯度方法在个体最优收敛速率方面比较接近于大家期待的研究成果.与平均方式输出以及线性插值的投影次梯度方法相比,该文所提方法的梯度运算在插值策略之后,因此在求解l1范数约束的hinge损失函数学习问题时具有更好的稀疏性.人工数据集上的实验验证了所提方法的正确性,基准数据集上验证了该方法在保持稀疏性方面具有良好的性能.

一类新的伪单调惯性次梯度外梯度粘性方法

本文考虑希尔伯特空间上的伪单调变分不等式的求解算法。在现有文献的基础上,通过引入自适应步长规则和结合粘性逼近法,给出了一个新的求解伪单调变分不等式问题的惯性次梯度外梯度方法,并在一般假设条件成立下,证明了新算法在希尔伯特空间中具有强收敛性。与现有文献相比,新算法的收敛条件减弱,并且新算法的收敛性更强。

次梯度外梯度方法求解随机变分不等式

随机变分不等式在供应链网络、交通运输和博弈论中具有广泛的应用。提出基于次梯度外梯度的随机逼近方法求解随机变分不等式,将矫正步的投影改投在半空间,以此来减少计算投影的代价。在适当的假设下,证明了所提出的算法具有全局收敛性。

单调变分不等式的改进次梯度外梯度算法

在Hilbert空间中提出一种求解Lipschitz连续单调变分不等式的改进次梯度外梯度算法,该算法的步长是自适应的.同时在算法的每一次迭代中,只需要计算向特殊结构半空间的投影.最后在Lipschitz系数大小未知的条件下,得到算法在Hilbert空间中的强收敛性.

求解变分不等式与不动点问题的惯性次梯度外梯度算法

提出了一种求解变分不等式与不动点问题的惯性次梯度外梯度算法,证明了其弱收敛性定理,通过数值实验验证所得的理论结果.

求解变分不等式问题和不动点问题公共点的惯性次梯度外梯度算法

在Hilbert空间中提出一种新的惯性次梯度外梯度算法,求解具有单调Lipschitz连续映射的变分不等式问题的解集与非扩张映射的不动点集的公共点.该算法结合一般的次梯度外梯度算法和惯性算法.在一定的条件下,建立算法的弱收敛定理.数值实验结果表明,提出的算法有一定的意义.

一类新的伪单调变分不等式的自适应次梯度外梯度投影算法

Gibali[J.Nonlinear Anal.Optim.,2015,6(1):41-51]提出了一种解伪单调非Lipschitz连续变分不等式的自适应次梯度外梯度投影算法.其下一迭代点是通过向一个特定的半空间投影来实施.本文通过构造新的下降方向得到了一类新的自适应次梯度外梯度投影算法,并借助于何炳生和廖立志[J.Optim.Theory Appl.,2002,112(1):111-128]中的技巧优化了这些算法的步长.证明了这些算法所生成序列的全局收敛性.数值实验结果表明这类次梯度外梯度投影算法比已有算法受初始点的选取、变分不等式的维数及停止标准的精度的影响更小.而且,从迭代次数及运算所花的时间来看,新的算法均优于Gibali提出的算法.

求解拟单调变分不等式的修正外梯度次梯度法

在实Hilbert空间中提出一种新的算法来求解拟单调变分不等式.新算法基于次梯度外梯度法、惯性技术和Halpern方法,且不要求映射是Lipschitz连续,并采用Armijio线搜索准则.最后在合适的条件下得到新算法产生的序列强收敛到变分不等式的解.数值实验结果表明了算法的可行性.

带有二次约束的一般二次规划问题的松弛分枝定界方法

考虑带有二次约束的一般二次规划问题的求解 ,当约束条件为非凸二次函数时 ,对原问题中的某个二次约束进行凸二次松弛 ,或在原问题的约束条件中增加一个球约束 ,使得原问题的可行域包含在松弛二次规划问题的可行域内 .采用椭球剖分策略剖分可行域为小的椭球 ,用投影次梯度算法解松弛二次规划问题的拉格朗日对偶问题 ,从而获得原问题的一个下界 .原问题最优值的一个上界可从迭代过程中的可行点得到 ,并在迭代过程中得到调整 .该算法或在原问题最优值的上下界相同时终止 ,得到原问题的整体最优解 ;或产生一无限序列 。

解带有二次约束二次规划的一个整体优化方法(英文)

在本文中,我们提出了一种解带有二次约束二次规划问题（QP）的新算法.这种方法是基于单纯形分枝定界技术,其中包括极小极大问题和线性规划问题作为子问题.利用拉格朗日松弛和投影次梯度方法来确定问题（QP）最优值的下界.在问题（QP）的可行域是n维的条件下,如果这个算法有限步后终止,得到的点必是问题（QP）的整体最优解;否则,该算法产生的点的序列{vk}的每一个聚点也必是问题（QP）的整体最优解.

一种新的求解变分不等式的惯性双次梯度外梯度算法

当可行集为一光滑凸函数的下水平集时,文献[Optimization,2020,69(6):1237-1253]提出了一种惯性双次梯度外梯度算法来求解Hilbert空间中的单调且Lipschitz连续的变分不等式问题.该算法在每次迭代中仅需向一个半空间计算两次投影,并得到了算法的弱收敛结果.本文通过使用黏性方法以及在惯性步采用新的步长来修正该算法.在适当的假设条件下证明了新算法所生成的序列能强收敛到变分不等式的一个解.此外,新算法在每次迭代中也仅需向半空间计算两次投影.

求解伪单调平衡问题的强收敛算法

本文研究求解实希尔伯特空间中平衡问题的算法.结合惯性方法和非单调步长,一种求解平衡问题的算法被提出,所提算法无需知道双边函数的利普希茨常数.在双边函数伪单调和满足利普希茨条件下,算法的强收敛性被证明.数值实验表明了算法的优势.