-
题名一类随机方差缩减算法的分析与改进
被引量:3
- 1
-
-
作者
刘彦
郭田德
韩丛英
-
机构
中国科学院大学数学科学学院
中国科学院大数据挖掘与知识管理重点实验室
-
出处
《中国科学:数学》
CSCD
北大核心
2021年第9期1433-1450,共18页
-
基金
国家自然科学基金(批准号:11731013,11571014,11991022和U19B2040)资助项目。
-
文摘
近年来,随机方差缩减类算法在求解机器学习中的大规模优化问题时得到了广泛应用.但是如何选择此类算法的合适步长依然是值得研究的问题.受启发于结合Barzilai-Borwein步长的随机方差缩减梯度(stochastic variance reduced gradient with Barzilai-Borwein step size,SVRG-BB)算法,本文针对方差缩减类算法提出基于局部Lipschitz常数估计的自适应步长,并通过构建一个极小极大化问题给出该步长应用于不同算法时的参数选取方法.然后将该步长与随机递归梯度算法(stochastic recursive gradient algorithm,SARAH)和随机方差缩减(stochastic variance reduced gradient,SVRG)算法相结合,分别提出结合自适应步长的随机递归梯度(SARAH with adaptive step size,SARAH-AS)方法和结合自适应步长的随机方差缩减梯度(SVRG with adaptive step size,SVRG-AS)算法,并且在强凸假设下证明以上算法点距离序列的线性收敛性质.此外,本文还提供一个新颖的视角揭示为什么SARAH+算法是有效的.在公开数据集上的数值实验结果表明本文提出的自适应步长在方差缩减类算法中表现良好.
-
关键词
随机方差缩减类算法
自适应步长
线性收敛率
-
Keywords
stochastic variance reduced methods
adaptive step size
linear convergence rate
-
分类号
O224
[理学—运筹学与控制论]
TP181
[自动化与计算机技术—控制理论与控制工程]
-