-
题名一种赋有新的BB类步长的随机递归梯度算法
- 1
-
-
作者
陈炫睿
-
机构
贵州大学数学与统计学院
-
出处
《理论数学》
2023年第11期3165-3175,共11页
-
文摘
随机递归梯度算法(SARAH)最近引起了人们的广泛关注。它允许一个简单的递归框架来更新随机梯度估计。SARAH与重要性抽样策略相结合得到了SARAH-I算法。基于此,本文提出了一种新的随机递归梯度方法。该算法将SARAH-I算法与具有二维二次终止性的BB类步长相结合,使SARAH-I算法的步长能够自适应计算,具有较好的数值性能。最后通过数值实验我们观察到,新算法对初始步长的选取不敏感,并且具有自动生成最优步长的能力。
-
关键词
随机递归梯度算法
BB步长
自适应计算
随机优化
-
分类号
TP3
[自动化与计算机技术—计算机科学与技术]
-
-
题名带有近似最优步长的随机递归梯度算法
- 2
-
-
作者
陈炫睿
-
机构
贵州大学数学与统计学院
-
出处
《运筹与模糊学》
2023年第5期4318-4326,共9页
-
文摘
在机器学习中,我们经常考虑一个目标函数是凸函数和的最小化问题。随机递归梯度算法(SARAH)是求解上面问题的一个常用方法。它允许一个简单的递归框架来更新随机梯度估计。基于SARAH方法,本文提出利用近似最优步长(AOS)去自适应地计算SARAH的步长,并将其命名为SARAH-AOS算法。针对提出的算法,我们进行了数值试验,结果表明SARAH-AOS算法对初始步长的选择并不像SARAH那样敏感。我们的算法对SARAH算法有着显著性能的改进。
-
关键词
机器学习
随机递归梯度算法
近似最优步长
自适应计算
-
分类号
TP3
[自动化与计算机技术—计算机科学与技术]
-
-
题名基于加权平均随机递归梯度下降算法
- 3
-
-
作者
费经泰
郝庆一
程一元
孙钊
-
机构
巢湖学院数学与统计学院
安庆师范大学数理学院
安徽建筑大学数理学院
-
出处
《合肥学院学报(综合版)》
2022年第2期12-18,共7页
-
基金
安徽省自然科学基金项目“视野受限情形下的行人流及相关复杂系统的建模与实验研究”(1908085MA22)
安徽高校自然科学研究项目“分布式机器学习的算法设计与理论研究”(KJ2021A1033)
巢湖学院校级科研项目“加速随机方差缩减梯度下降算法研究”(XLY-202105,XLY-202103)资助。
-
文摘
对传统的随机递归梯度下降算法(SARAH)采用梯度加权平均技术,在强凸条件下提出了一种加权的SARAH算法—WA-SARAH算法。然后理论上证明了该算法具有线性收敛速率,并且给出了相应的收敛阶。通过合理地选取加权系数,发现WA-SARAH算法的收敛阶要优于SARAH算法。最后通过数值实验,验证了WA-SARAH算法的合理性。
-
关键词
机器学习
随机递归梯度下降算法
加权平均
加权系数
收敛阶
-
Keywords
machine learning
stochastic recursive gradient descent algorithm
weighted average
weighted coefficient
convergence order
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-