期刊文献+
共找到3篇文章
< 1 >
每页显示 20 50 100
一种赋有新的BB类步长的随机递归梯度算法
1
作者 陈炫睿 《理论数学》 2023年第11期3165-3175,共11页
随机递归梯度算法(SARAH)最近引起了人们的广泛关注。它允许一个简单的递归框架来更新随机梯度估计。SARAH与重要性抽样策略相结合得到了SARAH-I算法。基于此,本文提出了一种新的随机递归梯度方法。该算法将SARAH-I算法与具有二维二次... 随机递归梯度算法(SARAH)最近引起了人们的广泛关注。它允许一个简单的递归框架来更新随机梯度估计。SARAH与重要性抽样策略相结合得到了SARAH-I算法。基于此,本文提出了一种新的随机递归梯度方法。该算法将SARAH-I算法与具有二维二次终止性的BB类步长相结合,使SARAH-I算法的步长能够自适应计算,具有较好的数值性能。最后通过数值实验我们观察到,新算法对初始步长的选取不敏感,并且具有自动生成最优步长的能力。 展开更多
关键词 随机递归梯度算法 BB步长 自适应计算 随机优化
下载PDF
带有近似最优步长的随机递归梯度算法
2
作者 陈炫睿 《运筹与模糊学》 2023年第5期4318-4326,共9页
在机器学习中,我们经常考虑一个目标函数是凸函数和的最小化问题。随机递归梯度算法(SARAH)是求解上面问题的一个常用方法。它允许一个简单的递归框架来更新随机梯度估计。基于SARAH方法,本文提出利用近似最优步长(AOS)去自适应地计算SA... 在机器学习中,我们经常考虑一个目标函数是凸函数和的最小化问题。随机递归梯度算法(SARAH)是求解上面问题的一个常用方法。它允许一个简单的递归框架来更新随机梯度估计。基于SARAH方法,本文提出利用近似最优步长(AOS)去自适应地计算SARAH的步长,并将其命名为SARAH-AOS算法。针对提出的算法,我们进行了数值试验,结果表明SARAH-AOS算法对初始步长的选择并不像SARAH那样敏感。我们的算法对SARAH算法有着显著性能的改进。 展开更多
关键词 机器学习 随机递归梯度算法 近似最优步长 自适应计算
下载PDF
基于加权平均随机递归梯度下降算法
3
作者 费经泰 郝庆一 +1 位作者 程一元 孙钊 《合肥学院学报(综合版)》 2022年第2期12-18,共7页
对传统的随机递归梯度下降算法(SARAH)采用梯度加权平均技术,在强凸条件下提出了一种加权的SARAH算法—WA-SARAH算法。然后理论上证明了该算法具有线性收敛速率,并且给出了相应的收敛阶。通过合理地选取加权系数,发现WA-SARAH算法的收... 对传统的随机递归梯度下降算法(SARAH)采用梯度加权平均技术,在强凸条件下提出了一种加权的SARAH算法—WA-SARAH算法。然后理论上证明了该算法具有线性收敛速率,并且给出了相应的收敛阶。通过合理地选取加权系数,发现WA-SARAH算法的收敛阶要优于SARAH算法。最后通过数值实验,验证了WA-SARAH算法的合理性。 展开更多
关键词 机器学习 随机归梯度下降算法 加权平均 加权系数 收敛阶
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部