一种赋有BB类步长的新随机方差缩减梯度算法

为随机方差缩减梯度(stochastic variance reduced gradient,SVRG)算法引入自适应步长,并在此基础上进一步提高算法数值性能。首先利用具有二维二次终止性的BB类步长自适应计算SVRG算法的步长。然后在SVRG算法的内循环中引入停止准则和负动量来加速算法的收敛速度。利用Matlab对提出的新算法进行数值实验,观察算法的数值性能。通过分析算法的数值实验结果,得出算法性能与在最佳步长调整下的SVRG算法相当,此外新算法对于初始步长的选取不敏感,且具有自动生成最优步长的能力。