带消极动量的自适应步长随机方差缩减方法

近年来,随机方差缩减类方法在解决大规模机器学习问题中取得很大成功,自适应步长技术的引入减轻了该类方法的调参负担。针对自适应步长的方差缩减算法SVRG-BB,指出其算法设计带来了“进展-自适应步长有效性”的权衡问题。因此引入Katyusha动量以更好地处理该权衡问题,并且在强凸假设下证明由此得到的SVRG-BB-Katyusha算法的线性收敛性质。之后基于“贪婪”思想,提出稀疏地使用Katyusha动量的SVRG-BB-Katyusha-SPARSE算法。在公开数据集上的数值实验结果表明,提出的2个改进算法较SVRG-BB有较稳定的优势,即在达到一定外循环数时优化间隙有若干个数量级的减小。