基于Polyak步长的加速临近随机方差缩减算法

针对大规模机器学习中随机复合优化问题,本文将加速临近随机方差缩减算法(Acc-Prox-SVRG)和Polyak步长方法相结合,提出了一种新的加速临近随机方差缩减算法(Acc-Prox-SVRG-Polyak)。相比于已有算法,新算法充分利用加速技术和Polyak步长的优越性,提高了准确率。在通常的假定下论证了算法的收敛性,并分析了复杂度。最后,数值实验验证了新算法的有效性。

带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法

为了更好地应对当今时代的大规模高维稀疏数据集,融合BB方法、小批量算法与随机方差缩减梯度法(SVRG)优势,提出一种带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法(MSSVRG-R2BB)。首先,在SVRG外循环中全梯度计算的基础上加入L_1范数次梯度设计出一种稀疏近似梯度用于内循环,得到一种稀疏的SVRG算法(SSVRG)。在此基础上,在小批量的稀疏随机方差缩减梯度法中使用随机选取的改进BB方法自动计算、更新步长,解决了小批量算法的步长选取问题,拓展得到MSSVRG-R2BB算法。数值实验表明,在求解大规模高维稀疏数据的线性支持向量机(SVM)问题时,MSSVRG-R2BB算法不仅可以减小运算成本、更快达到收敛上界,同时能达到与其他先进的小批量算法相同的优化水平,并且对于不同的初始参数选取表现稳定且良好。

分布式随机方差消减梯度下降算法topkSVRG

机器学习问题通常会转换成一个目标函数进行求解,优化算法是求解目标函数中参数的重要工具。随机梯度下降(stochastic gradient descent,SGD)是目前应用最广的算法,因其易受噪声干扰只能达到次线性收敛率,而改进后的随机方差消减梯度法(stochastic variance reduction gradient,SVRG)则可以达到线性的收敛率。SVRG是一种串行单机版算法,为了应对大规模数据集分布式训练问题,设计一种以SVRG算法思想为基础的分布式SVRG的实现算法topk SVRG。改进在于:主节点维护一个全局模型,从节点基于本地数据进行局部模型更新。每轮迭代时,选择与当前全局模型距离最小的k个局部模型进行平均来更新全局模型,参数k调大可以提高收敛速度,调小k可以保证收敛。理论分析了算法的线性收敛性,基于Spark进行算法实现,通过与Mini-Batch SGD、CoCoA、Splash及相关算法的实验比较,topkSVRG可以在高精度要求下更快地收敛。

求解SVM的稀疏随机方差缩减梯度法

针对随机梯度下降(SGD)算法解支持向量机(SVM)中存在步长的选取耗时且收敛速度较慢等问题,提出使用改进的Barzilai-Borwein(BB)法自动计算小批量随机方差减小的梯度法(MSVRG)的步长,来解决光滑化合页损失函数的支持向量机问题。针对高维稀疏数据下,SVRG在外循环的迭代中因全梯度的计算而变得稠密,使用稀疏近似梯度将MSVRG-BB算法拓展得到新的算法:MSSVRG-BB。数值实验表明,MSSVRG-BB算法不仅对初始参数的选取并不敏感,且与先进的小批量算法相比,对于求解大规模高维稀疏数据的线性SVM问题,稀疏近似梯度的使用使运算成本减小进而能够更快地达到收敛上界。

机器学习中随机方差缩减梯度算法的一种新的步长规则

针对大规模机器学习中常见的经验风险最小化问题,提出一种新的随机方差缩减梯度算法(SVRG-CABB).新算法结合了SVRG和复合BB步长的优势,对于初始步长的选取不敏感,在运算过程中通过动态调节步长,提高算法的运算效率.在标准数据集上的数值实验结果表明新算法是可行有效的.

批量减数更新方差缩减梯度下降算法BSUG

机器学习问题通常会转换成求解一个目标函数问题。继随机梯度下降(Stochastic Gradient Descent,SGD)之后,随机方差缩减梯度法(Stochastic Variance Reduction Gradient,SVRG)成为如今优化目标函数参数的主流算法,它由于不受方差影响达到线性收敛而被人们广泛研究。它的提出导致陆续出现如SAGA(Stochastic Average Gradient Average)和SCSG(Stochastically Controlled Stochastic Gradient)等新型方差缩减算法,它们有着过量消耗内存、迭代缓慢等问题。为了实现小成本存储以及快速迭代的目的,设计了一种以SVRG为基础的新型变异方差缩减算法BSUG(Batch Subtraction Update Gradient)。改进在于:使用小批量样本代替全部样本进行平均梯度计算,同时对平均梯度进行减数更新。每轮迭代中,随机抽取一批小样本进行平均梯度计算,同时在内部迭代时通过对过去模型梯度的舍去来达到更新平均梯度的目的。通过合适地降低批大小B,可以减少内存存储以及迭代次数。理论分析算法的收敛性,并基于Python进行算法实现,通过与Mini-Batch SGD、AdaGrad、RMSProp、SVRG和SCSG等算法进行比较证明了BSUG算法的有效性,并且通过对超参数进行探究证明了算法的稳定性。

非负Tucker分解的随机方差缩减乘性更新算法

为了降低乘性迭代算法在求解非负Tucker分解时的计算复杂度,该文在乘性迭代的基础上,提出了一种随机方差缩减乘性更新方法。该方法先将待分解的非负张量n-模式矩阵化,再运用随机方差缩减乘性更新算法对矩阵进行非负分解,得到模式矩阵,最后通过梯度下降思想来更新核心张量。对高维数据进行非负Tucker分解时,加快收敛速度且降低计算复杂度,提高了张量分解性能。在人工合成数据集及真实数据集上进行数值实验,结果验证了所提算法的可行性和有效性。

基于随机方差调整梯度的非负矩阵分解

针对求解非负矩阵分解的乘性更新规则存在计算复杂度高且迭代效率低等缺点,提出一种随机方差参数调整梯度的方法.将方差缩减策略和乘性更新规则相结合,通过引入一个调整随机梯度估计量的参数校正梯度下降方向使其偏差与方差达到平衡,从而能快速、准确地逼近最优解.在真实数据集上进行仿真实验,结果验证了该算法的可行性和有效性.

基于随机方差减小方法的DDPG算法

针对深度确定性策略梯度算法(DDPG)收敛速度比较慢,训练不稳定,方差过大,样本应用效率低的问题,提出了一种基于随机方差减小梯度方法的深度确定性策略梯度算法(SVR-DDPG)。该算法通过利用随机方差减小梯度技术(SVRG)提出一种新的创新优化策略,将之运用到DDPG算法之中,在DDPG算法的参数更新过程中,加入了随机方差减小梯度技术,利用该方法的更新方式,使得估计的梯度方差有一个不断减小的上界,令方差不断缩小,从而在小的随机训练子集的基础上找到更加精确的梯度方向,以此来解决了由近似梯度估计误差引发的问题,加快了算法的收敛速度。将SVR-DDPG算法以及DDPG算法应用于Pendulum和Mountain Car问题,实验结果表明,SVR-DDPG算法具有比原算法更快的收敛速度,更好的稳定性,以此证明了算法的有效性。

一种带矩限制的批量自适应方差缩减算法

诸多机器学习模型的训练过程可以归结为求解一个优化问题,传统的梯度下降算法及其变种的收敛速度并不能让人满意。本文在随机方差缩减梯度算法的基础上,结合了自适应学习率和矩限制的特点,并利用批量思想,选取大批量样本代替全部样本进行全局梯度的计算,选取小批量样本 进行参数的迭代更新,提出了带矩限制的批量自适应方差缩减算法,并对算法的收敛性进行了说明。通过基于MNIST的数值实验,验证了该算法的有效性,并探究得出实验参数对算法稳定性的影响。

求解无约束优化问题的随机三项共轭梯度法

为了求解无约束随机优化问题,我们提出了一种带方差缩减的随机三项共轭梯度法(STCGVR), 此方法可以用来解决非凸随机问题。 在算法的每次内循环迭代开始时,三项共轭梯度方向以最速 下降方向重新开始迭代,有效地提高了收敛速度。 在适当的条件下,讨论了该算法的性质和收敛 性。 数值结果表明,我们的方法对于求解机器学习问题具有巨大的潜力。

带自适应学习率的加速随机方差缩减梯度法

由于随机方差缩减梯度(SVRG)法在求解经验风险最小化(ERM)问题时表现优异,近年来受到了广泛关注.与SVRG方法中使用固定的学习率不同,结合初始化偏差矫正技术,提出使用自适应方法来动态计算SVRG方法及其加速版本FSVRG方法的学习率,分别称为AdaSVRG方法和AdaFSVRG方法.收敛性分析表明,AdaSVRG方法和AdaFSVRG方法在强凸假设下均具有线性收敛速率.在标准数据集上的数值实验表明,在求解ERM问题时,AdaSVRG和AdaFSVRG需要更少的迭代次数就可以达到相同水平的优化间隙.

AdaSVRG:自适应学习率加速SVRG

在深度学习任务中,随机方差衰减梯度法通过降低随机梯度方差,因此,其具有较好的稳定性和较高的计算效率。然而,这类方法在学习过程中均使用恒定的学习率,降低了随机方差衰减梯度法的计算效率。基于随机方差衰减梯度法,借鉴动量加速思想并对梯度估计采取加权平均策略,对学习率利用历史梯度信息进行自动调整,提出了自适应随机方差衰减梯度法。基于MNIST和CIFAR-10数据集,验证提出的自适应随机方差衰减梯度法的有效性。实验结果表明,自适应随机方差衰减梯度法在收敛速度和稳定性方面优于随机方差衰减梯度法和随机梯度下降法。