一种求解结构组合优化问题的BB型算法

提出了一种求解一类非光滑复合凸优化问题的BB型算法,结合非单调线搜索技术和合适的BB步长,在适当的条件下,证明了所提出算法的收敛性。通过数值实验与现有的算法进行比较,证明了所提出的算法相比已有的算法,运行的CPU时间更短、迭代次数更少、数值性能上更优。

一种求解矩阵填充问题的带有BB步长的交替下降法

矩阵填充问题是将采样矩阵(仅部分元素已知)合理精确地填充成一个低秩矩阵.目前已有很多算法求解矩阵填充.其中,交替最速下降法是求解大规模矩阵填充的有效算法,但其在每一步更新中都需要计算精确步长.而非精确的BB步长具有良好的数值效果.因此提出一种带有BB步长的交替最速下降算法,并把此算法应用到随机产生的低秩矩阵填充问题中,数值实验结果显示了新算法的有效性.

带BB步长的自适应投影法解广义纳什均衡问题

广义纳什均衡问题是一种非合作博弈,其每个竞争者的策略集和目标函数都要依靠其他竞争者的策略.它在经济学、管理科学及交通运输等领域都有广泛的应用,但如何有效地求解广义纳什均衡问题仍然是备受关注的课题.本文提出了带有BB步长的自适应投影法求解广义纳什均衡问题:首先,把广义纳什均衡问题转化成拟变分不等式问题,然后把BB步长推广到求解拟变分不等式问题上,并在函数余强制条件下证明了算法的全局收敛性.数值结果进一步说明该方法的有效性.

基于BB步长的一类原始-对偶算法

增广拉格朗日乘子法(ALM)是求解带等式约束的二次凸优化问题的常用方法,但罚参数选取不当时,收敛速度比较慢.提出ALM-BB算法,利用Barzilai-Borwein(BB)算法的步长去改进原始的ALM,证明ALM-BB算法的收敛性.最后将这类方法运用于求解范数最优控制问题.数值算例表明改进的算法收敛速度更快.

基于自适应Barzilai-Borwein步长的直接搜索共轭梯度法

利用最新迭代点附近的函数值信息,估计该点的单纯形梯度,并计算当前点的Barzilai-Borwein(BB)步长,提出一种基于自适应BB步长的网格步长更新策略,有效解决了网格步长下降过快的问题,同时结合新的正基更新策略提出一种新的直接搜索算法.数值结果表明,该算法在稳定性和效率上有较大改进.

基于自适应梯度算法的SVM核极化参数选择方法

在机器学习领域,支持向量机SVM(Support Vector Machine)是一个有监督的学习模型,通常用来进行模式识别、分类以及回归分析.模型选择是影响SVM性能的主要因素,具体地讲是SVM中的核函数及其惩罚系数C的选择决定着SVM的分类能力.本文首先讨论了一种评价核函数好坏的重要标准,即核极化.在此基础上提出了基于核函数优化问题的自适应梯度算法,即用一种自适应步长去改进原来的固定步长.UCI数据集(机器学习数据库)上的实验结果验证了这种自适应梯度算法的有效性,结果表明该算法能有效减少程序运行的迭代步及SVM学习训练的时间.

机器学习中随机方差缩减梯度算法的一种新的步长规则

针对大规模机器学习中常见的经验风险最小化问题,提出一种新的随机方差缩减梯度算法(SVRG-CABB).新算法结合了SVRG和复合BB步长的优势,对于初始步长的选取不敏感,在运算过程中通过动态调节步长,提高算法的运算效率.在标准数据集上的数值实验结果表明新算法是可行有效的.

R-线性收敛的重要样本抽样随机梯度下降算法

针对机器学习中一类有限光滑凸函数和的最小化问题,提出一种新的随机方差约简梯度下降算法。新算法的特点是将随机方差约简梯度算法和一种谱梯度BB步长方法有机结合,从而可以充分发挥两种方法的优势。另外,初始步长可以任意选取,且步长在算法运行中可以自适应地计算更新。此外,新算法使用了重要样本抽样方法,可以大大减少计算工作量。最后,在通常的假设条件下证明了新算法具有R-线性收敛速度,并给出了复杂度分析。数值实验验证了新算法是可行有效的。

一种赋有BB类步长的新随机方差缩减梯度算法

为随机方差缩减梯度(stochastic variance reduced gradient,SVRG)算法引入自适应步长,并在此基础上进一步提高算法数值性能。首先利用具有二维二次终止性的BB类步长自适应计算SVRG算法的步长。然后在SVRG算法的内循环中引入停止准则和负动量来加速算法的收敛速度。利用Matlab对提出的新算法进行数值实验,观察算法的数值性能。通过分析算法的数值实验结果,得出算法性能与在最佳步长调整下的SVRG算法相当,此外新算法对于初始步长的选取不敏感,且具有自动生成最优步长的能力。