基于AdaGrad的自适应NAG方法及其最优个体收敛性

与梯度下降法相比,自适应梯度下降方法(AdaGrad)利用过往平方梯度的算数平均保存了历史数据的几何信息,在处理稀疏数据时获得了更紧的收敛界.另一方面,Nesterov加速梯度方法(Nesterov’saccelerated gradient,NAG)在梯度下降法的基础上添加了动量运算,在求解光滑凸优化问题时具有数量级加速收敛的性能,在处理非光滑凸问题时也获得了最优的个体收敛速率.最近,已经出现了自适应策略与NAG相结合的研究,但现有代表性的自适应NAG方法AcceleGrad由于采取的自适应方式与AdaGrad不同,步长未能在不同维度上体现差异性,仅得到了加权平均方式的收敛速率,个体收敛速率的理论分析尚存在缺失.提出了一种自适应NAG方法,继承了AdaGrad的步长设置方式,证明了所提算法在解决约束非光滑凸优化问题时具有最优的个体收敛速率.在L1范数约束下,通过求解典型的hinge损失函数分类和L1损失函数回归优化问题.实验验证了理论分析的正确性,也表明了所提算法的性能优于AcceleGrad.

基于广义化自适应的NAG方法非负张量分解模型

单元素非负乘法更新算法在学习模型超参数时会出现长尾收敛的情况,本文通过将NAG方法融入到单元素非负乘法更新算法中,得到了广义化的NAG方法,并在此基础上提出了基于广义化自适应的NAG非负张量分解模型。在训练过程中利用粒子群算法对模型的正则化系数和算法的加速度系数进行了优化。最后,在两个真实的工业数据集上的对比实验表明,本文提出的广义化NAG方法明显提高了模型的收敛速度。