一种非光滑强凸函数的随机次梯度镜面下降算法

镜面下降法(MD)在机器学习问题中已有些实际应用,针对大规模数据的处理和非光滑损失凸优化问题,本文将迭代平均与随机次梯度镜面下降方法相结合,得到了一种改进的方法,通过对问题域的特殊处理,利用它们的结构,提出一种加权平均的随机次梯度镜面下降算法。在这个加权平均过程中,平均迭代不用于构造算法,而是作为算法的副产品出现,其中平均权重由算法使用的步长确定。该算法有很好的收敛性。对于强凸函数,我们证明了该算法的最佳收敛速度达到? ?? ?? ?o 1k。