求解DC问题的一类随机优化算法

本文研究的是一类具有有限和形式的DC问题,其目标函数为具有有限和形式的光滑凸函数与连续凸函数之和再减去适当的闭凸函数的形式。传统的邻近DC算法(pDCA)在处理此类问题时,由于每一迭代步都需要对目标函数光滑部分的全梯度进行计算,从而导致计算成本较为昂贵,因此本文将随机梯度SARAH引入到pDCA中,提出了一种基于随机梯度SARAH的随机邻近DC算法(pDCA-SARAH),并给出了该算法的具体迭代格式,以降低计算成本。在非凸情形下,本文针对pDCA-SARAH算法给出了收敛性及收敛率分析。具体的,本文给出了目标函数在期望意义下的下降量分析以及次线性收敛率的结果。最后,通过将pDCA-SARAH算法用于求解l1-2正则化最小二乘问题,并与pDCA进行数值比较,展示了本文所提算法的高效性。