稀疏正则化:Gauss-Seidel阈值迭代算法

本文考虑一类稀疏正则化问题,该类问题在机器学习、信号处理和图像处理等众多领域中被广泛研究.此类问题的一个典型特征是其诱导的阈值函数具有跳跃的不连续性.本文提出一种基于GaussSeidel的迭代算法,称作Gauss-Seidel跳跃阈值迭代算法(Gauss-Seidel iterative jumping thresholding algorithm,GSIJT),用以快速解决以上问题.本文首先证明了由GSIJT所产生序列的支撑与符号的有限收敛性.基于此收敛性质,同时利用restricted Kurdyka-Lojasiewicz(rKL)性质给出GSIJT算法的全局收敛性.此外给出了GSIJT的收敛率,并且证明了任意的极限点都是驻点.本文实施了一系列的数值实验来验证所提算法的有效性.特别地,通过与相关的阈值迭代算法进行比较,表明所提算法不仅收敛更快,同时可选择的步长范围更宽.