一类带偶次惩罚范数的非凸函数及周期ADMM算法的收敛性分析

在机器学习以及其它相关领域中,针对非凸函数的优化问题,目前存在的算法理论上对非凸函数的收敛和全局稳定性无法得到有效保证。本文提出将Lp范数(p为偶数)引入到非凸函数中,并在此基础上设计一种周期交替方向乘子(Periodic Alternating Direction Method of Multipliers, PADMM)的优化算法,用于此类非凸函数收敛性分析。我们证明在惩罚参数足够大的情况下,带偶次惩罚范数的非凸函数必收敛,并且收敛到全局最小值。此外,PADMM算法不对变量更新的先后顺序作特殊要求,这一特性大大增强了PADMM算法在处理各类非凸函数优化问题时的普适性。