在机器学习以及其它相关领域中,针对非凸函数的优化问题,目前存在的算法理论上对非凸函数的收敛和全局稳定性无法得到有效保证。本文提出将Lp范数(p为偶数)引入到非凸函数中,并在此基础上设计一种周期交替方向乘子(Periodic Alternating...在机器学习以及其它相关领域中,针对非凸函数的优化问题,目前存在的算法理论上对非凸函数的收敛和全局稳定性无法得到有效保证。本文提出将Lp范数(p为偶数)引入到非凸函数中,并在此基础上设计一种周期交替方向乘子(Periodic Alternating Direction Method of Multipliers, PADMM)的优化算法,用于此类非凸函数收敛性分析。我们证明在惩罚参数足够大的情况下,带偶次惩罚范数的非凸函数必收敛,并且收敛到全局最小值。此外,PADMM算法不对变量更新的先后顺序作特殊要求,这一特性大大增强了PADMM算法在处理各类非凸函数优化问题时的普适性。展开更多
文摘在机器学习以及其它相关领域中,针对非凸函数的优化问题,目前存在的算法理论上对非凸函数的收敛和全局稳定性无法得到有效保证。本文提出将Lp范数(p为偶数)引入到非凸函数中,并在此基础上设计一种周期交替方向乘子(Periodic Alternating Direction Method of Multipliers, PADMM)的优化算法,用于此类非凸函数收敛性分析。我们证明在惩罚参数足够大的情况下,带偶次惩罚范数的非凸函数必收敛,并且收敛到全局最小值。此外,PADMM算法不对变量更新的先后顺序作特殊要求,这一特性大大增强了PADMM算法在处理各类非凸函数优化问题时的普适性。
基金This research was partially supported by the National Natural Science Foundation of China(Grant No.10171118,10471159)the key project of the Chinese Ministry of Education,Supported by Program for New Century Excellent Talents in University.