一类零模正则复合函数的指数1/2的KL性质

零模正则复合优化问题在统计、信号与图像处理、组合优化、金融等诸多领域中有着广泛的应用.主要关注一类零模正则复合函数g(Ax)+λ‖x‖_0的指数1/2的KL性质.通过研究函数g(Ax)的指数1/2的KL性质,证实当g具有指数1/2的KL性质时,该零模正则复合函数也具有指数1/2的KL性质,并特别得到零模正则最小二乘函数和零模正则logistic函数都是指数1/2的KL函数,从而应用邻近梯度法求解这两类特殊复合函数极小化问题会具有全局收敛性和线性收敛速率.

基于KL不等式求解压缩感知问题

压缩感知问题在雷达探测、信号与图象处理、组合优化、金融等诸多领域中有着非常广泛的应用。本文将压缩感知问题在一定的条件下转化为等价的无约束问题。通过研究这类无约束问题的KL (Kurdyka-Łojasiewicz)性质,本文采用BB步长,应用相应的非单调线搜索的方法求解这类非线性函数的收敛性和线性收敛速率。

非凸多分块优化的Bregman ADMM的收敛率研究

Wang等提出了求解带线性约束的多块可分非凸优化问题的带Bregman距离的交替方向乘子法(Bregman ADMM),并证明了其收敛性.该文将进一步研究求解带线性约束的多块可分非凸优化问题的Bregman ADMM的收敛率,以及算法产生的迭代点列有界的充分条件.在效益函数的Kurdyka-Lojasiewicz (KL)性质下,该文建立了值和迭代的收敛速率,证明了与目标函数相关的各种KL指数值可获得Bregman ADMM的三种不同收敛速度.更确切地说,该文证明了如下结果:如果效益函数的KL指数θ=0,那么由Bregman ADMM生成的序列经过有限次迭代后收敛;如果θ∈(0,1/2),那么Bregman ADMM是线性收敛的;如果θ∈(1/2,1),那么Bregman ADMM是次线性收敛的.

一类最小二乘的自动调参问题的求解算法

运用APGnc+算法思想,求解最小二乘自动调参问题.以MNIST数据集为基础,考察最小二乘自动调参在分类问题中的应用.此外,数值实验结果表明本文的算法比已有的方法快.

一个新的对于无约束非凸优化问题渐近的算法

针对数学规划中的非凸函数的优化问题,根据已知的凸函数的优化结果及相应算法,构造新的渐进算法,并运用Kurdyka-Lojasiewicz不等式,对真下半连续的非凸函数的无约束非凸优化问题进行了收敛分析,得到了由改进的渐进算法生成的序列具有有限长且收敛于该函数的一个临界点.同时给出了序列收敛速率的结果表示.

具有线性化技术的三块非凸不可分优化问题BregmanADMM收敛性分析

交替方向乘子法是求解两块可分离凸优化问题的有效方法,但是对于三块不可分的非凸优化问题的交替方向乘子法的收敛性可能无法保证.该文主要研究的是用线性化广义Bregman交替方向乘子法(L-G-BADMM)求解目标函数是三块不可分的非凸极小化问题的收敛性分析.在适当假设条件下,对算法中子问题进行求解并构建满足Kurdyka-Lojasiewicz性质的效益函数,经过理论证明可以得到该算法的收敛性.

求解一类非凸非光滑问题的惯性邻近交替极小化算法

本文考虑一类非凸非光滑优化问题,提出了一种惯性邻近交替极小化算法。通过构造一个新的效益函数H,并保证其具有下降性,证明了算法的全局收敛性。当H为Kurdyka-Lojasiewicz函数时,证明了算法的强收敛性。

非凸两分块优化问题的一类惯性对称正则化交替方向乘子法

交替方向乘子法(ADMM)是一个求解可分离凸优化问题的的有效方法,然而,当目标函数存在非凸函数时,ADMM或许不收敛。本文提出一类带线性等式约束的非凸两分块优化问题的惯性对称正则化交替方向乘子法。在适当的假设条件下,建立了算法的全局收敛性。其次,在效益函数满足Kurdyka-?ojasiewicz(KL)性质时,建立了算法的强收敛性。最后,对算法进行了数值实验,结果说明算法是一种有效的方法。

求解非凸复合优化问题的惯性Bregman邻近梯度算法

本文引入线搜索准则,提出了一种带惯性项的Bregman邻近梯度算法求解一类非凸复合优化问题,其中目标函数为相对光滑的损失函数与非光滑正则函数之和.在广义凹Kurdyka-Łojasiewicz(KL)性质的假设下,证明了算法的全局收敛性.最后将算法应用于图像恢复问题和非凸的l_(1/2)稀疏优化问题,数值实验表明新算法的有效性与优越性.

非凸两分块问题超松弛步长邻近ADMM的收敛性分析

讨论带线性约束的非凸两分块优化问题,旨在分析带超松弛步长参数的邻近乘子交替方向法(PADMM)的收敛性.已有乘子交替方向法均要求对偶变量迭代步长参数θ∈(0,(1+√5)/2].文章在θ∈(0,2)的情形下分析PADMM的收敛性.首先,在适当的假设条件下,证明了该算法的全局收敛性.其次,当效益函数满足Kurdyka-Lojasiewicz性质时,证明了该算法的强收敛性.最后,通过初步的数值实验验证了算法的有效性.

非凸多分块优化部分对称正则化交替方向乘子法

交替方向乘子法求解两分块优化的研究已逐渐成熟和完善,但对于非凸多分块优化的研究相对较少.本文提出带线性约束的非凸多分块优化的部分对称正则化交替方向乘子法.首先,在适当的假设条件下,包括部分对称乘子修正中参数的估值区域,证明了算法的全局收敛性.其次,当增广拉格朗日函数满足Kurdyka-Lojasiewicz(KL)性质时,证明了算法的强收敛性.当KL性质关联函数具有特殊结构时,保证了算法的次线性和线性收敛率.最后,对算法进行了初步数值试验,结果表明算法的数值有效性.

三块非凸优化问题正则化交替方向法的收敛性

【目的】针对一类三块非凸优化问题,提出一种正则化交替方向法。【方法】为了更易求得唯一的点(x^(k+1),y^(k+1),z^(k+1)),在原始乘子交替方向法的框架下,对x子问题和y子问题同时添加一个临近项来正则化原始子问题。【结果】在增广拉格朗日函数满足KL性质且惩罚参数充分大的条件下,由算法生成的迭代序列的任何聚点都是增广拉格朗日函数的稳定点。【结论】数值算例结果验证了此算法的有效性。

非凸不可分优化线性近似Bregman型Peaceman-Rachford分裂算法

基于Peaceman-Rachford分裂算法,结合线性近似技术和Bregman距离,本文提出一种线性近似Bregman型Peaceman-Rachford分裂算法,用于求解目标函数带不可分结构的线性约束非凸优化问题.在常规假设下,得到算法的全局收敛性.在效益函数满足Kurdyka-Lojasiewicz性质前提下,论证算法的强收敛性.当KurdykaLojasiewicz性质关联函数为特殊结构时,分析并获得算法的收敛率结果.最后,初步数值试验说明算法有数值有效性.

非凸非光滑优化问题的惯性Bregman ADMM的收敛性分析

【目的】针对具有可分结构的非凸非光滑优化问题,提出一种内置惯性Bregman交替方向乘子法。【方法】为了加快算法的收敛速度,在Bregman交替方向乘子法的框架下,对子问题中的Bregman度量内置惯性项。【结果】在生成的点列有界的条件下,利用Kurdyka-Lojasiewicz性质,证明了算法的渐进收敛性。【结论】数值实验结果表明了该算法的有效性。

求解非凸两分块优化问题的Majorized Bregman交替方向乘子法

针对一类两分块非凸优化问题,提出Majorized带Bregman距离的交替方向乘子法。为了使问题的子问题更易求解,对目标函数中的光滑项进行极大化线性处理,并对x子问题和y子问题同时添加一个Bregman距离。在适当的假设条件下,建立了算法的全局收敛性。同时,在效益函数满足KL性质时,建立了算法的强收敛性。数值实验结果验证该算法的有效性。