求解非凸复合优化问题的惯性Bregman邻近梯度算法

本文引入线搜索准则,提出了一种带惯性项的Bregman邻近梯度算法求解一类非凸复合优化问题,其中目标函数为相对光滑的损失函数与非光滑正则函数之和.在广义凹Kurdyka-Łojasiewicz(KL)性质的假设下,证明了算法的全局收敛性.最后将算法应用于图像恢复问题和非凸的l_(1/2)稀疏优化问题,数值实验表明新算法的有效性与优越性.

一种非精确邻近梯度算法

邻近点算法(PPA)是求解非光滑优化问题的一种有效的迭代算法,对特殊结构问题的求解非常高效,但在实际问题中求解大规模可分离问题时花费很大。为解决上述问题且同时又保持PPA算法的优点,本文给出了一种非精确邻近梯度算法。该算法结合了线搜索法与邻近梯度下降算法的思想,在子问题的求解过程中采用近似的梯度,且不需要Lipschitz常数已知。基于以上思想,首先我们给出算法的伪代码,然后建立了算法收敛性的充分条件,最后证明在该条件下,算法迭代所产生序列的每个极限点是原问题的临界点。

Hadamard流形上的多目标邻近梯度算法

邻近梯度算法是求解非光滑优化问题的经典算法。本文将多目标优化问题的邻近梯度算法推广到Hadammard流形上。在一定条件下,证明了算法产生序列的聚点是Pareto稳定点。在目标函数满足Polyak-Loiasiewicz不等式时,得到算法的收敛速度是线性的。所得结果在Hadamard流形上是新的。

一类混合稀疏组稀疏优化问题的邻近梯度算法

本文研究了一类混合稀疏组稀疏优化问题,其中损失函数为光滑凸函数,正则项为稀疏l1范数与组稀疏lα,p(α ≥ 1, p > 0)范数的组合。 首先,提出了邻近梯度算法求解此混合稀疏组稀疏优化问题。其次,分别讨论了凸(p ≥ 1)和非凸(0 时给出组合惩罚项邻近算子的闭式解。 本文结果为求解混合稀疏组稀疏优化问题提供了理论依据和可行途径。

求解双目标规划的近似邻近外梯度算法

为解决双目标规划问题的常规解法受预先设定的权重的影响,而影响其结果准确性的问题,提出了双目标规划问题的近似邻近外梯度算法.结果表明:将双目标规划问题等价变形为变分不等式,在求解变分不等式子问题的基础之上,用半空间投影构造迭代步,避开了对权重的设定,证明了算法的全局收敛性.实例分析进一步验证算法的可行性与有效性.

Group Lasso正则化问题的邻近梯度算法的线性收敛性

研究一类目标函数是光滑凸函数与Group Lasso正则项和的优化问题。利用不动点迭代理论分析了邻近梯度算法的全局收敛性和有限收敛性。特别地,在不要求光滑凸函数为严格凸函数的条件下建立了邻近梯度法的线性收敛性。

一般单调变分不等式的近似邻近外梯度算法

近似邻近点算法是求解单调变分不等式的一个有效方法,该算法通过解决一系列强单调子问题,产生近似邻近点序列来逼近变分不等式的解,而外梯度算法则通过每次迭代中增加一个投影来克服一般投影算法限制太强的缺点,但它们均未能改变迭代步骤中不规则闭凸区域上投影难计算的问题.于是,本文结合外梯度算法的迭代格式,构造包含原投影区域的半空间,将投影建立在半空间上,简化了投影的求解过程,并对新的邻近点序列作相应限制,使得改进的算法具有较好的收敛性.

求解广义Fermat-Torricelli问题的多层邻近梯度算法

针对点和集合的广义Fermat-Torricelli问题,提出一种多层邻近梯度算法,并给出该算法的收敛速度分析。数值实验表明,多层邻近梯度算法求解广义Fermat-Torricelli问题是有效的。

一种非精确非光滑信赖域算法

Aravkin等人提出了求解非光滑优化问题min_(x∈R^(d))f(x)+h(x)的非光滑信赖域算法(采用f的精确梯度),其中f是连续可微函数,h是邻近有界且下半连续的真函数。文章研究当该问题中f:=1/n ∑_(i=1)^(n)f_(i)(n很大且每个分量函数fi是连续可微)时,求解这类大规模可分离非光滑优化问题的有效算法。结合非精确算法和非光滑信赖域算法的思想,提出了用非精确梯度代替精确梯度的非精确非光滑信赖域算法。与非光滑信赖域算法(采用精确梯度)相比,该算法降低了每次迭代的计算量。在一定的假设条件下,证明了算法的迭代复杂度。

一种求解单调包含问题的惯性混合邻近外梯度算法

本文研究了求解单调包含问题的一种新的惯性混合邻近外梯度算法.利用Opial定理,获得了惯性混合邻近外梯度算法的弱收敛性和非渐近全局收敛率.在惯性混合邻近外梯度算法的框架下,本文提出并分析了惯性Tseng’s向前向后算法和惯性非精确Spingarn’s部分逆算法的收敛性和非渐近全局收敛率.

一种求解单调包含问题的惯性松弛混合邻近外梯度算法

提出了在希尔伯特空间中求解极大单调包含问题的一种新的惯性松弛混合邻近外梯度算法,考虑到的算法涉及到最近的惯性技术,以及最近提出的混合策略,它将非精确的邻近点与外梯度结合起来.与现有的其它相关算法相比,该算法继承了惯性外推和松弛外梯度策略的良好收敛性.与此同时,还继承了混合邻近外梯度算法的相对误差准则.在适当的参数假设下,通过构造李雅普诺夫函数,从而证明了该算法在适当条件下的收敛性.

Stiefel流形上非光滑优化的一种带外推的可变度量邻近梯度算法

本文针对Stiefel流形上一类目标函数为光滑损失函数与非光滑函数之和的非凸优化问题,提出了一种基于收缩的可变度量惯性邻近梯度算法。所提出的算法在已有的加速黎曼邻近梯度算法基础上,引入了对角Barzilai-Borwein类步长策略,该策略可以更好的捕获问题的局部几何信息,进一步加速算法的收敛。理论上,证明了算法全局收敛到稳定点。最后,本文给出了稀疏主成分分析问题的数值结果,验证了该方法的有效性。

稀疏性正则化的图像泊松恢复模型及分裂Bregman迭代算法

生物医学、天文等成像系统通常会受到泊松噪声的干扰,基于图像在过完备字典下的稀疏表示,在贝叶斯最大后验概率估计框架下,建立了针对泊松噪声的稀疏性正则化图像恢复凸变分模型,采用负log的泊松似然函数作为数据保真项,模型中非光滑的正则项约束图像表示系数的稀疏性,并附加恢复图像的非负性约束.进一步,基于分裂Bregman方法,提出了求解该模型的多步迭代快速算法,通过引入辅助变量与Bregman距离,可将原问题转化为两个简单子问题的迭代求解,大幅度降低了计算复杂性.实验结果验证了本文模型与数值算法的有效性.

一种用于分解协调无功优化的全分邻近中心算法

针对无功优化分解协调模型求解中增广拉格朗日函数不可分的问题,在邻近中心算法基础上提出一种适用于特殊等式约束优化问题、可实现所有步骤分解计算的全分邻近中心算法。该算法通过邻近函数构造平滑同时可分的拉格朗日函数,并通过最优梯度更新拉格朗日乘子,只需要在相邻分区之间交换边界节点信息即可实现全网无功优化的分解协调计算。与通过对偶梯度更新拉格朗日乘子的分解算法相比,它不但可以直接确定计算所用参数,而且可以大大提高收敛速度。算例结果表明,所提算法可以实现全网无功优化的分解协调计算,并且其计算效率远高于基于辅助问题原理的分解协调算法。

基于邻近中心算法的无功优化分解协调计算

针对大规模电网无功优化存在的计算速度慢和数据传输瓶颈问题,提出了一种基于邻近中心算法的无功优化分解协调算法。通过邻近函数构造平滑的拉格朗日函数,避免了增广拉格朗日函数的不可分问题;通过最优梯度更新拉格朗日乘子,大幅减少了迭代次数,并且可以直接确定平滑参数等计算所用参数,仅需要通信交换边界节点和拉格朗日乘子信息即可实现全网无功优化的分解协调计算。算例结果表明,所提算法可以有效提高全网无功优化的计算效率,并且与基于辅助问题原理的分解协调算法相比,其收敛速度更快、计算效率更高。

求解不可分的非凸优化问题的广义惯性交替结构化邻近梯度下降算法

本文考虑求解一类不可分的非凸非光滑优化问题,该问题的目标函数由如下两部分组成:关于全局变量不可分的正常下半连续双凸函数,与两个关于独立变量的无利普希茨连续梯度的非凸函数.本文提出广义的惯性交替结构化邻近梯度下降算法(general inertial alternating structure-adapted proximal gradient descent algorithm,简记为GIASAP算法),该算法框架不仅引入非线性邻近正则项与惯性加速技巧,同时采用常数步长与动态步长两种策略.本文证明了GIASAP算法O(1/k)的非渐近收敛率,以及当目标函数具有Kurdyka-Łojasiewicz性质时,由GIASAP算法生成的有界序列全局收敛到问题的驻点.最后,本文通过数值实验验证了算法的可行性与有效性.

稀疏性正则化的图像泊松去噪算法

去除医学、天文图像中的泊松噪声是一个重要问题,基于图像在过完备字典下的稀疏表示,在Bayesian-MAP框架下建立了稀疏性正则化的图像泊松去噪凸变分模型,采用负log的泊松似然函数作为模型的数据保真项,模型中非光滑的正则项约束图像表示系数的稀疏性,并附加非负性约束,保证去噪图像的非负性.基于分裂Bregman方法,提出了数值求解该模型的多步迭代快速算法,通过引入辅助变量与Bregman距离可将原问题转化为两个简单子问题的迭代求解,降低了计算复杂性.实验结果验证了本文模型与数值算法的有效性.

一种求解正交约束问题的投影梯度方法

正交约束优化问题在特征值问题、稀疏主成分分析等方面有广泛的应用.由于正交约束的非凸性,精确求解该类问题具有一定的困难.本文提出了一种求解正交约束优化问题的投影梯度算法.该算法采用施密特标准正交化方法处理正交约束,其时间复杂度为O(r2 n),比传统SVD分解复杂度低,且实现简单.数值实验验证了算法的有效性.

随机邻近提升机

梯度提升机(GBM)是一种重要且被广泛应用的监督学习算法,它结合弱学习器迭代生成一个强大的预测模型,提高单一弱学习器的性能.随机梯度提升机(RGBM)通过随机选取弱学习器的子集以减少计算成本,但只可在损失函数可微时训练数据.文章基于邻近点算法提出一种新算法——随机邻近提升机,该算法既适用于可微损失函数,也适用于不可微损失函数,与随机梯度提升机相比更具普适性.在真实数据集上的数值实验表明新算法有效且具有明显的优势.

外推系数带参数的加速邻近梯度算法

加速邻近梯度算法(APG)是求解极小化光滑与非光滑凸函数和问题的一种非常有效的一阶方法.注意到外推系数选取的好坏与算法的数值表现息息相关.本文考虑了算法中外推系数的更一般形式,提出了一类外推系数带参数的加速邻近梯度算法,证明了该算法在一定的条件下具有和快速迭代收缩阈值算法(FISTA)相同的全局收敛速率.数值试验表明,适当地选取外推系数的参数会使新算法产生的误差值小于FISTA产生的误差值,从而得到更清晰的图像.数值试验同时给出了外推系数中参数的变化对图像去模糊的影响.