Hadamard流形上的多目标邻近梯度算法

邻近梯度算法是求解非光滑优化问题的经典算法。本文将多目标优化问题的邻近梯度算法推广到Hadammard流形上。在一定条件下,证明了算法产生序列的聚点是Pareto稳定点。在目标函数满足Polyak-Loiasiewicz不等式时,得到算法的收敛速度是线性的。所得结果在Hadamard流形上是新的。

一类混合稀疏组稀疏优化问题的邻近梯度算法

本文研究了一类混合稀疏组稀疏优化问题,其中损失函数为光滑凸函数,正则项为稀疏l1范数与组稀疏lα,p(α ≥ 1, p > 0)范数的组合。 首先,提出了邻近梯度算法求解此混合稀疏组稀疏优化问题。其次,分别讨论了凸(p ≥ 1)和非凸(0 时给出组合惩罚项邻近算子的闭式解。 本文结果为求解混合稀疏组稀疏优化问题提供了理论依据和可行途径。

基于邻近梯度的机器学习特征选择优化方法

针对当前机器学习特征选择方法存在运算时间较长、特征选择精准度较低的问题,提出邻近梯度的机器学习特征选择优化方法。根据机器学习概念,结合其特征选择原理特性,构建混合式特征算法;划分特征集并对其进行简易化,采用信息论和概率统计对特征子集分类,获得信息增益;根据特征间存在的特征关联性与类别属性之间的联系,对信息增益做离散化处理,完成特征选择;采用邻近梯度算法对特征选择进行优化。仿真结果表明,所提方法能够有效进行机器学习特征选择,并且通过优化可以提升特征选择的效率。

Group Lasso正则化问题的邻近梯度算法的线性收敛性

研究一类目标函数是光滑凸函数与Group Lasso正则项和的优化问题。利用不动点迭代理论分析了邻近梯度算法的全局收敛性和有限收敛性。特别地,在不要求光滑凸函数为严格凸函数的条件下建立了邻近梯度法的线性收敛性。

求解一类双层规划问题的邻近梯度算法

非光滑双层规划问题来源于具有广泛应用的经济学、工程学和自然科学等领域。邻近梯度法是一类求解非光滑优化问题的有效算法。当目标函数具有某些特殊结构,特别是当具有某些解析形式的邻近算子时,邻近梯度法是求解非光滑优化问题的高效算法之一。在本文中,首先以凸分析、变分分析与非光滑优化等理论为基础,其次应用参数极小化技术,将具有某些特殊结构的非光滑双层规划问题转化为单层优化问题,最后应用邻近梯度法逐次求解,并建立算法的收敛性分析。

一类修正邻近梯度法及其收敛性

许多现代统计和信号应用问题都可以归结为非光滑凸优化问题,该文提出了一类适用于求解非光滑凸优化问题的修正邻近梯度法.算法的特点是采用一个自适应步长,并且该算法的线性收敛性不需要目标函数的强凸性作为前提.

源独立邻近梯度法求解频率域全波形稀疏约束反演问题

全波形反演(Full waveform inversion,FWI)寻求利用地震记录的全部信息来重构复杂地层介质,可有效地排除偶然因素的影响,是获得具有高分辨率的地下地层结构成像的有力工具。地震FWI从理论走向实际面临着诸多难题,其一是需要一个较为精确的震源子波。为了使用FWI处理地震数据,震源子波的估计严重影响模拟数据与观测数据的吻合程度,从而影响反演的精度。其二是波形反演是不适定的,即数值结果对数据比较敏感,所以必须采用正则化方法求其近似解。将变分投影方法应用于对频率域全波形反演过程中的数据校正,令反演过程不再依赖震源子波。为了克服传统的Tikhonov正则化方法过度光滑的弊端,引入稀疏约束正则化方法,并利用邻近映射克服目标泛函的不可微性,构建适合此类问题的邻近梯度算法,对稀疏约束目标泛函进行求解。初步数值试验结果表明,在没有震源信息的情况下,所设计的方法仍能获得较为精确的反演结果。

一类非光滑凸优化问题的邻近梯度算法

考虑求解目标函数为光滑损失函数与非光滑正则函数之和的凸优化问题的一种基于线搜索的邻近梯度算法及其收敛性分析,证明了在梯度局部Lipschitz连续条件下该算法是R-线性收敛的,并在非光滑部分为稀疏块LASSO正则函数情况下给出了误差界条件成立的证明,得到了线性收敛率。最后,数值实验结果验证了方法的有效性。

求解广义Fermat-Torricelli问题的多层邻近梯度算法

针对点和集合的广义Fermat-Torricelli问题,提出一种多层邻近梯度算法,并给出该算法的收敛速度分析。数值实验表明,多层邻近梯度算法求解广义Fermat-Torricelli问题是有效的。

一种求解Lasso问题的不精确邻近梯度算法

针对Lasso问题,基于邻近梯度法,考虑在光滑项梯度及邻近算子的计算中存在误差,提出了一种带有误差项的不精确邻近梯度算法,并在适当条件下给出该算法的收敛速度分析。数值实验结果表明,不精确邻近梯度算法求解Lasso问题是有效的。

非凸优化问题的惯性邻近梯度算法

研究了惯性邻近梯度法求解极小化一个非光滑函数与一个光滑函数之和的优化问题。通过假定目标函数满足KL不等式,证明了该算法的收敛性。

基于重启技术的加速邻近梯度算法

加速邻近梯度法是在梯度法基础上的一个改进,虽然效率比梯度法有明显提高,但仍存在收敛轨迹出现往回迭代的情况。为了克服该缺点,提出了把重启技术应用在加速邻近梯度法上的方法,并通过数值例子进行了比对,证明了该技术的有效性。

可分离凸规划问题的交替邻近梯度法的次线性收敛率

给出了目标函数为3个凸函数的和且具有线性约束的可分离凸规划问题的交替邻近梯度法在遍历意义下的次线性收敛率为■的一个充分条件.

Stiefel流形上非光滑优化的一种带外推的可变度量邻近梯度算法

本文针对Stiefel流形上一类目标函数为光滑损失函数与非光滑函数之和的非凸优化问题,提出了一种基于收缩的可变度量惯性邻近梯度算法。所提出的算法在已有的加速黎曼邻近梯度算法基础上,引入了对角Barzilai-Borwein类步长策略,该策略可以更好的捕获问题的局部几何信息,进一步加速算法的收敛。理论上,证明了算法全局收敛到稳定点。最后,本文给出了稀疏主成分分析问题的数值结果,验证了该方法的有效性。

求解不可分的非凸优化问题的广义惯性交替结构化邻近梯度下降算法

本文考虑求解一类不可分的非凸非光滑优化问题,该问题的目标函数由如下两部分组成:关于全局变量不可分的正常下半连续双凸函数,与两个关于独立变量的无利普希茨连续梯度的非凸函数.本文提出广义的惯性交替结构化邻近梯度下降算法(general inertial alternating structure-adapted proximal gradient descent algorithm,简记为GIASAP算法),该算法框架不仅引入非线性邻近正则项与惯性加速技巧,同时采用常数步长与动态步长两种策略.本文证明了GIASAP算法O(1/k)的非渐近收敛率,以及当目标函数具有Kurdyka-Łojasiewicz性质时,由GIASAP算法生成的有界序列全局收敛到问题的驻点.最后,本文通过数值实验验证了算法的可行性与有效性.

求解非凸复合优化问题的惯性Bregman邻近梯度算法

本文引入线搜索准则,提出了一种带惯性项的Bregman邻近梯度算法求解一类非凸复合优化问题,其中目标函数为相对光滑的损失函数与非光滑正则函数之和.在广义凹Kurdyka-Łojasiewicz(KL)性质的假设下,证明了算法的全局收敛性.最后将算法应用于图像恢复问题和非凸的l_(1/2)稀疏优化问题,数值实验表明新算法的有效性与优越性.

外推系数带参数的加速邻近梯度算法

加速邻近梯度算法(APG)是求解极小化光滑与非光滑凸函数和问题的一种非常有效的一阶方法.注意到外推系数选取的好坏与算法的数值表现息息相关.本文考虑了算法中外推系数的更一般形式,提出了一类外推系数带参数的加速邻近梯度算法,证明了该算法在一定的条件下具有和快速迭代收缩阈值算法(FISTA)相同的全局收敛速率.数值试验表明,适当地选取外推系数的参数会使新算法产生的误差值小于FISTA产生的误差值,从而得到更清晰的图像.数值试验同时给出了外推系数中参数的变化对图像去模糊的影响.

求解双目标规划的近似邻近外梯度算法

为解决双目标规划问题的常规解法受预先设定的权重的影响,而影响其结果准确性的问题,提出了双目标规划问题的近似邻近外梯度算法.结果表明:将双目标规划问题等价变形为变分不等式,在求解变分不等式子问题的基础之上,用半空间投影构造迭代步,避开了对权重的设定,证明了算法的全局收敛性.实例分析进一步验证算法的可行性与有效性.

一种求解单调包含问题的惯性松弛混合邻近外梯度算法

提出了在希尔伯特空间中求解极大单调包含问题的一种新的惯性松弛混合邻近外梯度算法,考虑到的算法涉及到最近的惯性技术,以及最近提出的混合策略,它将非精确的邻近点与外梯度结合起来.与现有的其它相关算法相比,该算法继承了惯性外推和松弛外梯度策略的良好收敛性.与此同时,还继承了混合邻近外梯度算法的相对误差准则.在适当的参数假设下,通过构造李雅普诺夫函数,从而证明了该算法在适当条件下的收敛性.

一种求解单调包含问题的惯性混合邻近外梯度算法

本文研究了求解单调包含问题的一种新的惯性混合邻近外梯度算法.利用Opial定理,获得了惯性混合邻近外梯度算法的弱收敛性和非渐近全局收敛率.在惯性混合邻近外梯度算法的框架下,本文提出并分析了惯性Tseng’s向前向后算法和惯性非精确Spingarn’s部分逆算法的收敛性和非渐近全局收敛率.