求解不可分离非凸非光滑问题的线性惯性ADMM算法

针对目标函数中包含耦合函数H(x,y)的非凸非光滑极小化问题,提出了一种线性惯性交替乘子方向法(Linear Inertial Alternating Direction Method of Multipliers,LIADMM)。为了方便子问题的求解,对目标函数中的耦合函数H(x,y)进行线性化处理,并在x-子问题中引入惯性效应。在适当的假设条件下,建立了算法的全局收敛性;同时引入满足Kurdyka-Lojasiewicz不等式的辅助函数,验证了算法的强收敛性。通过两个数值实验表明,引入惯性效应的算法比没有惯性效应的算法收敛性能更好。

非凸非光滑不可分优化的两个线性邻近Peaceman-Rachford分裂算法

本文研究一类非凸非光滑不可分优化.基于Peaceman-Rachford(PR)分裂算法,并结合Armijo线搜索技术及线性正则化技术,提出了两个线性邻近PR分裂算法.利用PR分裂算法思想,将增广拉格朗日法涉及的子问题分解成两个小规模子问题.为便于子问题的求解和使其具有良好的理论性质,对子问题的目标函数中的光滑项作线性化处理,并分别添加必要的正则项.在常规假设下,论证了算法的全局收敛性及迭代复杂性.最后,数值实验结果表明算法是有效的.

求解一类非光滑凸优化问题的相对加速SGD算法

一阶优化算法由于其计算简单、代价小,被广泛应用于机器学习、大数据科学、计算机视觉等领域,然而,现有的一阶算法大多要求目标函数具有Lipschitz连续梯度,而实际中的很多应用问题不满足该要求。在经典的梯度下降算法基础上,引入随机和加速,提出一种相对加速随机梯度下降算法。该算法不要求目标函数具有Lipschitz连续梯度,而是通过将欧氏距离推广为Bregman距离,从而将Lipschitz连续梯度条件减弱为相对光滑性条件。相对加速随机梯度下降算法的收敛性与一致三角尺度指数有关,为避免调节最优一致三角尺度指数参数的工作量,给出一种自适应相对加速随机梯度下降算法。该算法可自适应地选取一致三角尺度指数参数。对算法收敛性的理论分析表明,算法迭代序列的目标函数值收敛于最优目标函数值。针对Possion反问题和目标函数的Hessian阵算子范数随变量范数多项式增长的极小化问题的数值实验表明,自适应相对加速随机梯度下降算法和相对加速随机梯度下降算法的收敛性能优于相对随机梯度下降算法。

大规模可分凸优化问题的非精确自适应步随机原始对偶算法

本文研究了可分优化问题,针对其目标函数的可分性,分裂算法将目标函数分解成更小、 更容易 处理的子问题, 如原始对偶混合梯度算法。 本文探讨了目标函数的邻近算子的非精确求解策略,并 基于此提出了一个非精确自适应步随机原始对偶算法。 我们分析了误差序列选取方式对算法收敛 速率的影响,发现不同的误差序列选择会导致算法在收敛速度和稳定性方面表现出显著的差异。 此外,该算法在实际应用中也展现出了更高的效率和灵活性。

具有双重松弛项的改进惯性近端交替方向乘子法在结构化非凸和非光滑问题中的应用

针对结构化的非凸非光滑优化问题,提出了一种改进的惯性近端交替方向乘子法(Modified Inertial Proximal Alternating Direction Method of Multipliers, MID-PADMM)。该问题在多个领域,包括机器学习、信号处理和经济学中具有重要应用。现有算法在处理这类问题时,往往面临收敛速度慢或无法保证收敛的挑战。为了克服这些限制,引入了一种双重松弛项,以增强算法的鲁棒性和灵活性。理论分析表明,MID-PADMM算法在适当的条件下能够实现全局收敛,并且具有O(1/k)的迭代复杂度,其中k代表迭代次数。数值实验结果表明,与现有的状态最优算法相比,MID-PADMM在多个实例中展现出更快的收敛速度和更高的求解质量。

大规模非凸不可分优化问题的分裂序列二次规划算法

该文研究了目标函数和约束函数带不可分结构的大规模非凸优化问题,提出了一个新的分裂序列二次规划算法.首先,借助分裂算法思想将传统二次规划(QP)子问题的增广拉格朗日问题分解为两个小规模QP子问题,通过求解小规模QP子问题产生改进的搜索方向.其次,以增广拉格朗日函数作效益函数,通过Armijo线搜索产生下一个迭代点.在较为温和的条件下,获得新算法的全局收敛性.最后,对该算法进行了数值实验,验证了算法的有效性。

解一类凸优化问题的部分非精确交替方向法

针对一类具有三个可分离算子的凸型优化问题,提出一种部分非精确的交替方向算法,得到了算法的一个下降方向和沿着这个下降方向的最合适的步长,在合理的假设下,算法的收敛性得到了证明,数值试验表明这种方法具有较好的效果.

非凸非光滑向量优化弱有效解的充分条件

本文通过引入非光滑的伪不变凸函数 。

拉格朗日神经网络解决带等式和不等式约束的非光滑非凸优化问题

非凸非光滑优化问题涉及科学与工程应用的诸多领域,是目前国际上的研究热点。该文针对已有基于早期罚函数神经网络解决非光滑优化问题的不足,借鉴Lagrange乘子罚函数的思想提出一种有效解决带等式和不等式约束的非凸非光滑优化问题的递归神经网络模型。由于该网络模型的罚因子是变量,无需计算罚因子的初始值仍能保证神经网络收敛到优化问题的最优解,因此更加便于网络计算。此外,与传统Lagrange方法不同,该网络模型增加了一个等式约束惩罚项,可以提高网络的收敛能力。通过详细的分析证明了该网络模型的轨迹在有限时间内必进入可行域,且最终收敛于关键点集。最后通过数值实验验证了所提出理论的有效性。

非光滑广义F─凸规划问题的充分条件

通过引入次线性泛函Ｆ，定义了一类新的广义凸函数，并在此凸性条件下，讨论了非光滑最优化问题的充分条件。

递归神经网络方法解决非光滑伪凸优化问题

针对目标函数为非光滑伪凸函数且带有等式约束和不等式约束的优化问题,基于罚函数以及微分包含的思想,构建一个层次仅为一层且不包含惩罚算子的新型递归神经网络模型.该模型不用提前计算惩罚参数,能够很好地收敛.理论证明全局解存在,模型的状态解能够在有限的时间内进到原目标函数的可行域并不再离开,其状态解最终收敛到目标函数的一个最优解.仿真实验证实了理论结果的可行性.

非光滑凸规划的割平面法及其在组合优化中的应用

本文利用次梯度构造了一种割平面 ,将非光滑凸规划松驰为光滑规划 ,给出了一种非光滑凸规划的割平面法 ,并证明了其收敛性 ,通过在组合优化中的应用说明该算法是有效的 .

一类非光滑非凸优化问题的神经网络方法

提出了解决一类带等式与不等式约束的非光滑非凸优化问题的神经网络模型。证明了当目标函数有下界时,神经网络的解轨迹在有限时间收敛到可行域。同时,神经网络的平衡点集与优化问题的关键点集一致,且神经网络最终收敛于优化问题的关键点集。与传统基于罚函数的神经网络模型不同,提出的模型无须计算罚因子。最后,通过仿真实验验证了所提出模型的有效性。

非光滑广义F-凸规划问题的充分性条件

通过引入凸泛函F定义了一类新的广义凸函数 ,并在此凸性下讨论了非光滑最优化问题的充分性条件 .

Minty向量似变分不等式与非光滑向量优化问题

在Clarke次微分意义下讨论伪不变凸性和不变伪单调性在Minty向量似变分不等式中的应用,建立了Minty向量似变分不等式和非光滑向量优化问题之间的关系.

求解非凸非光滑优化问题的同伦内点法及其计算机实现

主要给出在绿色制造实际问题中遇到的一类可以归结为求解非凸非光滑优化问题的解决方法及其计算机实现算法，并通过实例证明了算法的可行性。

一类非光滑广义不变凸多目标优化的Mond-Weir对偶

对一类非光滑广义不变凸多目标优化问题进行了讨论,在一般(F,α,ρ,θ)-d-v-univex不变凸函数下给出了非光滑多目标优化弱有效解的充分条件,并给出了Mond-Weir对偶模型,证明了弱对偶定理和强对偶定理。

一种新型单层递归神经网络解决非光滑伪凸优化问题

非光滑伪凸优化问题是一类比较特殊的非凸优化问题,常出现在各类科学与工程应用中,因此具有很大的研究价值。针对现有神经网络模型解决非光滑伪凸优化问题存在的不足,该文基于微分包含理论,提出一种新型单层递归神经网络模型。通过理论分析,证明了神经网络状态解在有限时间内收敛到可行域,且永驻其中,最终神经网络状态解收敛于原优化问题的最优解。最后,通过数值实验,验证了所提理论的有效性。与现有的神经网络相比,该文所提神经网络模型结构简单仅为单层,不需要提前计算罚参数,且对初始点选取没有任何特殊的要求。

解决一类非光滑伪凸优化问题的新型神经网络

对优化问题的研究一直以来深受科研工作者的关注。非光滑伪凸优化作为非凸优化中的一类特殊问题,频繁出现在机器学习、信号处理、生物信息学以及各类科学与工程领域中,成为学者们研究的重点。基于罚函数以及微分包含的思想,提出了一种解决带有不等式约束条件和等式约束条件的非光滑伪凸优化问题的新型神经网络方法。在给定的假设条件下,该神经网络的解可以在有限时间内进入可行域并永驻其中,最终收敛到优化问题的最优解集。相比其他神经网络模型,该模型具有以下优点:1)结构简单,为单层模型;2)不需要事先计算精确的惩罚因子;3)初始点可任意选取。在MATLAB环境下,通过数值实验得出,所提网络都能在有限时间内收敛到一个最优解;而用现有的神经网络模型解决同样的优化问题时,若初始点选取不恰当,则会导致状态解不能在有效时间内收敛甚至不能收敛。这不仅进一步地验证了所提神经网络的有效性,同时也说明其具有更广泛的应用范围。

非凸非光滑向量优化问题的S－有效解

引进了可标量化有效性（ｓ－有效性）的概念，在局部凸的Ｈａｕｓｄｏｒｆｆ线性拓扑空间中讨论了非凸非光滑向量优化问题的Ｌａｇｒａｎｇｅ乘子、鞍点和Ｌａｇｒａｎｇｅ型对偶，证明了几种真有效性与ｓ－有效性在相当一般的条件下是等价的．