一种改进的乘子交替方向法在■正则化分裂可行问题中的应用

提出了一种改进的乘子交替方向法(ADMM)算法,基于松弛技术和预测-校正框架,将松弛算子引入子问题x和对偶变量λ,使得每次迭代的步长大于1,从而提高了算法的收敛性,并在变分不等式的框架下证明了该算法的收敛性。此外,数值实验中通过图像去模糊问题验证了算法的有效性,并基于多组对照实验,综合考虑收敛效率和图像质量,选取适当的收敛准则。

我和乘子交替方向法20年

1997年,交通网络分析方面的问题把作者引进乘子交替方向法(ADMM)的研究领域.近10年来,原本用来求解变分不等式的ADMM在优化计算中被广泛采用,影响越来越大.这里总结了20年来我们在ADMM方面的工作,特别是近10年ADMM在凸优化分裂收缩算法方面的进展.梳理主要结果,说清来龙去脉.文章利用变分不等式的形式研究凸优化的ADMM类算法,论及的所有方法都能纳入一个简单的预测-校正统一框架.在统一框架下证明算法的收缩性质特别简单.通读,有利于了解ADMM类算法的概貌.仔细阅读,也许就掌握了根据实际问题需要构造分裂算法的基本技巧.也要清醒地看到,ADMM类算法源自增广拉格朗日乘子法(ALM)和邻近点(PPA)算法,它只是便于利用问题的可分离结构,并没有消除ALM和PPA等一阶算法固有的缺点.

非凸两分块问题乘子交替方向法的收敛性分析

乘子交替方向法(ADMM)求解大规模问题十分有效.ADMM在凸情形下的收敛性已被清晰认识,但非凸问题ADMM的收敛性结果还很少.本文针对非凸两分块优化问题,在增广拉格朗日函数满足Kurdyka-Lojasiewicz不等式性质且罚参数大于某个常数的条件下,证明了ADMM的收敛性.

基于乘子交替方向法改进的图像恢复方法

为了改善图像模糊给生活带来的不便,基于乘子交替方向法(ADMM)对图像恢复问题进行研究。图像作为一种重要的信息载体,在生活各个方面都显得尤为重要,但图像退化导致的模糊问题始终是困扰其正常发挥作用的重要因素。ADMM在处理线性逆问题方面有着良好效果,然而在很多实际应用中,无法保证算法能够高效且高质量地恢复图像。为此,提出一种改进ADMM算法,在x子问题和z子问题中引入新的松弛参数,使得每次迭代步长大于1,从而提高算法收敛性。最后,图像恢复数值实验结果表明,该算法迭代次数减少了40%,显著提高了运算效率。采用改进ADMM算法不仅能够准确、高效地恢复图像,同时也能提高计算机运算效率。

凸两分块问题邻近乘子交替方向法的O(1/n)收敛率

乘子交替方向法(ADMM)是求解凸两分块问题的一个十分有效的方法.ADMM有效执行的关键是x和y子问题能否快速有效求解.为简化子问题的求解,一个常用的技巧是引入适当的正则项对x与y子问题进行简化.本文考虑当x和y子问题同时正则化时,ADMM的迭代复杂性,分析了算法在遍历意义下具有O(1/n)的收敛率.

基于动态步长交替方向乘子法正则化极限学习机

为解决交替方向乘子法(alternating direction method of multipliers,ADMM)正则化极限学习机(regularized extreme learning machine,RELM)迭代收敛速度慢和迭代后期误差衰减停滞的问题,提出一种基于动态步长ADMM的正则化极限学习机,记为VAR-ADMM-RELM.该算法在ADMM算法的基础上采用动态衰减步长进行迭代,并同时使用L1和L2正则化对模型复杂度进行约束,解得具有稀疏性和鲁棒性的极限学习机输出权重.在UCI和MedMNIST数据集中对VAR-ADMM-RELM、极限学习机(extreme learning machine,ELM)、正则化极限学习机(regularized ELM,RELM)和基于ADMM的L1正则化ELM(ADMMRELM)进行拟合、分类和回归对比实验.结果表明,VAR-ADMM-RELM算法的平均分类准确率和平均回归预测精度分别比ELM算法提升了1.94%和2.49%,较标准ADMM算法可以取得3~5倍的速度提升,且对异常值干扰具有更好的鲁棒性和泛化能力,在高维度多样本的场景下建模效率逼近标准极限学习机.该方法有效提升了ADMM算法的收敛速度,取得了比主流ELM算法更加优秀的性能表现.

基于改进交替方向乘子法的配电网柔性负荷分层集群调控方法

可调负荷、电动汽车等各种负荷侧资源快速发展,对其进行精准调控是目前重要的研究热点。为充分发挥配电网柔性负荷的调节能力,提出一种基于改进交替方向乘子法的配电网柔性负荷分层集群调控方法。首先,采用综合层次聚类算法对柔性负荷进行分层集群;其次,基于纳什谈判理论,将原问题分解为成本最小化和收益分配2个子问题,建立配电网柔性负荷集群调控模型;然后,引入自适应变参数加速因子,提出改进的交替方向乘子法;最后,通过模拟算例验证所提方法的有效性。结果表明,所提方法能够有效实现大规模柔性负荷接入情况下的集群调控,收敛性能较常规方法有所提高。

惯性对称交替方向乘子算法

在本文中提出一种惯性对称交替方向乘子法求解两分块凸极小化优化问题,文章中证明了所提算法收敛到原问题的最优解,最后通过数据分析,验证所提算法的有效性和优越性。

基于改进交替方向乘子法的电-气综合能源系统优化调度

在电-气综合能源系统分布式优化调度中,非线性非凸的Weymouth方程给问题求解带来了巨大挑战。一方面,目前许多研究采用二阶锥松弛Weymouth方程,较为复杂;另一方面,主流分布式算法即交替方向乘子法(ADMM)的计算效率并不高。对此,该文提出一种精确近似的Weymouth方程线性化模型和多参数规划改进ADMM算法以解决上述两个问题。Weymouth方程线性化模型基于泰勒展开,利用一簇切线松弛Weymouth方程。特别地,增加了惩罚项以收紧松弛间隙,通过变量替换的方法减少切线的数量,并给出了一种有效的切线选取方法。对于多参数规划改进ADMM算法,其通过多参数规划得到子问题最优解的解析式。迭代过程中,若参数落在临界域内,可直接将参数代入最优解解析式获得子问题的最优解,无需求解子问题,提高了迭代速度。此外,该文还对多参数规划中难以避免的退化问题进行了处理,提升了算法的通用性。最后在两个不同规模的系统中验证了Weymouth方程线性化模型的精确性和多参数规划改进ADMM算法的高效性。

深度特征目标感知交替方向乘子法优化多指标更新相关滤波跟踪算法

空间正则化相关滤波算法跟踪过程中仅采用手工特征表征目标,高斯-赛德尔方法训练滤波器的复杂度高,跟踪结果不可靠时仍逐帧更新模型,导致跟踪效果不佳。针对空间正则化相关滤波算法存在的问题,提出深度特征目标感知交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)优化多指标更新相关滤波跟踪算法。该算法融入预训练网络提取的深度特征,并依回归损失的梯度信息进行通道选择,增强了对目标的表征能力;采用交替方向乘子法训练相关滤波器,降低算法复杂度,提升跟踪速度;根据多指标更新方法判断是否进行模型更新,不但提升了算法运行效率,而且避免了因学习到错误信息而导致的模型腐败。实验结果表明,所提算法的成功率、精确度在数据集OTB2015上均优于其它8种对比算法,且在复杂场景下具有更强的跟踪鲁棒性。

分裂可行性问题的外推加速线性交替方向乘子法及其全局收敛性

针对在图像重建以及语言处理系统等领域有着广泛应用的分裂可行性问题(SFP)的最优化求解,提出了外推加速线性交替方向乘子法。首先将SFP描述为一个具有线性约束的可分离凸极小化问题;然后引进外推线性交替方向乘子法,利用问题的可分离结构,产生了具有闭式解的子问题,并在适当条件下证明了该算法的全局收敛性;最后,通过数值实验验证了该算法的可行性和有效性。

基于多分块交替方向乘子法的蜂巢状配电网分布式优化调度

蜂巢状有源配电网是一种通过规模化链接微网群,实现大规模分布式可再生能源高效接入的新型配网形态。针对蜂巢状配电网中微网群与互联基站协调运行机制复杂的难题,提出一种以系统运行成本最小为目标,基于多分块交替方向乘子法(block-wise alternating direction method of multipliers,BADMM)的分布式优化调度策略,有效克服了多基站与多微网之间协调运行的挑战。首先根据拓扑结构建立蜂巢状配电网的优化数学模型,然后以智能功率/信息交换基站为中心将蜂巢状配电网划分为多个区域,每个基站协调同步计算与其相邻微网的优化问题。最后通过算例验证了所提策略的有效性和收敛性,为大规模微网群的经济优化调度提供了参考。

基于改进交替方向乘子法的输配电网分散协调鲁棒优化调度模型

随着分布式可再生能源大量接入主动配电网,输配电网间的耦合日益密切,由此面临的可再生能源出力不确定性和集中式调度带来的海量通讯等问题,使得输配电网的协调调度迎来巨大挑战。在考虑电力低碳化发展要求的基础上,计及碳捕集电厂低碳与调峰特性,提出基于改进交替方向乘子法的输配电网分散协调两阶段鲁棒优化调度模型。首先,采用凸多面体不确定集合描述风电出力的不确定性,构造含碳捕集电厂的输配协同两阶段鲁棒优化调度模型。进而,通过基于交替方向乘子法,并嵌套列和约束生成算法的循环迭代方法,对输配电网进行解耦和迭代求解。最后,在2个规模不同的算例系统上进行仿真分析。结果表明,所提方法在降低计算规模的同时提高了求解效率,实现了输配电网的完全分散自治,有效缓解了可再生能源并网带来的调峰压力。

应用于异常事件检测的深度交替方向乘子法网络

针对大规模无线传感器网络(WSN)中的事件检测问题(EDP),传统的方法通常依赖先验信息,阻碍了实际应用。该文为EDP提出了一种基于深度学习的算法,称为交替方向乘子法网络(ADMM-Net)。首先,采用低秩稀疏矩阵分解来建模事件的时空相关性。之后,EDP被表述为一个带约束的优化问题并用交替方向乘子法(ADMM)求解。然而,优化算法收敛慢且算法的性能依赖于对先验参数的仔细选择。该文基于深度学习中“展开”的概念,提出了一种用于EDP的深度神经网络ADMM-Net。通过“展开”ADMM算法的方式得到。ADMM-Net具有固定层数,其参数可以通过监督学习训练获得。无需先验信息。相比于传统算法,提出的ADMM-Net收敛快且不需先验信息。人造数据集和真实数据集的仿真结果验证了ADMM-Net的有效性。

基于交替方向乘子法的单天线ADS-B信号分离

广播式自动相关监视(automatic dependent surveillance-broadcast,ADS-B)系统是一种针对空中交通管理的监视系统。然而,由于ADS-B信号传输的随机性不可避免地导致多个ADS-B信号之间的重叠。传统的单天线Capon算法由于频率估计误差导致算法性能下降,针对以上问题提出了一种非频率估计的ADS-B信号分离算法。首先,基于矩阵重构,将单天线ADS-B信号分离问题重新表述成一个与Capon算法类似,但是约束条件完全不同的非凸优化问题。然后,针对该非凸优化问题,使用了交替方向乘子法求解了该非凸优化问题。仿真结果表明,当非重叠的数据的长度大于1μs时,提出的算法就能有效地分离出重叠的单天线ADS-B信号。此外,即使在Capon算法已知重叠信号的频率精确而所提算法未知的情况下,所提算法的性能也优于Capon算法。

曲率障碍下四阶变分不等式的交替方向乘子法

对于重调和算子和曲率障碍表示的变分不等式,提出了自适应交替方向乘子数值解法(SADMM).对问题引入一个辅助变量表示曲率函数的增广Lagrange函数,导出一个约束极小值问题,并且该问题等价于一个鞍点问题.然后采用交替方向乘子法(ADMM)求解这个鞍点问题.通过采用平衡原理和迭代函数,得到了自动调整罚参数的自适应法则,从而提高了计算效率.证明了该方法的收敛性,并给出了利用迭代函数近似罚参数的具体方法.最后,用数值计算结果验证了该方法的有效性.

基于交替方向乘子法的园区电-氢-热系统低碳优化调度

针对园区电-氢-热低碳能源系统分布与集中交互优化调度问题,提出一种基于交替方向乘子法(ADMM)的园区电-氢-热能源双层能量低碳优化调度方法。通过将分布式(屋顶光伏、园区建筑电、热负荷)与集中式(电池储能、氢储能、电蓄热)能源相结合,上层基于ADMM求解园区内各建筑可用于共享的交互能量值,下层以园区能源系统运行总成本最小为目标,利用上层求取的建筑交互能量及各建筑剩余功率,基于混合整数规划求解各建筑间交互能量及园区内各集中式能源设备最优出力,实现多主体能源点对点能量精准最优交互。最后,通过吉林市某低碳产业园能源架构进行算例分析,验证了所提低碳优化调度方法的有效性。

无摩擦弹性接触问题的自适应交替方向乘子法

对一类无摩擦的弹性接触问题,得到了求其数值解的自适应交替方向乘子法.由该问题导出相应的变分问题,引入辅助变量将原问题转化为一个基于增广Lagrange函数表示的鞍点问题,并采用交替方向乘子法求解;为了提高算法性能,提出了利用边界迭代函数自动选取合适罚参数的自适应法则.该算法的优点是每次迭代只需计算一个线性变分问题,同时显式计算了辅助变量和Lagrange乘子.对算法的收敛性进行了理论分析,最后用数值结果验证了该算法的可行性和有效性.

非凸两分块优化问题的一类惯性对称正则化交替方向乘子法

交替方向乘子法(ADMM)是一个求解可分离凸优化问题的的有效方法,然而,当目标函数存在非凸函数时,ADMM或许不收敛。本文提出一类带线性等式约束的非凸两分块优化问题的惯性对称正则化交替方向乘子法。在适当的假设条件下,建立了算法的全局收敛性。其次,在效益函数满足Kurdyka-?ojasiewicz(KL)性质时,建立了算法的强收敛性。最后,对算法进行了数值实验,结果说明算法是一种有效的方法。

一种自适应选取步长的随机交替方向乘子法

本文研究了具有可分离变量的凸随机优化问题,提出了一种新的随机交替方向乘子(ADMM)算法。该算法是ADMM与自适应选取步长的随机缩减梯度算法(SVRG-BB)的结合,利用BB步长实现了SVRG-ADMM方法自适应选取步长,而无需再使用递减步长或者手动调节步长。在一般的假设条件下,证明了算法的收敛性。 最后给出相关数值实验表明了算法的有效性。