基于动态步长交替方向乘子法正则化极限学习机

为解决交替方向乘子法(alternating direction method of multipliers,ADMM)正则化极限学习机(regularized extreme learning machine,RELM)迭代收敛速度慢和迭代后期误差衰减停滞的问题,提出一种基于动态步长ADMM的正则化极限学习机,记为VAR-ADMM-RELM.该算法在ADMM算法的基础上采用动态衰减步长进行迭代,并同时使用L1和L2正则化对模型复杂度进行约束,解得具有稀疏性和鲁棒性的极限学习机输出权重.在UCI和MedMNIST数据集中对VAR-ADMM-RELM、极限学习机(extreme learning machine,ELM)、正则化极限学习机(regularized ELM,RELM)和基于ADMM的L1正则化ELM(ADMMRELM)进行拟合、分类和回归对比实验.结果表明,VAR-ADMM-RELM算法的平均分类准确率和平均回归预测精度分别比ELM算法提升了1.94%和2.49%,较标准ADMM算法可以取得3~5倍的速度提升,且对异常值干扰具有更好的鲁棒性和泛化能力,在高维度多样本的场景下建模效率逼近标准极限学习机.该方法有效提升了ADMM算法的收敛速度,取得了比主流ELM算法更加优秀的性能表现.

基于改进交替方向乘子法的配电网柔性负荷分层集群调控方法

可调负荷、电动汽车等各种负荷侧资源快速发展,对其进行精准调控是目前重要的研究热点。为充分发挥配电网柔性负荷的调节能力,提出一种基于改进交替方向乘子法的配电网柔性负荷分层集群调控方法。首先,采用综合层次聚类算法对柔性负荷进行分层集群;其次,基于纳什谈判理论,将原问题分解为成本最小化和收益分配2个子问题,建立配电网柔性负荷集群调控模型;然后,引入自适应变参数加速因子,提出改进的交替方向乘子法;最后,通过模拟算例验证所提方法的有效性。结果表明,所提方法能够有效实现大规模柔性负荷接入情况下的集群调控,收敛性能较常规方法有所提高。

基于改进交替方向乘子法的电-气综合能源系统优化调度

在电-气综合能源系统分布式优化调度中,非线性非凸的Weymouth方程给问题求解带来了巨大挑战。一方面,目前许多研究采用二阶锥松弛Weymouth方程,较为复杂;另一方面,主流分布式算法即交替方向乘子法(ADMM)的计算效率并不高。对此,该文提出一种精确近似的Weymouth方程线性化模型和多参数规划改进ADMM算法以解决上述两个问题。Weymouth方程线性化模型基于泰勒展开,利用一簇切线松弛Weymouth方程。特别地,增加了惩罚项以收紧松弛间隙,通过变量替换的方法减少切线的数量,并给出了一种有效的切线选取方法。对于多参数规划改进ADMM算法,其通过多参数规划得到子问题最优解的解析式。迭代过程中,若参数落在临界域内,可直接将参数代入最优解解析式获得子问题的最优解,无需求解子问题,提高了迭代速度。此外,该文还对多参数规划中难以避免的退化问题进行了处理,提升了算法的通用性。最后在两个不同规模的系统中验证了Weymouth方程线性化模型的精确性和多参数规划改进ADMM算法的高效性。

深度特征目标感知交替方向乘子法优化多指标更新相关滤波跟踪算法

空间正则化相关滤波算法跟踪过程中仅采用手工特征表征目标,高斯-赛德尔方法训练滤波器的复杂度高,跟踪结果不可靠时仍逐帧更新模型,导致跟踪效果不佳。针对空间正则化相关滤波算法存在的问题,提出深度特征目标感知交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)优化多指标更新相关滤波跟踪算法。该算法融入预训练网络提取的深度特征,并依回归损失的梯度信息进行通道选择,增强了对目标的表征能力;采用交替方向乘子法训练相关滤波器,降低算法复杂度,提升跟踪速度;根据多指标更新方法判断是否进行模型更新,不但提升了算法运行效率,而且避免了因学习到错误信息而导致的模型腐败。实验结果表明,所提算法的成功率、精确度在数据集OTB2015上均优于其它8种对比算法,且在复杂场景下具有更强的跟踪鲁棒性。

分裂可行性问题的外推加速线性交替方向乘子法及其全局收敛性

针对在图像重建以及语言处理系统等领域有着广泛应用的分裂可行性问题(SFP)的最优化求解,提出了外推加速线性交替方向乘子法。首先将SFP描述为一个具有线性约束的可分离凸极小化问题;然后引进外推线性交替方向乘子法,利用问题的可分离结构,产生了具有闭式解的子问题,并在适当条件下证明了该算法的全局收敛性;最后,通过数值实验验证了该算法的可行性和有效性。

拉格朗日乘子法的数学解释

本文简单回顾拉格朗日乘子法的产生的历史背景,并为其提供了一种新的数学解释.我们指出,拉格朗日乘子法将为求点到平面距离问题推广到了非线性规划求解问题.

基于多分块交替方向乘子法的蜂巢状配电网分布式优化调度

蜂巢状有源配电网是一种通过规模化链接微网群,实现大规模分布式可再生能源高效接入的新型配网形态。针对蜂巢状配电网中微网群与互联基站协调运行机制复杂的难题,提出一种以系统运行成本最小为目标,基于多分块交替方向乘子法(block-wise alternating direction method of multipliers,BADMM)的分布式优化调度策略,有效克服了多基站与多微网之间协调运行的挑战。首先根据拓扑结构建立蜂巢状配电网的优化数学模型,然后以智能功率/信息交换基站为中心将蜂巢状配电网划分为多个区域,每个基站协调同步计算与其相邻微网的优化问题。最后通过算例验证了所提策略的有效性和收敛性,为大规模微网群的经济优化调度提供了参考。

广义乘子法求解构造变分问题的神经网络方法

边界条件的施加是求解偏微分方程定解问题的重要步骤。神经网络方法求解偏微分方程定解问题时,将原问题转化为对应的构造变分问题后,损失函数是包含控制方程与边界条件的泛函。采用经典罚函数法及其改进方法施加边界条件时,罚因子的取值直接影响计算精度和求解效率;直接采用Lagrange乘子法施加边界条件,计算结果可能偏离原问题最优解。为破解此局限性,使用广义乘子法施加边界条件。基于神经网络获得原问题的预测解,再使用广义乘子法构建神经网络的损失函数并计算损失值,利用梯度下降法进行参数寻优,判断损失值是否满足要求;不满足则更新罚因子与乘子后再进行求解直至损失满足要求。数值算例的计算结果表明:与采用经典罚函数法、L1精确罚函数法和Lagrange乘子法施加边界条件构造的神经网络相比,该文提出的方法具有更好的数值精度和更高的求解效率,且求解过程更加稳定。

基于改进交替方向乘子法的输配电网分散协调鲁棒优化调度模型

随着分布式可再生能源大量接入主动配电网,输配电网间的耦合日益密切,由此面临的可再生能源出力不确定性和集中式调度带来的海量通讯等问题,使得输配电网的协调调度迎来巨大挑战。在考虑电力低碳化发展要求的基础上,计及碳捕集电厂低碳与调峰特性,提出基于改进交替方向乘子法的输配电网分散协调两阶段鲁棒优化调度模型。首先,采用凸多面体不确定集合描述风电出力的不确定性,构造含碳捕集电厂的输配协同两阶段鲁棒优化调度模型。进而,通过基于交替方向乘子法,并嵌套列和约束生成算法的循环迭代方法,对输配电网进行解耦和迭代求解。最后,在2个规模不同的算例系统上进行仿真分析。结果表明,所提方法在降低计算规模的同时提高了求解效率,实现了输配电网的完全分散自治,有效缓解了可再生能源并网带来的调峰压力。

应用于异常事件检测的深度交替方向乘子法网络

针对大规模无线传感器网络(WSN)中的事件检测问题(EDP),传统的方法通常依赖先验信息,阻碍了实际应用。该文为EDP提出了一种基于深度学习的算法,称为交替方向乘子法网络(ADMM-Net)。首先,采用低秩稀疏矩阵分解来建模事件的时空相关性。之后,EDP被表述为一个带约束的优化问题并用交替方向乘子法(ADMM)求解。然而,优化算法收敛慢且算法的性能依赖于对先验参数的仔细选择。该文基于深度学习中“展开”的概念,提出了一种用于EDP的深度神经网络ADMM-Net。通过“展开”ADMM算法的方式得到。ADMM-Net具有固定层数,其参数可以通过监督学习训练获得。无需先验信息。相比于传统算法,提出的ADMM-Net收敛快且不需先验信息。人造数据集和真实数据集的仿真结果验证了ADMM-Net的有效性。

基于交替方向乘子法的单天线ADS-B信号分离

广播式自动相关监视(automatic dependent surveillance-broadcast,ADS-B)系统是一种针对空中交通管理的监视系统。然而,由于ADS-B信号传输的随机性不可避免地导致多个ADS-B信号之间的重叠。传统的单天线Capon算法由于频率估计误差导致算法性能下降,针对以上问题提出了一种非频率估计的ADS-B信号分离算法。首先,基于矩阵重构,将单天线ADS-B信号分离问题重新表述成一个与Capon算法类似,但是约束条件完全不同的非凸优化问题。然后,针对该非凸优化问题,使用了交替方向乘子法求解了该非凸优化问题。仿真结果表明,当非重叠的数据的长度大于1μs时,提出的算法就能有效地分离出重叠的单天线ADS-B信号。此外,即使在Capon算法已知重叠信号的频率精确而所提算法未知的情况下,所提算法的性能也优于Capon算法。

曲率障碍下四阶变分不等式的交替方向乘子法

对于重调和算子和曲率障碍表示的变分不等式,提出了自适应交替方向乘子数值解法(SADMM).对问题引入一个辅助变量表示曲率函数的增广Lagrange函数,导出一个约束极小值问题,并且该问题等价于一个鞍点问题.然后采用交替方向乘子法(ADMM)求解这个鞍点问题.通过采用平衡原理和迭代函数,得到了自动调整罚参数的自适应法则,从而提高了计算效率.证明了该方法的收敛性,并给出了利用迭代函数近似罚参数的具体方法.最后,用数值计算结果验证了该方法的有效性.

基于交替方向乘子法的园区电-氢-热系统低碳优化调度

针对园区电-氢-热低碳能源系统分布与集中交互优化调度问题,提出一种基于交替方向乘子法(ADMM)的园区电-氢-热能源双层能量低碳优化调度方法。通过将分布式(屋顶光伏、园区建筑电、热负荷)与集中式(电池储能、氢储能、电蓄热)能源相结合,上层基于ADMM求解园区内各建筑可用于共享的交互能量值,下层以园区能源系统运行总成本最小为目标,利用上层求取的建筑交互能量及各建筑剩余功率,基于混合整数规划求解各建筑间交互能量及园区内各集中式能源设备最优出力,实现多主体能源点对点能量精准最优交互。最后,通过吉林市某低碳产业园能源架构进行算例分析,验证了所提低碳优化调度方法的有效性。

无摩擦弹性接触问题的自适应交替方向乘子法

对一类无摩擦的弹性接触问题,得到了求其数值解的自适应交替方向乘子法.由该问题导出相应的变分问题,引入辅助变量将原问题转化为一个基于增广Lagrange函数表示的鞍点问题,并采用交替方向乘子法求解;为了提高算法性能,提出了利用边界迭代函数自动选取合适罚参数的自适应法则.该算法的优点是每次迭代只需计算一个线性变分问题,同时显式计算了辅助变量和Lagrange乘子.对算法的收敛性进行了理论分析,最后用数值结果验证了该算法的可行性和有效性.

拉格朗日乘子法几何意义的教学设计

本文应用图形法直观求解二元函数条件极值,介绍了拉格朗日乘子法的几何解释,并通过具体的算例,阐明了拉格朗日乘子的经济学意义.

非凸两分块优化问题的一类惯性对称正则化交替方向乘子法

交替方向乘子法(ADMM)是一个求解可分离凸优化问题的的有效方法,然而,当目标函数存在非凸函数时,ADMM或许不收敛。本文提出一类带线性等式约束的非凸两分块优化问题的惯性对称正则化交替方向乘子法。在适当的假设条件下,建立了算法的全局收敛性。其次,在效益函数满足Kurdyka-?ojasiewicz(KL)性质时,建立了算法的强收敛性。最后,对算法进行了数值实验,结果说明算法是一种有效的方法。

基于交替方向乘子法的Capon层析SAR成像方法

合成孔径雷达(Sythetic Aperture Radar,SAR)层析成像(TomoSAR)是一种多基线干涉测量技术,可沿垂直于视线(Perpendicular to the Line-Of-Sight,PLOS)方向估计功率谱图(Power Spectrum Pattern,PSP)即后向散射系数,从而实现三维成像。本文提出一种改进的波束形成优化算法,在双约束鲁棒Capon波束形成算法(Doubly Constrained Robust Capon Beamforming,DCRCB)的基础上,结合L1范数的约束函数,构建交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)的代价函数,将DCRCB恢复的后向散射系数进行进一步稀疏优化,实现层析SAR的三维成像。ADMM算法以增广拉格朗日算法为基础,将较为复杂的全局求解问题转换为两个或多个更易求解的简单局部子问题。ADMM算法在迭代中,各子问题可分别完成稀疏重构和降噪运算,被分离的局部子问题代数式都较为简单,均能较容易地求出确定的解,且不必对其进行收敛运算与约束操作。因此,ADMM算法具有重建精度高的优势。本文采用2021年中国科学院空天信息创新研究院发布的山西运城地区的8通道机载阵列干涉SAR数据进行了实验验证,实验结果验证了算法的有效性。

一种自适应选取步长的随机交替方向乘子法

本文研究了具有可分离变量的凸随机优化问题,提出了一种新的随机交替方向乘子(ADMM)算法。该算法是ADMM与自适应选取步长的随机缩减梯度算法(SVRG-BB)的结合,利用BB步长实现了SVRG-ADMM方法自适应选取步长,而无需再使用递减步长或者手动调节步长。在一般的假设条件下,证明了算法的收敛性。 最后给出相关数值实验表明了算法的有效性。

基于拉格朗日乘子法的虚假数据攻击策略

虚假数据攻击面临掌握的电气参数存在误差,甚至不完整及量测数据中存在不良数据的问题,提出一种基于拉格朗日乘子法的虚假数据攻击策略。首先通过拉格朗日乘子法和增广状态估计法辨识不良数据和估计未知支路电抗,然后在凸松弛技术框架内,将传统的攻击单个量测点的次优虚假数据攻击向量模型转化为基追踪(BP)模型,最后采用交替方向乘子法(ADMM)快速求解次优攻击向量。以典型的IEEE节点测试系统为例进行仿真测试,仿真结果表明:与传统的线性规划算法相比,将攻击单个量测点的次优攻击向量模型转化为BP模型后,采用ADMM求解次优攻击向量具有更高的计算效率;电抗未知支路数量较少时,攻击成功率较高,但是状态变量的误差向量的标准差较小时,电抗未知支路数量对攻击成功率影响减弱;该方法不会显著增加攻击成本。

压缩感知中基于快速交替方向乘子法的l_0-正则化信号重构

该文将压缩感知(CS)中信号的重构问题归结为求解l0-正则化问题,针对l0-正则化问题求解比较困难,提出了快速交替方向乘子法(FADMM)。该算法首先将信号的稀疏域的l0-正则化问题通过变量分裂技术转化为约束优化问题;然后引入乘子函数,采用一步Gauss-Seidel思想,对优化问题中的变量极小化;为了加快算法的收敛速度,对变量进行了二次更新,并更新了乘子;最后进行反正交变换,实现对原始信号的重构。将FADMM应用于含噪声图像的重构,进行了仿真实验及对实验结果进行了分析。实验结果表明:FADMM具有更高的峰值信噪比(Peak Signal to Noise Ratio,PSNR)和更快速的收敛速度。