针对结构化的非凸非光滑优化问题,提出了一种改进的惯性近端交替方向乘子法(Modified Inertial Proximal Alternating Direction Method of Multipliers, MID-PADMM)。该问题在多个领域,包括机器学习、信号处理和经济学中具有重要应用...针对结构化的非凸非光滑优化问题,提出了一种改进的惯性近端交替方向乘子法(Modified Inertial Proximal Alternating Direction Method of Multipliers, MID-PADMM)。该问题在多个领域,包括机器学习、信号处理和经济学中具有重要应用。现有算法在处理这类问题时,往往面临收敛速度慢或无法保证收敛的挑战。为了克服这些限制,引入了一种双重松弛项,以增强算法的鲁棒性和灵活性。理论分析表明,MID-PADMM算法在适当的条件下能够实现全局收敛,并且具有O(1/k)的迭代复杂度,其中k代表迭代次数。数值实验结果表明,与现有的状态最优算法相比,MID-PADMM在多个实例中展现出更快的收敛速度和更高的求解质量。展开更多
为解决交替方向乘子法(alternating direction method of multipliers,ADMM)正则化极限学习机(regularized extreme learning machine,RELM)迭代收敛速度慢和迭代后期误差衰减停滞的问题,提出一种基于动态步长ADMM的正则化极限学习机,记...为解决交替方向乘子法(alternating direction method of multipliers,ADMM)正则化极限学习机(regularized extreme learning machine,RELM)迭代收敛速度慢和迭代后期误差衰减停滞的问题,提出一种基于动态步长ADMM的正则化极限学习机,记为VAR-ADMM-RELM.该算法在ADMM算法的基础上采用动态衰减步长进行迭代,并同时使用L1和L2正则化对模型复杂度进行约束,解得具有稀疏性和鲁棒性的极限学习机输出权重.在UCI和MedMNIST数据集中对VAR-ADMM-RELM、极限学习机(extreme learning machine,ELM)、正则化极限学习机(regularized ELM,RELM)和基于ADMM的L1正则化ELM(ADMMRELM)进行拟合、分类和回归对比实验.结果表明,VAR-ADMM-RELM算法的平均分类准确率和平均回归预测精度分别比ELM算法提升了1.94%和2.49%,较标准ADMM算法可以取得3~5倍的速度提升,且对异常值干扰具有更好的鲁棒性和泛化能力,在高维度多样本的场景下建模效率逼近标准极限学习机.该方法有效提升了ADMM算法的收敛速度,取得了比主流ELM算法更加优秀的性能表现.展开更多
传统的无网格压缩感知在进行波达方向(Direction of Arrival,DOA)估计时,使用凸优化工具箱(如CVX)来求解半正定规划问题(Semi-Definite Programming,SDP),所消耗的时间会随着矢量水听器阵列规模的增加,逐渐增大。为了提高算法的收敛速度...传统的无网格压缩感知在进行波达方向(Direction of Arrival,DOA)估计时,使用凸优化工具箱(如CVX)来求解半正定规划问题(Semi-Definite Programming,SDP),所消耗的时间会随着矢量水听器阵列规模的增加,逐渐增大。为了提高算法的收敛速度,将交替方向乘子法(Alternative Direction Method of Multiplier,ADMM)应用到矢量水听器阵列的DOA估计中,考虑到海洋环境噪声,使用原子范数去噪方法(Atomic Norm Soft Thresholding,AST)来估计线谱参数,将原子范数最小化问题(Atomic Norm Minimization,ANM)转化为SDP问题,使用ADMM对SDP问题进行求解,最后使用对偶多项式估计角度。为了验证ADMM算法的性能,在不同信噪比和矢量阵元数条件下,与快速求根多重信号分类(Root-Multiple Signal Classification,ROOTMUSIC)算法和CVX进行对比仿真实验。结果表明,ADMM在保证DOA估计模型收敛性的同时,提高了算法效率。展开更多
设H_(1),H_(2),H_(3)为无穷维复可分Hilbert空间,对给定关系A∈BR(H_(1)),B∈BR(H_(2)),C∈BR(H_(3)),记M_(D,E,F)={A D E O B F O O C}∈BR(H_(1)■H_(2)■H_(3),给出了存在满足D(0)■A(0),E(0)■A(0),F(0)■B(0)的D∈BR(H_(2),H_(1)),...设H_(1),H_(2),H_(3)为无穷维复可分Hilbert空间,对给定关系A∈BR(H_(1)),B∈BR(H_(2)),C∈BR(H_(3)),记M_(D,E,F)={A D E O B F O O C}∈BR(H_(1)■H_(2)■H_(3),给出了存在满足D(0)■A(0),E(0)■A(0),F(0)■B(0)的D∈BR(H_(2),H_(1)),E∈BR(H_(3),H_(1)),F∈BR(H_(3),H_(2))使得M_(D,E,F)为Fredholm关系和Weyl关系的充分必要条件。展开更多
空间正则化相关滤波算法跟踪过程中仅采用手工特征表征目标,高斯-赛德尔方法训练滤波器的复杂度高,跟踪结果不可靠时仍逐帧更新模型,导致跟踪效果不佳。针对空间正则化相关滤波算法存在的问题,提出深度特征目标感知交替方向乘子法(Alter...空间正则化相关滤波算法跟踪过程中仅采用手工特征表征目标,高斯-赛德尔方法训练滤波器的复杂度高,跟踪结果不可靠时仍逐帧更新模型,导致跟踪效果不佳。针对空间正则化相关滤波算法存在的问题,提出深度特征目标感知交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)优化多指标更新相关滤波跟踪算法。该算法融入预训练网络提取的深度特征,并依回归损失的梯度信息进行通道选择,增强了对目标的表征能力;采用交替方向乘子法训练相关滤波器,降低算法复杂度,提升跟踪速度;根据多指标更新方法判断是否进行模型更新,不但提升了算法运行效率,而且避免了因学习到错误信息而导致的模型腐败。实验结果表明,所提算法的成功率、精确度在数据集OTB2015上均优于其它8种对比算法,且在复杂场景下具有更强的跟踪鲁棒性。展开更多
文摘针对结构化的非凸非光滑优化问题,提出了一种改进的惯性近端交替方向乘子法(Modified Inertial Proximal Alternating Direction Method of Multipliers, MID-PADMM)。该问题在多个领域,包括机器学习、信号处理和经济学中具有重要应用。现有算法在处理这类问题时,往往面临收敛速度慢或无法保证收敛的挑战。为了克服这些限制,引入了一种双重松弛项,以增强算法的鲁棒性和灵活性。理论分析表明,MID-PADMM算法在适当的条件下能够实现全局收敛,并且具有O(1/k)的迭代复杂度,其中k代表迭代次数。数值实验结果表明,与现有的状态最优算法相比,MID-PADMM在多个实例中展现出更快的收敛速度和更高的求解质量。
文摘传统的无网格压缩感知在进行波达方向(Direction of Arrival,DOA)估计时,使用凸优化工具箱(如CVX)来求解半正定规划问题(Semi-Definite Programming,SDP),所消耗的时间会随着矢量水听器阵列规模的增加,逐渐增大。为了提高算法的收敛速度,将交替方向乘子法(Alternative Direction Method of Multiplier,ADMM)应用到矢量水听器阵列的DOA估计中,考虑到海洋环境噪声,使用原子范数去噪方法(Atomic Norm Soft Thresholding,AST)来估计线谱参数,将原子范数最小化问题(Atomic Norm Minimization,ANM)转化为SDP问题,使用ADMM对SDP问题进行求解,最后使用对偶多项式估计角度。为了验证ADMM算法的性能,在不同信噪比和矢量阵元数条件下,与快速求根多重信号分类(Root-Multiple Signal Classification,ROOTMUSIC)算法和CVX进行对比仿真实验。结果表明,ADMM在保证DOA估计模型收敛性的同时,提高了算法效率。
文摘设H_(1),H_(2),H_(3)为无穷维复可分Hilbert空间,对给定关系A∈BR(H_(1)),B∈BR(H_(2)),C∈BR(H_(3)),记M_(D,E,F)={A D E O B F O O C}∈BR(H_(1)■H_(2)■H_(3),给出了存在满足D(0)■A(0),E(0)■A(0),F(0)■B(0)的D∈BR(H_(2),H_(1)),E∈BR(H_(3),H_(1)),F∈BR(H_(3),H_(2))使得M_(D,E,F)为Fredholm关系和Weyl关系的充分必要条件。
文摘空间正则化相关滤波算法跟踪过程中仅采用手工特征表征目标,高斯-赛德尔方法训练滤波器的复杂度高,跟踪结果不可靠时仍逐帧更新模型,导致跟踪效果不佳。针对空间正则化相关滤波算法存在的问题,提出深度特征目标感知交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)优化多指标更新相关滤波跟踪算法。该算法融入预训练网络提取的深度特征,并依回归损失的梯度信息进行通道选择,增强了对目标的表征能力;采用交替方向乘子法训练相关滤波器,降低算法复杂度,提升跟踪速度;根据多指标更新方法判断是否进行模型更新,不但提升了算法运行效率,而且避免了因学习到错误信息而导致的模型腐败。实验结果表明,所提算法的成功率、精确度在数据集OTB2015上均优于其它8种对比算法,且在复杂场景下具有更强的跟踪鲁棒性。