约束非光滑凸优化问题的光滑加速算法

本文考虑一类在信号处理、图像恢复和机器学习等多项科学和工程领域中具有广泛应用的约束非光滑凸优化问题.近年来,理论研究和数值实验均验证了外插项可有效提高算法的收敛速率,带有外插的临近梯度算法在求解大规模优化问题中有显著优势.因此,本文利用光滑化技巧,结合Beck和Teboulle提出的快速迭代收缩阈值算法,对一类非光滑凸优化问题提出新的加速算法,证明算法的任意聚点都是优化问题的最优解.在算法分析中,考虑光滑参数的不同更新准则,给出目标函数值O(ln k/k)的全局收敛速率,并证明迭代序列的变化趋势limk→+∞‖x^k+1-x^k‖=0.最后,通过数值实验展示本文提出的算法对两类稀疏优化问题的良好求解能力和外插项对算法收敛速率的正面影响.

基于BB步长的近端随机递归动量算法

研究了一个求解非凸非光滑复合优化问题的算法。首先,结合近端随机递归动量算法和改进的BB步长,提出了一种带BB步长的随机方差缩减算法(ProxSTORM-BB)求解非凸非光滑复合优化问题。该算法在迭代过程中通过动态调节步长来提高算法的计算效率,并且对初始步长的选取不敏感,解决了参数调优比较困难这一问题。然后,在合适的假设条件下证明了算法的收敛性。最后,通过数值实验验证了算法的有效性。