一种求解结构组合优化问题的BB型算法

提出了一种求解一类非光滑复合凸优化问题的BB型算法,结合非单调线搜索技术和合适的BB步长,在适当的条件下,证明了所提出算法的收敛性。通过数值实验与现有的算法进行比较,证明了所提出的算法相比已有的算法,运行的CPU时间更短、迭代次数更少、数值性能上更优。

一类保证充分下降性的YT型共轭梯度算法

基于施密特正交化与YT型共轭条件,给出一类修正的YT型共轭梯度算法。新算法的一个重要特性是产生的方向总是满足充分下降条件,且不依赖于任何线搜索。当使用精确线搜索时和合适的参数下,新算法退化为标准的HS方法。在一定条件下,作者证明算法在标准Wolfe线搜索条件下对于一致凸函数与一般函数具有全局收敛性。数值结果表明新算法具有优良的数值性能。

求解大规模非线性方程组的一种无导数共轭梯度法

提出求解大规模非线性方程组的一种无导数共轭梯度法.算法的优点是计算中完全不需要用到方程组的雅可比矩阵.在适当的条件下,证明算法具有全局收敛性.

求解非凸正则化问题的L-BFGS算法

该文提出一种求解大规模l_(1)、平滑剪切绝对偏差(SCAD)和极小极大凹罚(MCP)问题的有限内存拟牛顿方法(L-BFGS)算法.算法在积极集集合上的搜索方向与文献[1]的方向相同,在自由空间集合上使用了有限内存L-BFGS的搜索方向.在适当的条件下,证明了使用非单调技术的算法是全局收敛的.数值实验证明所提出的算法是有效的.

基于混合非单调下降条件的直接搜索方法

基于混合非单调下降条件提出了一种网格步长的更新策略.这种策略要求发现强最小网格单元框时网格步长快速下降,而发现其他拟最小网格单元框时缓慢下降.这种混合非单调下降策略可以避免网格步长下降太快,又能够比单纯非单调下降条件更好地保证直接搜索算法的收敛性.基于这一策略,本文提出一个直接搜索算法,并证明了该算法的全局收敛性.数值试验表明,本文提出的算法是很有竞争力的直接搜索算法.

求解大规模l1问题的L-BFGS算法

本文提出一种求解大规模l1问题的L-BFGS算法.在积极集集合上算法的搜索方向与临界阙值算法[7,9]的方向相同,自由空间集合上使用了L-BFGS的搜索方向.在适当的条件下,我们证明了使用非单调技术的算法是全局收敛的.数值实验证明所提出的算法是有效的.

一种改进的积极集共轭梯度法

共轭梯度法是一种被广泛应用于求解无约束大规模最优化问题的方法,其具有内存需求低、迭代简单的特点.而积极集识别技术具有准确识别最优解附近的零分量的强大能力.为了求解压缩感知、信号和图像处理等领域常见的l_(2)-l_(1)问题,提出了一种基于积极集识别技术和两项下降PRP(Polak-Ribiére-Polyak)方法的积极集共轭梯度方法.在每次迭代中,先利用积极集识别技术区分自由变量和积极变量;然后,使用两项下降的PRP方法更新自由变量,同时用d^(k)=-x^(k)和基于梯度的方法更新积极变量.在适当条件下,新算法被证明了具有全局收敛性.在随机产生的数据上进行实验,实验结果表明,相比部分现有的算法,所提方法具有一定的竞争力.

求解l_(1)问题的积极集临近牛顿算法

本文提出一种基于积极集识别技术的临近牛顿算法用以求解l_(1)问题.该方法的一个优势在于利用了ISTA算法良好的支集辨认性质去确定自由变量和积极集变量,另一个优势在于利用了部分Hessian矩阵的信息去更新自由变量。在适当的条件下,我们证明了所提出的算法在使用非单调线搜索策略情况下是全局收敛的.数值实验证明提出的算法是有效的.