求解稀疏逻辑回归问题的嵌套BB算法的分裂增广拉格朗日算法

逻辑回归是经典的分类方法,广泛应用于数据挖掘、机器学习和计算机视觉.现研究带有程。模约束的逻辑回归问题.这类问题广泛用于分类问题中的特征提取,且一般是NP-难的.为了求解这类问题,提出了嵌套BB(Barzilai and Borwein)算法的分裂增广拉格朗日算法(SALM-BB).该算法在迭代中交替地求解一个无约束凸优化问题和一个带程。模约束的二次优化问题.然后借助BB算法求解无约束凸优化问题.通过简单的等价变形直接得到带程。模约束二次优化问题的精确解,并且给出了算法的收敛性定理.最后通过数值实验来测试SALM-BB算法对稀疏逻辑回归问题的计算精确性.数据来源包括真实的UCI数据和模拟数据.数值实验表明,相对于一阶算法SLEP,SALM-BB能够得到更低的平均逻辑损失和错分率.

自由支配集下近似平衡约束向量优化问题的稳定性研究

在自由支配集下,对一类近似平衡约束向量优化问题(AOPVF)的稳定性进行研究.首先,在较弱的凸性假设下获得了约束集映射的Berge-半连续性和约束集的闭性、凸性和紧性结果.然后,在目标函数列Gamma-收敛的假设下,分别得到了AOPVF弱有效解映射Berge-半连续和弱有效解集下Painlevé-Kuratowski收敛的充分条件,并给出例子说明结论是新颖和有意义的.

一类充分下降的混合CD-LS共轭梯度法

为了结合共轭下降(conjugate descent,CD)法良好的理论性质和Liu-Storey(LS)法较好的数值效果,以降低小步长对迭代的不良影响,以及使搜索方向的下降性独立于线搜索的选择。通过混合CD法和LS法的分子,对梯度函数进行了相应的修正。方向的充分下降性独立于线搜索的选取,可应用于多种线搜索;基于Wolfe线搜索,证明了算法的全局收敛性。42类无约束测试函数和图像去噪的结果表明,基于相同的终止条件所提出的算法的迭代次数和迭代时间均少于之前的3类共轭梯度算法。