一类零模正则复合优化问题的多阶段凸松弛法

本文从零模函数的变分刻画入手,将这类带有组合性质的优化问题等价转化为具有拟双线性结构且全局Lipshitz连续的优化模型,以此设计了求解零模正则化复合优化问题的多阶段凸松弛方法,并对该方法进行了收敛性分析。

一个新的零模非凸代理函数及其应用研究

基于带平滑削边绝对偏离(Smoothly Clipped Absolute Deviation,SCAD)函数和弹性网络(Elastic Net)函数,提出了一个零模非凸代理函数(EN-SCAD函数),该代理函数是弹性网络函数与一个连续可微凸函数的差,因此是一个凸差(Difference of Convex,DC)函数;然后,将EN-SCAD函数应用于稀疏线性回归问题,建立了EN-SCAD非凸代理模型,在适当的限制强凸条件下得到该模型的稳定点与真实稀疏向量之间的统计误差界;其次,根据EN-SCAD非凸代理模型设计了一个多阶段凸松弛算法,并得到了该算法产生的迭代点列与真实稀疏向量之间的统计误差界;最后,将基于EN-SCAD非凸代理模型设计的算法与自适应弹性网络凸松弛方法的数值效果进行比较,数值实验结果表明:当采样矩阵的列向量具有强相关性时,基于EN-SCAD非凸代理模型的算法产生的估计误差小于自适应弹性网络凸松弛方法产生的估计误差。

一种求解截断L1正则化项问题的坐标下降算法

L1正则化在稀疏学习的研究中起关键作用,使用截断L1正则化项往往可以获得更好的准确率,但却导致了非凸优化问题.目前,主要采用多阶段凸松弛(multi-stage convex relaxation,MSCR)算法进行求解,由于每一阶段都需要求解一个凸优化问题,计算代价较大.为了弥补上述不足,提出了一种求解截断L1正则化项非凸学习问题的坐标下降算法(Non-convex CD).该算法只需在多阶段凸松弛算法的每一阶段执行单步的坐标下降算法,有效降低了计算复杂性.理论分析表明所提出的算法是收敛的.针对Lasso问题,在大规模真实数据库作了实验,实验结果表明,Non-convex CD在取得和MSCR几乎相同准确率的基础上,求解的CPU时间甚至优于求解凸问题的坐标下降方法.为了进一步说明所提算法的性能,进一步研究了Non-convex CD在图像去模糊化中的应用问题.

关于零模正则化逻辑回归问题的研究

逻辑回归是一种著名的分类方法,已经广泛应用于文档分类、数据挖掘、机器学习、计算机视觉和生物信息学等领域。但是在训练样本数有限且特征过多的情况下,逻辑回归很容易出现过拟合,正则化正是用来减少过拟合以获得一个具有鲁棒性的分类器。近来,更多的人对零模正则化逻辑回归问题感兴趣。这是由于在高维数据中,零模正则化被看作一种有效的策略来获得一个稀疏模型,它可以同时进行特征选择和分类。零模正则化在统计、机器学习、信号与图像处理、稀疏模型选择和误差修正、金融工程及量子计算等领域中有着广泛的应用。设计求解这类优化问题的有效快速算法在近几年成为了国内外优化领域中的热点。