一种求解截断L1正则化项问题的坐标下降算法

L1正则化在稀疏学习的研究中起关键作用,使用截断L1正则化项往往可以获得更好的准确率,但却导致了非凸优化问题.目前,主要采用多阶段凸松弛(multi-stage convex relaxation,MSCR)算法进行求解,由于每一阶段都需要求解一个凸优化问题,计算代价较大.为了弥补上述不足,提出了一种求解截断L1正则化项非凸学习问题的坐标下降算法(Non-convex CD).该算法只需在多阶段凸松弛算法的每一阶段执行单步的坐标下降算法,有效降低了计算复杂性.理论分析表明所提出的算法是收敛的.针对Lasso问题,在大规模真实数据库作了实验,实验结果表明,Non-convex CD在取得和MSCR几乎相同准确率的基础上,求解的CPU时间甚至优于求解凸问题的坐标下降方法.为了进一步说明所提算法的性能,进一步研究了Non-convex CD在图像去模糊化中的应用问题.

基于新冗余度的特征选择方法

现有过滤式特征选择模型采用贪心策略结合互信息评价特征子集,容易陷入局部最优陷阱.考虑标签信息对冗余度的影响,利用一种改进的MIFS-U方法在给定标签的条件下衡量冗余度,采用基于分解的多目标优化框架结合引入多项式突变的差分进化算子进行全局搜索,避免搜索陷入局部最优.引入l 1正则化项来保证特征子集的稀疏性,并提出了新的特征选择算法MOEA/D-DEFS.实验阶段使用knn-5分类器来验证学习效果,并在多组来自不同领域的数据集上进行测试.结果表明,将特征选择视为多目标问题采用全局搜索策略搜索可以在特征子集维度和分类准确性方面提供更好的性能.