基于SCAD正则最小一乘回归问题研究

针对损失函数为最小一乘,惩罚项由基数函数定义的稀疏回归问题,用SCAD(smoothly clipped absolute deviation)罚来连续逼近基数罚,得到一个连续的松弛问题,研究SCAD罚问题与原基数罚问题之间解的等价性。首先,证明了SCAD罚松弛模型的下界性质,并借助此下界性质分析了原问题与松弛问题之间解的等价性,证明了在一定条件下两个问题具有相同的全局最优解以及最优值。此外,证明了松弛模型的局部最优解是原问题的局部最优解并且在局部极小值点处松弛模型与原问题的目标值相等。

基于MCP正则的最小一乘回归问题研究

针对损失函数为最小一乘函数的回归问题,研究其基数罚问题与MCP (minimax concave penalty)松弛问题之间解的关系.首先,证明了 MCP罚松弛模型解的下界性质,以此为基础分析了基数罚问题与松弛问题之间解的等价性,证明了在一定条件下两个问题具有相同的全局最优解以及最优值,此外,还证明了松弛模型的局部最优解是基数罚问题的局部最优解,在局部极小值点处松弛模型与基数罚问题的最优值是相等的.文章结果为求解稀疏最小一乘回归问题提供了理论依据和可行途径.