MCP正则组稀疏问题的稳定点分析

本文考虑无约束组稀疏回归问题,其损失函数为凸函数,正则项为MCP(minimax concave penalty),主要刻画该问题的两类稳定点。首先,给出d-稳定点以及critical点的具体刻画,并且证明了这两类稳定点的关系;其次,分析d-稳定点与问题局部解的关系;最后,证明了该模型的下界性质。

基于梯度扰动和BB步长的迭代收缩阈值差分隐私算法

本文研究隐私保护下带有非凸正则的经验风险极小化问题,其中损失函数是凸函数,正则项 为MCP函数。提出了基于梯度扰动和Barzilar-Borwein (BB)步长的迭代收缩阈值差分隐私算法(ISTDP)。 首先,基于算法每次迭代均对梯度添加高斯噪声,证明了该算法具有差分隐私保护性质。 其次,基于以BB步长做试探步进行线搜索的迭代收缩阁值算法,证明了该算法可以收敛于任意给定的精度。因此,ISTDP算法是一种可以满足隐私保护要求的机器学习优化算法。