Logistic回归的ArctanLASSO惩罚似然估计及应用

Logistic回归是计量经济学中应用最广的离散选择模型。当变量个数较多时,极大似然估计解释性较差,为此本文基于新的惩罚函数ArctanLASSO,给出Logistic回归的一种非凸惩罚似然估计进行参数估计和变量选取,并证明了估计量的n^(1/2)相合性和Oracle性质。本文结合二阶近似处理、LLA方法和梯度下降法给出估计算法,并通过最小化BIC准则对正则化参数进行选取。模拟数据分析显示,当样本量较大时,该方法在参数估计和变量选取两个方面都优于传统的LASSO、SCAD和MCP方法,样本量较小时,该方法同样具有很大优势。实际数据分析表明,该方法很好地权衡了拟合程度和非零系数的选择,是最优的备选模型,具有重要的实际意义。

基于ArctanLASSO的参数估计和变量选取

本文受到SICA(smooth integration of counting and absolute deviation)方法的启发,提出一族基于反正切函数的非凸罚函数Arctan LASSO(Arctangent least absolute shrinkage and selection operator),该罚函数可以进行参数估计和变量选取,而且提供了一种有效的平滑方法从L_0过渡到L_1罚函数,渐近性质表明Arctan LASSO估计量具有n^(1/2)相合性和oracle性质.本文结合LLA(local linear approximation)和坐标下降法给出一种有效的迭代算法,并且基于BIC(Bayesian information criterion)准则选出合适的正则化参数.模拟数据分析显示Arctan LASSO在估计精度和变量选取方面有较好的表现,估计效果类似于SICA,而且通常优于LASSO、SCAD(smoothly clipped absolute deviation)、MCP(minimax concave penalty)和自适应LASSO.该方法在实际数据中可以用于变量选取的研究,具有重要的实际意义.