基于L_p正则化的自适应稀疏group lasso研究

基于稀疏group lasso的思想和adaptive lasso的优点,提出更具一般性的Lp正则化的自适应稀疏group lasso,并对其高维统计性质进行了研究.通过对正则子、损失函数的性质和正则参数的选择的分析,最终得到基于Lp正则化的自适应稀疏group lasso非渐近误差界估计.

一种自适应稀疏Group Lasso分位数回归估计

稀疏惩罚分位数回归是高维数据分析中进行变量选择和稳健估计的重要工具。对于具有分组解释变量的问题,期望达到组内和组间稀疏的理想效果,但是许多现有方法未能实现这一目标。文章将自适应Lasso和自适应Group Lasso相结合,构建了一种自适应稀疏Group Lasso惩罚分位数回归(Q-AdSGL)模型,给出了基于ADMM算法的模型求解方法,并讨论了估计量的Oracle性质。通过Monte Carlo模拟研究和实例分析证明了所提模型和算法的有效性。

基于稀疏Group Lasso惩罚的分位数回归

在高维数据分析中,惩罚分位数回归是进行变量选择和参数估计的有效方法.在实际应用中,变量常以分组形式呈现,为同时实现组间稀疏性和组内稀疏性,本文研究了带稀疏Group Lasso惩罚的分位数回归模型.为解决目标函数的非光滑性带来的计算挑战,利用分位数Huber函数近似分位数损失函数,得到稀疏Group Lasso惩罚分位数Huber回归模型(SGLQHR).基于Groupwise Majorization Descent(GMD)算法提出了一种快速、有效算法求解该模型,并建立算法收敛性.数值实验和实例分析验证了该算法的有效性.

基于两种非凸惩罚函数的稀疏组变量选择

利用正则化方法来进行变量选择是近年来研究的热点.在实际应用中解释变量常常以组的形式存在,通常我们希望将重要的组和组内重要的协变量选择出来,即双重变量选择.基于两种非凸惩罚函数SCAD和MCP,分别提出了稀疏Group SCAD和稀疏Group MCP估计方法,通过分块坐标下降迭代算法,达到组内和组间变量同时稀疏的效果.数值模拟结果表明本文提出的两种方法在模型预测和变量选择能力上优于Group Lasso和稀疏Group Lasso算法.并将该算法有效地应用于实际的初生儿体重数据集分析中.

基于惩罚方法的贝叶斯群组变量选择

本文针对既选择组水平变量又选择组内单个变量这两种情况下的变量选择惩罚方法,从贝叶斯的角度进行分析,指出其能被表示为一个最大后验估计.之后,给出贝叶斯框架下的两种群组变量选择惩罚方法的层次模型表达形式,并给出参数估计适于Gibbs抽样的满条件分布.最后,通过模拟比较得出结论:分别用BGL、BSGL模型进行组变量选择和双层变量选择是可行的,但得到的模型在验证集上的预测误差较大.