基于最小距离法的稳健群组变量选择

在研究存在异常值的logistic回归模型时,发现如果使用极大似然估计(MLE)方法进行参数估计,那么异常值引起的偏差不是造成参数估计过大而是导致参数向量内爆即参数向量收缩为零向量,此时如果进行群组变量选择很可能会忽略一些重要变量.因此针对具有组结构的logistic回归模型,为处理解释变量存在异常值时的群组变量选择问题,将基于最小距离法的稳健估计(L_(2)E)方法与已有的3种群组变量选择方法和3种双层变量选择方法结合,在此基础上利用Majorization-Minimization(MM)算法对目标函数进行求解.通过数值模拟比较了基于L_(2)E方法和MLE方法在模型具有组稀疏和双层稀疏的情况下,6种变量选择方法在不同维数下的有限样本表现,结果不仅验证了L_(2)E方法在存在异常值的logistic回归模型参数估计中的稳健性,而且指出了在这6种变量选择方法中使用Group Bridge方法进行变量选择的准确度更高.

几类群组变量选择方法及其块坐标下降算法

在复杂数据中变量往往成组出现,考虑了Lasso、SCAD、Bridge及MCP四种不同模型选择的惩罚项,研究了它们在群组变量中的方法及其块坐标下降算法,在Logistic模型的条件下进行模拟,结果表明Composite MCP组惩罚方法在预测能力和变量选择上均优于其他三种群组惩罚方法,并运用到销售网络办公软件公司的广告数据中,结果表示四种方法中Composite MCP方法在广告转化研究中效果是最优的,通过比较,选择出影响广告转化的群组结构及单个变量,为选择投放策略提供合理的依据。

基于惩罚方法的贝叶斯群组变量选择

本文针对既选择组水平变量又选择组内单个变量这两种情况下的变量选择惩罚方法,从贝叶斯的角度进行分析,指出其能被表示为一个最大后验估计.之后,给出贝叶斯框架下的两种群组变量选择惩罚方法的层次模型表达形式,并给出参数估计适于Gibbs抽样的满条件分布.最后,通过模拟比较得出结论:分别用BGL、BSGL模型进行组变量选择和双层变量选择是可行的,但得到的模型在验证集上的预测误差较大.