基于最小距离法的稳健群组变量选择

在研究存在异常值的logistic回归模型时,发现如果使用极大似然估计(MLE)方法进行参数估计,那么异常值引起的偏差不是造成参数估计过大而是导致参数向量内爆即参数向量收缩为零向量,此时如果进行群组变量选择很可能会忽略一些重要变量.因此针对具有组结构的logistic回归模型,为处理解释变量存在异常值时的群组变量选择问题,将基于最小距离法的稳健估计(L_(2)E)方法与已有的3种群组变量选择方法和3种双层变量选择方法结合,在此基础上利用Majorization-Minimization(MM)算法对目标函数进行求解.通过数值模拟比较了基于L_(2)E方法和MLE方法在模型具有组稀疏和双层稀疏的情况下,6种变量选择方法在不同维数下的有限样本表现,结果不仅验证了L_(2)E方法在存在异常值的logistic回归模型参数估计中的稳健性,而且指出了在这6种变量选择方法中使用Group Bridge方法进行变量选择的准确度更高.

基于差分隐私的分布式组变量选择

针对组结构数据的隐私保护问题,通过随机响应机制,对原始数据进行扰动,开展满足差分隐私的分布式组变量选择研究。首先基于交替方向乘子法,提出了分布式Logistic组变量选择算法。进一步为了防止计算机信息交互过程中可能产生的隐私泄露,提出了分布式Logistic随机响应组变量选择算法,并证明算法满足差分隐私。实验表明,所提算法可有效处理组结构分类数据并保护其隐私。

几类群组变量选择方法及其块坐标下降算法

在复杂数据中变量往往成组出现,考虑了Lasso、SCAD、Bridge及MCP四种不同模型选择的惩罚项,研究了它们在群组变量中的方法及其块坐标下降算法,在Logistic模型的条件下进行模拟,结果表明Composite MCP组惩罚方法在预测能力和变量选择上均优于其他三种群组惩罚方法,并运用到销售网络办公软件公司的广告数据中,结果表示四种方法中Composite MCP方法在广告转化研究中效果是最优的,通过比较,选择出影响广告转化的群组结构及单个变量,为选择投放策略提供合理的依据。

教育实验研究操作静态组变量的几个相关问题

教育实验研究要求结果具有可靠性,实验变量的结构对结果的可靠性构成潜在的威胁,操作A四B与A五B型静态组变量是实验处理的重要环节,合理区分变量的水平,恰当进行实验处理是操作静态组变量的基本策略。

基于两种非凸惩罚函数的稀疏组变量选择

利用正则化方法来进行变量选择是近年来研究的热点.在实际应用中解释变量常常以组的形式存在,通常我们希望将重要的组和组内重要的协变量选择出来,即双重变量选择.基于两种非凸惩罚函数SCAD和MCP,分别提出了稀疏Group SCAD和稀疏Group MCP估计方法,通过分块坐标下降迭代算法,达到组内和组间变量同时稀疏的效果.数值模拟结果表明本文提出的两种方法在模型预测和变量选择能力上优于Group Lasso和稀疏Group Lasso算法.并将该算法有效地应用于实际的初生儿体重数据集分析中.

广义线性模型基于SCAD和MCP的组变量选择方法研究

组变量出现在许多统计建模问题中,如回归模型中的多水平分类变量可以由一组哑变量表示.Group MCP和Group SCAD因具有Oracle性质被广泛使用.该文将这两种方法应用于广义线性模型,分别在Logistic回归模型和Poisson回归模型中研究了基于Group SCAD和Group MCP的组变量选择.通过数据模拟和实际数据分析,验证了这两种方法具有非常好的表现.

Logistic回归模型的稳健组变量选择

在统计建模中,变量选择是一个很重要的环节,对数据分析有非常重要的作用。许多统计建模问题中都有组变量的存在,在组变量选择问题中,group MCP和group SCAD因具有Oracle性质而被广泛使用,同时group LASSO也是一种比较经典的方法。文章将这三种方法应用到logistic回归模型中,研究了当协变量存在异常值时的组变量选择问题,提出了加权惩罚似然函数来消除异常值对估计的影响,并且通过数据模拟验证了加权方法有非常好的表现。

多组变量典型相关分析的正交Carroll准则

研究多组变量典型相关分析的正交Carroll准则.首先,把Carroll准则等价地转化为迹函数的极小值问题,由此导出最优性条件;然后,对Van de Velden给出的方法进行改进.为了提高算法的收敛速度和获得全局解的可能性,给出了初始点的选择策略;最后,分析了正交Carroll准则与其他一些问题之间的联系.

基于惩罚方法的贝叶斯群组变量选择

本文针对既选择组水平变量又选择组内单个变量这两种情况下的变量选择惩罚方法,从贝叶斯的角度进行分析,指出其能被表示为一个最大后验估计.之后,给出贝叶斯框架下的两种群组变量选择惩罚方法的层次模型表达形式,并给出参数估计适于Gibbs抽样的满条件分布.最后,通过模拟比较得出结论:分别用BGL、BSGL模型进行组变量选择和双层变量选择是可行的,但得到的模型在验证集上的预测误差较大.

基于调整秩回归的组变量选择

EXP惩罚是一种指数形式的惩罚函数,它近似于L_(0)惩罚. EXP惩罚最小二乘估计具有模型选择的相合性和渐近正态性.但是,惩罚最小二乘方法对重尾分布和含有异常值的混合分布的效果并不理想.该文考虑回归模型中的变量是以组结构形式存在的,研究基于调整秩回归的EXP型组变量选择,给出了调整秩回归估计的理论性质,并通过数据模拟和实例分析,检验调整秩回归的EXP惩罚的效果,结果表明这种方法具有较好的表现.

高维数据下群组变量选择的惩罚方法综述

变量选择是统计建模的重要环节,选择合适的变量可以建立结构简单、含义明确、预测精准的稳健模型。在实际应用中,有些变量具有群组结构,本文概括了三类群组变量选择惩罚方法,包括处理高度相关变量、仅选择组变量、即选择组又选择单个变量的方法,着重比较了它们的统计性质和优缺点,总结了相关算法和调整参数选择的方法。最后文章归纳了相关应用情况,并讨论了最新发展方向和所面临的挑战。

多组变量的典型相关系数和典型相关变量

1 相关性度量 设有K组变量Y_i=(y_(i1),y_(i2),…,y_(ip_i),)′,i=1,2,…,K,Y=(Y′_1,Y′_2,…,Y′_K)′,Y的协差阵存在记为∑,

多组变量的局部典型相关系数和典型变量

定义了多组变量的局部相关系数、典型相关系数和典型变量 ,证明了这些概念是经典的两组变量时的概念的推广 。

求解多组变量典型相关分析Maxrat准则的预处理Dinkelbach方法

多组变量典型相关分析的Maxrat准则是一类具约束的非线性最优化问题.本文给出了关于最优性的一阶必要条件和一个便于应用的充分条件.利用Dinkelbach技巧给出了求解Maxrat的一种算法.提出了几种初始点策略用于改进算法的收敛速度和提高收敛到全局最优解的可能性.数值实验结果证明算法和初始点策略是有效的.

分位数贝叶斯组变量选择及其在变点检测中应用

本文研究分位数回归的组变量选择问题。基于分位数回归和贝叶斯统计推断方法,通过引入系数的组“spike and slab”先验分布,提出了分位数回归的贝叶斯组变量选择方法,并给出易于实施的Gibbs后验抽样算法。进一步,本文还将所建立的贝叶斯组变量选择方法应用到变点检测中,变点的数量和位置的探测准确率较高。数值模拟和两个实例分析验证了所提方法的有效性。

基于多组典型相关变量的因果关系发现算法

现有的因果关系发现算法主要基于单个观察变量本身之间的因果关系,无法适用于多组观察变量,为此提出了一种多组典型相关变量的因果关系发现算法。首先,引入多组典型相关变量建立多组典型相关变量的线性非高斯无环模型并提出对应的目标函数;然后,采用梯度上升的方法求解目标函数,构建多组典型相关变量的因果关系网络。模拟实验验证了该算法的有效性,并在移动基站数据上发现了一批有价值的多组无线网络性能指标间的因果关系。

两个多重相关变量组的统计分析(3)(偏最小二乘回归与PLS过程)

本文用PLS过程建立多因变量的偏最小二乘回归模型 ,并用具体例子对最小二乘回归(MLR)、主成分回归 (PCK)和偏最小二乘回归 (PLS)

两个多重相关变量组的统计分析(1) (典型相关与典型冗余分析)

本文介绍两组相关变量间的典型相关与典型冗余分析的统计分析方法 ,以及在SAS软件包中如何实现 。

多组变量典型相关分析SSQCOR准则的数值求解

本文研究多组变量相关分析SSQCOR.准则的数值方法.从KKT条件出发引入了Gauss-Seidel型方法,从SSQCOR出发引入了交替变量法.证明了前者是后者的非精确形式,都具有单调上升性.为了提高得到全局解的可能性,引入了初始点策略.用实际数据和模拟数据进行了数值试验以说明算法的有效性.

两个多重相关变量组的统计分析(2)

本文介绍用最小二乘准则建立多对多线性回归模型 (MLR) ,以及建立主成分回归 (PCR) ,并通过例子比较之。