Logistic回归的ArctanLASSO惩罚似然估计及应用

Logistic回归是计量经济学中应用最广的离散选择模型。当变量个数较多时,极大似然估计解释性较差,为此本文基于新的惩罚函数ArctanLASSO,给出Logistic回归的一种非凸惩罚似然估计进行参数估计和变量选取,并证明了估计量的n^(1/2)相合性和Oracle性质。本文结合二阶近似处理、LLA方法和梯度下降法给出估计算法,并通过最小化BIC准则对正则化参数进行选取。模拟数据分析显示,当样本量较大时,该方法在参数估计和变量选取两个方面都优于传统的LASSO、SCAD和MCP方法,样本量较小时,该方法同样具有很大优势。实际数据分析表明,该方法很好地权衡了拟合程度和非零系数的选择,是最优的备选模型,具有重要的实际意义。

随机效应半参数logit模型的惩罚似然估计研究

在颇具争议的收入差距和健康关系研究中,为了降低可能存在的模型设定和遗漏变量偏误,本文提出了随机效应半参数logit模型,其中非参数的设定还可用于数据的初探性分析。随后本文提出了模型非参数和参数部分的估计方法。这里涉及的难点是随机效应的存在导致似然函数中的积分没有解析式,而非参数的存在更加大了估计难度。本文基于惩罚样条非参数估计方法和四阶Laplace近似方法建立了惩罚对数似然函数,其最大化采用了Newton-Raphson近似方法。文章还建立了惩罚样条中重要光滑参数的选取准则。模型在收入差距和健康实例中的估计结果表明数据支持收入差距弱假说,且非参数估计结果表明其具有U型形式,与实例估计结果的比较指出本文提出的估计方法是较准确的。

组合惩罚似然估计下发散参数变量选择

在Wang等给出的组合惩罚函数的基础之上,将SCAD惩罚部分推广到一般的非凸惩罚的形式,利用岭回归在解释变量相关度较高情形下的良好表现,提出一种推广了的组合惩罚.在参数个数发散的情形之下,利用贝叶斯信息准则(BIC)来选择调整参数,能同时完成变量选择和参数估计.而且还可以证明在合适的条件之下,这种估计具有Oracle性质.模拟研究的结果证明了所提出的方法在预测变量具有强相关性之下的优势.

半变系数伽马脆弱模型惩罚部分似然估计

为了更好地分析对数风险函数与协变量之间复杂的非线性关系,提出一种半变系数伽马脆弱模型并给出其估计方法.首先,应用B-样条将半变系数伽马脆弱模型近似转化为线性伽马脆弱模型,然后运用惩罚部分似然法估计转化后模型的线性参数,随后采用近似轮廓似然法并运用黄金搜索算法估计随机效应的参数;在通过迭代获得转化后的线性系数以及随机效应参数的估计以后,运用B-样条得到变系数函数的估计.经蒙特卡罗模拟研究发现,该方法可以给出协变量的线性参数以及变系数函数较为精准、稳定的估计,是分析协变量对于风险率影响的有效方法.最后,应用所提出的方法分析了NCCTG肺癌数据.

半参数广义线性模型惩罚似然估计的几个性质

本文在给出了半参数广义线性模型惩罚似然估计及惩罚准似然估计的基础上,得到了下面几个性质:(Ⅰ)极小惩罚似然估计及惩罚准似然估计等价于惩罚加权最小二乘估计;(Ⅱ)估计的收敛性及加速收敛法;(Ⅲ)估计的一种 Bayes 解释。

稳健的惩罚经验似然方法及压缩估计

本文基于原有的经验似然函数,在经验似然的约束条件中的估计方程上加入Huber函数和权重函数,将经验似然方法和稳健估计方程相结合,再在目标函数中加上SCAD惩罚函数,提出一种稳健的变量选择和惩罚估计方法.通过数值模拟与最小二乘估计和普通的惩罚经验似然估计在变量选择和参数估计方面进行比较,显示本文所提出的基于惩罚稳健经验似然的压缩估计具有明显优势.

关于半参数广义线性模型的惩罚似然估计

本文对文[1]给出的一类半参数广义线性模型(semi-paramctric GLM),利用惩罚似然方法得到参数和非参数函数的惩罚似然估计。同时指出极小惩罚似然估计与惩罚加权最小=乘估计等价。

余重对数二元模型的似然及惩罚似然估计

对３种抽样方式讨论了余重对数二元回归概率模型的极大似然估计和极大惩罚似然估计。并对数据及模型作了进一步的推广。

混合高斯模型的熵惩罚最大似然估计与自动模型选择

有限高斯混合模型是一种重要的概率模型,并在聚类分析,模式识别和信号处理等方面有着广泛的应用.在高斯(即正态)分量个数K未知时,仅仅根据样本数据来确定K是一个非常困难的问题.这实际上是一个模型选择问题,直接影响着应用的效果.为了解决这一模型选择问题,本文在一维混合高斯模型下提出了基于熵惩罚最大似然估计的梯度算法.实验表明这种算法能够在参数估计过程中自动实现模型选择,使得多余高斯分量的混合比例系数衰减为零.

航天湍流退化图像的极大似然估计规整化复原算法

为了从有噪的湍流退化图像中有效地恢复出目标图像,提出了一种基于极大似然估计准则的规整化复原算法.根据图像随机场模型建立了有关多帧图像数据的对数似然函数,同时为了平滑噪声和保护图像边缘以及避免无价值的解,将一些合理的惩罚项和辅助平滑项融合到该对数似然函数中.推导出了湍流点扩展函数和目标图像的交替迭代求解公式,通过迭代方式可将点扩展函数和目标图像同时估计出来,给出了算法的并行处理方案.在微机上对强噪声条件下的湍流退化图像进行了恢复实验,实验结果表明本算法具有较强的抗噪能力和实用价值.

一种包含组合范数惩罚项的波达方向稀疏估计方法

波达方向(Direction of Arrival,DOA)估计是阵列观测数据研究领域的一个基本问题.对于观测数据服从复椭球对称分布的应用场景,现有的方法多采用l1-范数惩罚项来实现信号波达方向的稀疏估计,其中的l1-范数惩罚项仅考虑信号的稀疏性而没有考虑信号的多样性,从而造成这些估计方法一般将弱信号(具有较低功率的信号)略去,可能无法准确地估计弱信号的波达方向.为解决这个问题,本文通过引入一个组合范数惩罚项构建了一个新的估计(模型)方法,其中的组合范数惩罚项是l1-范数惩罚项与l2-范数平方惩罚项的线性组合,其组合系数(惩罚参数)互不相关,l2-范数平方惩罚项则可以保留弱信号的多样性.然后,本文基于Majorization-Minimization(MM)算法设计了模型的求解算法,并证明该方法是收敛的.数值实验表明,相较于那些基于l1-惩罚项的估计方法,本方法具有更高的精度.

基于高维删失数据的分布式惩罚平均经验欧氏似然

提出了一种基于高维删失数据的分布式惩罚平均经验欧氏似然方法(DPMEEL)。解决了经验似然在数据量较大时容易出现结果异常的问题,并且通过引入分布式估计的思想,大大提高了计算效率。通过研究表明,在某些条件下,分布式惩罚平均经验欧氏似然具有Oracle特性、渐进正态性,且其似然比的检验统计量服从卡方分布。模拟研究和实例分析说明了分布式惩罚平均经验欧氏似然具有较好的表现。

高维地理空间回归模型的惩罚似然估计与模型选择

在有限维参数刻画的误差空间协方差矩阵下,针对带有高维协变量的地理空间线性回归模型的变量选择和参数估计,提出了基于惩罚最小二乘的自适应惩罚最大似然估计算法。给出了维数发散时的两种类型的理论性质刻画——分别是维数发散,但比样本量小时的参数估计的误差收敛速度和稀疏相合性;在维数远远大于样本量时,使用了“主项-对偶项见证”(prime-dual witness)技术得到高维时(p>>n)的非渐近结果的误差收敛速度和模型选择符号相合性。我们发现,在对空间相关矩阵假定某个类(如Matern类)时,若该类待估参数个数有限,则高维协变量的模型选择和参数估计的结果与样本独立时的结果是一致的。通过随机模拟证明了本文使用的坐标下降求解算法的有效性。在一个世界范围内69家实验室的拟南芥的基因型(SNP)与花开时长等表型数据上应用了本文方法进行花开时长表型预测,验证了方法的适用性和优越性。

Cox比例风险模型的桥估计

在经济领域和生物科学领域的研究中,经常会遇到包括有变量指标多、样本量大的数据集.一般来说,在一个复杂模型中如果包括有很多微不足道的变量,统计结果往往很难解释.因此,为了减少这种误差,在没有先验的专业知识情况下,研究变量的选择方法非常重要.Cox比例风险模型是生存分析中重要的模型之一.本文将桥估计的变量选择方法应用于Cox比例风险模型中,该方法使用的惩罚函数是p∑j=1|βj|γ.用桥估计方法估计未知参数和变量选择,在一定条件下,讨论了基于惩罚部分似然的桥估计方法在Cox比例风险模型中的Oracle性质,即:相合性和渐近正态性.

超高维线性回归模型基于M-估计方法的变量选择和参数估计

本文考虑超高维情形下线性回归模型的变量选择和参数估计问题.利用M-估计方法,将最小二乘、最小一乘、分位数回归以及Huber回归统一到一般性框架下,证明了提出的惩罚似然M-估计量具有良好的大样本性质;利用向后回归与局部线性回归相结合的方法进行变量选择和参数估计,数值模拟表现较好.在超高维情形下,我们提出的一般性方法在变量选择和参数估计方面具有较好的稳健性和有效性.

组合惩罚下联合均值与方差模型的变量选择

在生产实践和计量经济领域中,控制产品质量的方差就能保证产品的合格品数相对稳定,所以当前学者对联合均值与方差模型的研究倍感兴趣.基于解释变量经常是具有相关关系的实际情况,提出了一种由SCAD惩罚和岭回归混合在一起的组合惩罚,该惩罚充分利用了岭回归能克服解释变量相关性过高对估计效果的影响,同时也证明了这样的惩罚具有相合性和Oracle性质.使用该组合惩罚对联合均值与方差模型进行了变量选择.最后的随机模拟结果表明该模型和方法是有效的.

偏正态混合模型的惩罚极大似然估计

在分析具有异质性和非对称性数据时,偏正态混合模型提供一种比经典的Gauss混合模型更为灵活的建模方式.然而,由于无界的似然函数和发散的形状参数,该模型的极大似然估计并未被正确定义,进一步导致不理想的推断过程.为同时解决这两个问题,本文基于惩罚似然提出一种新的估计方案,并证明在混合分布的类别个数大于或等于真实的类别个数时,相应的惩罚极大似然估计是强相合的.同时,本文也提出相应的惩罚EM (expectation maximization)算法来计算惩罚估计.最后,通过模拟分析与现有方法比较研究估计方法在有限样本下的表现,并采用两个实例说明方法的有效性.

一种惩罚最大似然方法估计混合回归模型

本文考虑具有正态误差假设下混合回归模型的参数估计问题.由于似然函数的无界性,混合回归模型普通的最大似然估计不存在.本文提出一种惩罚最大似然方法来估计混合回归模型的参数,证明惩罚最大似然估计量(penalized maximum likelihood estimation, PMLE)具有强相合和渐近正态性.通过深入模拟研究,从估计精确性角度看,惩罚最大似然估计量有很好的表现.本文还给出一个音调感知的例子来说明理论结果的应用.

基于MCP估计的两部模型及其在家庭医疗费用影响因素分析中的应用

目的阐明基于惩罚估计的两部模型原理,并借助该方法分析家庭医疗费用的影响因素。方法利用最小最大凹罚(minimax concave penalty,MCP)似然估计方法估计未知参数,并与桥惩罚(Bridge)、最小绝对收缩和选择算子(least absolute shrinkage and selection operator,LASSO)惩罚以及不加惩罚得到的结果对比。结果年龄、月收入与医疗费用呈正相关;受教育年限、家庭人口数与医疗费用呈负相关;城市人群、女性、有工作、有医保、未婚人士更有可能产生医疗费用。同时表明,基于惩罚得到的估计结果更符合研究实际的客观解释。结论相对于极大似然估计、Bridge惩罚、LASSO惩罚,基于MCP惩罚似然估计得到的均方误差、标准差以及对应的经验风险函数值等更稳定、偏差更小。

半参数广义线性模型的惩罚似然估计

一、引言我们知道,通常的广义线性模型其联接函数为 g(μ)=η,并且预测η有一已知参数形式,即η=xβ.然而,如果预测依赖于协变量的形式知道的并不很清楚,那么这时采用参数的线性化结构并非总是适当的.当缺乏确切的信息时,有时用非参数方法更可取.但是,当确信某些关系具有一定的参数形式时,完全的非参数方法其效率可能相当低.于是,可以考虑更一般的模型——半参数广义线性模型,它是由 Green 和 Yandell 等一些作者提出来的.这个类包括了通常的广义线性模型及非参数广义线性模型,因而处理问题也就更灵活了.