不可忽略的无响应缺失下的协变量选择

本文旨在建立一个存在不可忽略的无响应缺失时高维协变量向量的协变量选择方法.由于有不可忽略的缺失响应数据,必须建立一种新的协变量选择方法来删除既与响应变量也与缺失机制无关的协变量.一旦冗余协变量被删除,现有的缺失机制估计和其他基于逆缺失机制加权的分析方法可以被应用.我们提供了一些模拟结果来展示我们方法的有效性.

数据非随机缺失机制的检验

本文采用一种模拟算法对数据非随机缺失(NMAR)机制的检验问题作了初步的探讨.并用一个例子说明NMAR机制的检验问题的合理性.

含有缺失机制的多元纵向数据分析

目的本文旨在对含有不可忽略缺失机制的多元纵向数据建立一个适当的统计模型。方法对纵向数据建立含有潜在变量的线性混合模型;由于潜在变量在本文中代表治疗效果,而且随着时间变化在不断改进,所以本文用一阶的马氏链来反应潜在变量之间的这种联系;引入logistic回归模型来描述数据的缺失机制。最后利用EM算法对参数进行估计,并且给出了数据的模拟结果。结果从模拟的结果可以看出,参数的96%置信区间包含了待估计参数的真值。结论本文所提出的方法对于估计类似数据的参数具有一定的有效性,相对于传统方法,适用性更广泛,且大大简化了计算的工作量。

含非随机缺失数据的面板数据参数估计方法

抽样调查领域常采用对多个受访者进行跟踪调查得到面板数据,进而对总体特性进行统计推断,在面板数据中常含缺失数据,大多数处理面板缺失数据的软件都是直接删去含缺失值的受访者以得到完全数据集,当数据缺失机制为非随机缺失时会导致总体参数估计结果有偏。本文针对数据缺失机制为非随机缺失的情形,阐述了如何对面板数据进行统计分析,主要是基于模型的似然推断法,对目标变量、缺失指示变量和随机效应向量的联合分布建模,在已有选择模型和模式混合模型的基础上,引入随机效应,研究目标变量期望的计算方法,并研究随机效应杂合模型下参数的估计方法,在变量分布相对简单的情形下给出了用极大似然法推断总体参数的估计步骤,最后通过模拟分析比较方法的优劣。

带不可忽略缺失数据的再生散度随机效应模型的Bayes估计

在响应变量带有不可忽略缺失数据的前提下得到非线性再生散度随机效应模型的Bayes方法.缺失数据机制由Logistic回归模型定义,根据Gibbs抽样技术和MH算法得到模型参数、随机效应因子以及缺失数据机制中回归系数的联合Bayes估计,并进行了实例分析.

利用logit模型判定数据缺失机制

利用logit模型刻画了缺失指示变量R的分布,由其分布的参数估计来判定数据的缺失机制类型.在四个假定的基础上,用五个步骤具体操作缺失数据的机制检验.并用两个例子说明了检验的具体步骤.

基于增长模型的非随机缺失数据处理:选择模型和极大似然方法

对含有非随机缺失数据的潜变量增长模型,为了考察基于不同假设的缺失数据处理方法:极大似然(ML)方法与DiggleKenward选择模型的优劣,通过Monte Carlo模拟研究,比较两种方法对模型中增长参数估计精度及其标准误估计的差异,并考虑样本量、非随机缺失比例和随机缺失比例的影响。结果表明,符合前提假设的Diggle-Kenward选择模型的参数估计精度普遍高于ML方法;对于标准误估计值,ML方法存在一定程度的低估,得到的置信区间覆盖比率也明显低于Diggle-Kenward选择模型。

LGM模型中缺失数据处理方法的比较:ML方法与Diggle-Kenward选择模型

追踪研究中缺失数据十分常见。本文通过Monte Carlo模拟研究,考察基于不同前提假设的Diggle-Kenward选择模型和ML方法对增长参数估计精度的差异,并考虑样本量、缺失比例、目标变量分布形态以及不同缺失机制的影响。结果表明:(1)缺失机制对基于MAR的ML方法有较大的影响,在MNAR缺失机制下,基于MAR的ML方法对LGM模型中截距均值和斜率均值的估计不具有稳健性。(2)DiggleKenward选择模型更容易受到目标变量分布偏态程度的影响,样本量与偏态程度存在交互作用,样本量较大时,偏态程度的影响会减弱。而ML方法仅在MNAR机制下轻微受到偏态程度的影响。

不可忽略的无回答机制下的校准研究

在实际调查工作中,由于客观条件的限制,难以完全避免无回答情况的出现。当无回答已经产生,且单元作答情况与目标变量本身有关系时,缺失数据机制不可忽略,需要在数据分析阶段弥补无回答对估计产生的负面影响。现有方法多假定缺失数据机制为随机缺失,少数非随机缺失机制下的方法基于模型进行推断,但因其对模型假设和模型识别的较强要求造成了应用上的局限性。校准估计已在抽样推断中得到了广泛应用,它在利用辅助信息提高样本代表性的同时,控制了无回答误差。采用RGRG法将模型校准法与准随机化的响应模型相结合,解决非随机缺失下的权数调整和总体估计问题。对RGRG法的估计过程和估计优势进行了理论分析和实证研究。结果表明,在不可忽略的无回答机制下,通过RGRG法的调整降低了最终权数的变异性;加权估计量具有更小的偏差、标准误差和均方误差根,具有渐进无偏性和渐近一致性。同时,该方法是稳健的,对无回答具有双重保护作用,允许响应模型和超总体模型仅在一定程度上拟合总体,降低了对模型识别的敏感度。

2PLM下缺失数据处理方法及其比较

项目反应理论(IRT)是用于客观测量的现代教育与心理测量理论之一,广泛用于缺失数据十分常见的大尺度测验分析。IRT中两参数逻辑斯蒂克模型(2PLM)下仅有完全随机缺失机制下缺失反应和缺失能力处理的EM算法。本研究推导2PLM下缺失反应忽略的EM算法,并提出随机缺失机制下缺失反应和缺失能力处理的EM算法和考虑能力估计和作答反应不确定性的多重借补法。研究显示:在各种缺失机制、缺失比例和测验设计下,缺失反应忽略的EM算法和多重借补法表现理想。

缺失数据下的逆概率多重加权分位回归估计及其应用

数据缺失问题普遍存在于应用研究中。在随机缺失机制假定下,本文从模型推断角度出发,针对线性缺失分位回归模型,提出一种新的有效估计方法——逆概率多重加权(IPMW)估计。该方法是在逆概率加权(IPW)估计的基础上,结合倾向得分匹配及模型平均思想,经过多次估计,加权确定最终参数估计结果。该方法适用于响应变量是独立同分布或独立非同分布的情形,并适用于绝大多数数据缺失场景。经过理论推导及模拟研究发现,IPMW估计量在继承IPW估计量的优势上具有更稳健的性质。最后,将该方法应用于含有缺失数据的微观调查数据中,研究了经济较发达的准一线城市中等收入群体消费水平的影响因素,对比两种估计方法的估计结果,发现逆概率多重加权估计量的标准偏差更小,估计结果更稳健。

海量数据下多指标含大量缺失的因果推断

因果推断中,常存在大量的缺失数据,特别是当协变量和结局变量都存在着缺失数据问题,如果处理不好,获得的估计可能会存在着偏误。文章在基于倾向评分逆概加权方法估计处理效应的基础上,调整权重为不只是倾向评分加权,还有协变量的缺失机制和结局变量缺失机制的加权,给出处理效应估计方法。应用delta方法给出估计量的渐近方差,借助模拟研究验证了因果效应估计量及其渐近方差估计的正确性和可行性,并与传统方法做比较,本文得到的估计量的Bias和MSE都较优于传统方法。

半参数方法与BP神经网络在缺失数据中的对比研究

数据缺失的存在不仅会增大统计分析的复杂性和难度,还会导致分析结果的偏倚。比较了半参数方法和BP神经网络方法在分量指标数据符合正态分布且为随机缺失机制情况下的优劣。选取鸢尾花数据集进行模拟研究,在不同的缺失率下通过回判,得到了半参数方法与BP神经网络的准确率,并将两种方法分别运用到不完全的脂肪肝临床数据中。结果表明,两种方法都适用于处理小样本情况下的缺失数据问题,当缺失率较小时基于BP神经网络的准确率较高,当缺失率不断上升时,半参数方法的处理结果比较稳定。

协变量存在缺失的因果效应稳健估计

文章借助逆概加权方法作用于影响函数,给出协变量存在缺失时倾向评分的估计方法。同时,针对现实研究中倾向评分取值可能接近0或1的情况,应用倾向评分扩展加权给出因果效应的估计。特别是推广Hirano(2003)的方法,导出其因果效应的渐近方差。模拟结果表明,提出的方法估计出的方差与样本方差接近,并且得到的因果效应优于传统方法,具有较小的Bias与MSE。

响应变量缺失下基于协变量平衡下的变系数模型的经验似然推断

在实际问题中时常会遇到缺失数据的问题,这时已有的处理完全观测数据的统计方法将不再适用.本文研究在响应变量随机缺失下的变系数模型的统计推断问题.主要分为以下几个方面:首先基于协变量平衡倾向得分下的广义矩方法得到了选择概率的估计并且给出了估计量的渐近性质;然后研究变系数模型的未知系数函数的经验似然推断,借助选择概率的估计和扩张的逆概率加权方法构造了系数函数的经验对数似然比统计量;最后证明在适当的条件下似然比统计量服从卡方分布,从而得到系数函数的逐点置信区间.

基于机器学习聚类的无回答权数调整研究

在实际调查工作中,由于客观条件的限制,难以完全避免无回答情况的出现,需在数据分析阶段弥补无回答对估计产生的负面影响。本文尝试通过机器学习中的聚类算法进行无回答权数调整,以突破可忽略性的限制,着重考察在不可忽略的无回答机制下的估计效果。实证研究根据2015年中国综合社会调查(CGSS)数据进行,结果表明,无论无回答机制是否可忽略,基于机器学习聚类算法进行的权数调整,均能有效控制无回答偏差、得到变异性小的最终权数和性质优良的目标变量估计。