存在非随机缺失数据的纵向数据中介分析

纵向中介分析面临两个挑战:一是某个时刻的中介和结果会影响后续时刻的中介和结果,从而成为治疗后混淆因子(也被称作时变混淆因子);二是非随机缺失数据在纵向研究中很常见,如果没有处理好则会带来系统的中介效应估计偏差。目前没有文献考虑纵向中介分析同时出现治疗后混淆和非随机缺失数据的情形。为了填补这一空缺,基于潜在结果模型框架的理论,本文提出了纵向中介分析存在非随机缺失数据时因果效应的可识别性条件。开发了一种新的估计中介效应的统计程序,使用估计方程方法和多重插补处理缺失数据,并使用修正后的自然效应模型来估计中介效应。建立了所提出方法的大样本性质,并通过随机模拟和实际数据分析评估了新方法的有限样本表现。

数据非随机缺失机制的混合效应模式混合模型分析与应用

目的阐明混合效应模式混合模型原理,实现数据非随机缺失机制医学纵向资料的模型分析。方法采用限制极大似然法进行参数估计,拟合含非随机缺失数据高血压随访资料的混合效应模式混合模型,利用SAS9.2完成模型参数估计与检验等。结果在混合效应模式混合模型(组间模型和组内模型)中得到四种缺失模式下的参数估计值及可信区间后,根据各缺失模式概率,求得参数总估计值。结论混合效应模式混合模型是分析数据非随机缺失机制资料的最佳选择。

含非随机缺失数据的面板数据参数估计方法

抽样调查领域常采用对多个受访者进行跟踪调查得到面板数据,进而对总体特性进行统计推断,在面板数据中常含缺失数据,大多数处理面板缺失数据的软件都是直接删去含缺失值的受访者以得到完全数据集,当数据缺失机制为非随机缺失时会导致总体参数估计结果有偏。本文针对数据缺失机制为非随机缺失的情形,阐述了如何对面板数据进行统计分析,主要是基于模型的似然推断法,对目标变量、缺失指示变量和随机效应向量的联合分布建模,在已有选择模型和模式混合模型的基础上,引入随机效应,研究目标变量期望的计算方法,并研究随机效应杂合模型下参数的估计方法,在变量分布相对简单的情形下给出了用极大似然法推断总体参数的估计步骤,最后通过模拟分析比较方法的优劣。

基于半参数估计的非随机缺失样本分类

因变量非随机缺失是指样本中因变量的缺失机制与其自身特征高度相关,由于样本缺失具有选择性而不再适合推断总体特征。文章借鉴非随机缺失数据均值泛函估计的思想,运用基于指数倾斜的半参数模型解决非随机缺失样本的二分类问题,结合8类因变量缺失情形进行数值模拟研究,将半参数模型对非随机缺失样本的分类效果与Logit模型、SVM模型、决策树模型进行比较,实证结果表明,半参数方法的分类效果具有明显优势。

基于增长模型的非随机缺失数据处理:选择模型和极大似然方法

对含有非随机缺失数据的潜变量增长模型,为了考察基于不同假设的缺失数据处理方法:极大似然(ML)方法与DiggleKenward选择模型的优劣,通过Monte Carlo模拟研究,比较两种方法对模型中增长参数估计精度及其标准误估计的差异,并考虑样本量、非随机缺失比例和随机缺失比例的影响。结果表明,符合前提假设的Diggle-Kenward选择模型的参数估计精度普遍高于ML方法;对于标准误估计值,ML方法存在一定程度的低估,得到的置信区间覆盖比率也明显低于Diggle-Kenward选择模型。

数据非随机缺失机制的检验

本文采用一种模拟算法对数据非随机缺失(NMAR)机制的检验问题作了初步的探讨.并用一个例子说明NMAR机制的检验问题的合理性.

非随机缺失机制下基于模型的参数似然估计方法研究

在纵向抽样调查活动中,常出现变量数据缺失的情况,如何对含缺失的数据集进行总体参数估计是一个热点话题。目前已有方法主要适用于随机缺失机制下的缺失数据分析问题,常采用插补法生成完整数据集,基于此进行参数估计。本文在非随机数据缺失机制下,研究了几种基于模型的参数似然估计方法,包括模式混合模型法和选择模型法,对单调缺失模式下含缺失纵向调查数据给出了参数估计范例,进而引入随机效应参数,将两种方法加以推广。

非实验性药物流行病学研究数据缺失的预防、检查和处理

与精心开展的随机化临床试验相比,非实验性研究中的缺失数据会对有效性形成更大的威胁。然而,非实验性真实世界研究可以更加准确地描述医疗干预措施在实际情境中对不同的患者群体的作用,从而补偿这些限制条件。如果研究者认识到缺失一定数量的数据(无论关于暴露、结局还是混杂因素)不可避免,就应该在研究开始时针对缺失数据制定计划,尽可能防止缺失数据,同时为处理重要变量的缺失数据制定规划。如不能获得所有患者的全部数据元素,就必须认真检查和处理缺失数据。可采用多重填补等统计技术填补空缺。这些方法都需要尽可能了解导致数据缺失的因素的相关假设及其与研究结果的关联。此文描述了预防缺失数据的策略和处理非实验性真实世界研究中缺失数据的分析方法,并加入了例证说明。

临床研究缺失数据多重填补敏感性分析方法

缺失数据是临床研究中不可避免的重要问题,若处理不当,容易引起研究结果的偏倚。通常根据数据缺失机制不同,选择不同的缺失数据处理方法。多重填补是目前较为常用和推荐的缺失值处理方法,与单一填补相比,考虑了缺失值的变异性,更为合理。但由于其基于随机缺失假定,而实际应用过程中,往往无法验证随机缺失的假定是否正确。因此,需要采用敏感性分析的方法,来验证随机缺失假定下多重填补分析结果的可靠性。目前,国内外对多重填补的敏感性分析并不重视,也缺乏相应的方法介绍。本研究介绍了一种较为简便的多重填补敏感性分析方法,并给出应用实例,以期为研究者提供参考和借鉴。

LGM模型中缺失数据处理方法的比较:ML方法与Diggle-Kenward选择模型

追踪研究中缺失数据十分常见。本文通过Monte Carlo模拟研究,考察基于不同前提假设的Diggle-Kenward选择模型和ML方法对增长参数估计精度的差异,并考虑样本量、缺失比例、目标变量分布形态以及不同缺失机制的影响。结果表明:(1)缺失机制对基于MAR的ML方法有较大的影响,在MNAR缺失机制下,基于MAR的ML方法对LGM模型中截距均值和斜率均值的估计不具有稳健性。(2)DiggleKenward选择模型更容易受到目标变量分布偏态程度的影响,样本量与偏态程度存在交互作用,样本量较大时,偏态程度的影响会减弱。而ML方法仅在MNAR机制下轻微受到偏态程度的影响。

结合缺失模式的不完整数据模糊聚类

数据的完整性是数据可用性的重要维度。由于数据采集等过程中存在的问题,现实中的数据往往存在缺失。现有的聚类算法在面对不完整数据时一般采用忽略缺失或填补缺失的策略,但是当数据缺失属于非随机缺失时,这样的处理策略会导致聚类精度严重下降。当数据缺失属于非随机缺失时,数据缺失模式与缺失属性的取值相关,因此在不完整对象的相似度量中加入缺失模式相似的度量,提出了两种结合缺失模式的PCM(Possibilistic c-means)模糊聚类算法:最小化缺失模式距离之和的PatDistPCM算法和基于缺失模式聚类的PatCluPCM算法。在两个公开数据集上的实验证明,考虑缺失模式的模糊聚类PatDistPCM和PatCluPCM算法,在对存在非随机缺失的数据进行聚类时,能有效提高聚类结果的准确性。

利用logit模型判定数据缺失机制

利用logit模型刻画了缺失指示变量R的分布,由其分布的参数估计来判定数据的缺失机制类型.在四个假定的基础上,用五个步骤具体操作缺失数据的机制检验.并用两个例子说明了检验的具体步骤.

第17号染色体短臂杂合性缺失与肿瘤的研究进展

抑癌基因是人类正常细胞中所具有的一类基因,对细胞的增殖分化有调节作用。染色体体臂上某一区域非随机杂合性缺失导致抑癌基因的丧失,从而促使肿瘤发生。本文总结了第17号染色体短臂(17p)杂合性缺失与肿瘤发生关系的研究进展,该研究不仅为我们定位新的抑癌基因提供了基础,为肿瘤的预防、早期发现和诊断提供了依据,同时也使我们能更好理解肿瘤的分子进展。

不可忽略的无回答机制下的校准研究

在实际调查工作中,由于客观条件的限制,难以完全避免无回答情况的出现。当无回答已经产生,且单元作答情况与目标变量本身有关系时,缺失数据机制不可忽略,需要在数据分析阶段弥补无回答对估计产生的负面影响。现有方法多假定缺失数据机制为随机缺失,少数非随机缺失机制下的方法基于模型进行推断,但因其对模型假设和模型识别的较强要求造成了应用上的局限性。校准估计已在抽样推断中得到了广泛应用,它在利用辅助信息提高样本代表性的同时,控制了无回答误差。采用RGRG法将模型校准法与准随机化的响应模型相结合,解决非随机缺失下的权数调整和总体估计问题。对RGRG法的估计过程和估计优势进行了理论分析和实证研究。结果表明,在不可忽略的无回答机制下,通过RGRG法的调整降低了最终权数的变异性;加权估计量具有更小的偏差、标准误差和均方误差根,具有渐进无偏性和渐近一致性。同时,该方法是稳健的,对无回答具有双重保护作用,允许响应模型和超总体模型仅在一定程度上拟合总体,降低了对模型识别的敏感度。

基于机器学习聚类的无回答权数调整研究

在实际调查工作中,由于客观条件的限制,难以完全避免无回答情况的出现,需在数据分析阶段弥补无回答对估计产生的负面影响。本文尝试通过机器学习中的聚类算法进行无回答权数调整,以突破可忽略性的限制,着重考察在不可忽略的无回答机制下的估计效果。实证研究根据2015年中国综合社会调查(CGSS)数据进行,结果表明,无论无回答机制是否可忽略,基于机器学习聚类算法进行的权数调整,均能有效控制无回答偏差、得到变异性小的最终权数和性质优良的目标变量估计。

基于半参数方法进行拒绝推断的信用评级模型

拒绝推断可视为因变量非随机缺失问题的特例,它处理信用评级建模中由于被拒客户的信用表现未知,样本偏差导致的参数估计有偏问题。本文基于Kim和Yu 2011年提出的非随机缺失下均值泛函的半参数估计模型,提出处理拒绝推断的迭代半参数法。运用此方法在5类缺失情形下进行模拟研究,并对Australian数据和中国某银行的征信数据进行实证研究。结果表明,与常用方法相比,迭代半参数法可以有效地识别被拒绝申请者中的"坏"客户,降低金融机构的违约风险,是一种相对保守的方法。

基于逆概率加权和插补的Mallows模型平均方法

数据缺失是实际数据分析中一个常见的问题.文章将逆概率加权方法与插补方法结合,提出了一种Mallows模型平均方法以处理数据缺失问题,并证明了该方法得到的估计量在实现最小平方误差的意义下能渐近地达到最优.相比于传统的逆概率加权方法,文章的方法不仅可以充分利用观测信息,并且能够应用于非随机缺失的情形.相比于完全基于插补的方法,文章的方法继承了插补方法的一些优势,同时能够避免因错误地插补较大的数据块而产生的偏差.通过数值模拟,首先验证了三种简单的插补方法满足渐近最优性成立的条件,之后将文章提出的Mallows模型平均方法与已有的应用于缺失数据的模型平均方法进行比较,结果表明,所提出的新方法在大多数情况下优于已有的其它模型平均方法.最后,将新方法应用于平均寿命数据,实证结果进一步表明新方法较已有模型平均方法更为稳健.