大数据背景下网络调查样本的建模推断问题研究——以广义Boosted模型的倾向得分推断为例

随着大数据和网络的不断发展,网络调查越来越广泛,大部分网络调查样本属于非概率样本,难以采用传统的抽样推断理论进行推断,如何解决网络调查样本的推断问题是大数据背景下网络调查发展的迫切需求。本文首次从建模的角度提出了解决该问题的基本思路:一是入样概率的建模推断,可以考虑构建基于机器学习与变量选择的倾向得分模型来估计入样概率推断总体;二是目标变量的建模推断,可以考虑直接对目标变量建立参数、非参数或半参数超总体模型进行估计;三是入样概率与目标变量的双重建模推断,可以考虑进行倾向得分模型与超总体模型的加权估计与混合推断。最后,以基于广义Boosted模型的入样概率建模推断为例演示了具体解决方法。

基于连续性住户调查的加权方法探讨

文章考虑在连续性住户调查中通过初始时刻t0的基于住户水平和基于个人水平的权重获得时刻t1的权重方法--权共享方法,包括入样概率倒数加权法;住户加权法;住户成员加权法。基于权共享方法的权重系数需要住户权重或者住户成员权重的均值为一。入样概率倒数加权方案要求提供时刻t1所有初始住户的入样概率和联合入样概率,住户权共享法和住户成员权共享法方法只需提供初始样本的入样概率,不需要联合入样概率。

一种新的πPS抽样方案

πPS抽样是抽样设计中常用的抽样方式,但现有抽样方法的操作和计算极其复杂.采用近似处理对复杂性的降低程度有限,反而大大增加了估计量的方差.为此,采取逐单元分析的思路抽样,提出了一种新的PS抽样方案.从πPS抽样方案的理论分析入手,介绍了该方案的具体操作流程;之后通过基于该操作流程的计算,得到具体的入样概率,证明该抽样方案的合理性和有效性;最后将新方案与传统PS抽样方案进行比较,阐述它既具备计算简单的优势,也保证了估计量近似无偏及方差小的性质.

大数据下广义线性模型的参数估计算法

在大数据下,全样本量很大,未知参数极大似然估计的计算变得十分困难.文章主要对于广义线性模型参数的极大似然估计研究一种有效的计算方法.首先证明了随机抽样算法下的估计量的渐近正态性,由此提出了入样概率的选取准则及两步随机抽样算法.模拟研究表明,绝大部分情况下,运用文章提出的方法所得到广义线性模型极大似然估计量的均方误差低于与之对比的简单随机抽样.