计算机适应性测验条件下认知设计项目预测参数的影响

自动化项目生成(Automatic Item Generation)中的项目参数是基于认知项目设计的刺激特征集预测的,在不确定性来源上较之用经验数据标定的参数更为复杂。文章通过实证研究分析了在计算机适应性测验条件下基于认知设计系统法生成的抽象推理测验(ART)项目预测参数对能力参数估计的精确性。研究表明,项目预测参数比相应标定参数分布更为趋中。这种回归效应既影响到能力参数估计误差大小,也导致适应性测验过程中项目选择的差异。在控制了项目选择差异之后,能力参数估计误差较之基于项目标定参数的能力估计误差大,但差别并不明显。两者相应的能力估计值相关很高,对应能力值之间的差异很小,且几乎贯彻整个能力分布区间。