调查问卷的变量合成及切分点计算方法研究——来自国际大规模测评项目的启示

问卷法作为主流的实证研究方法被广泛应用于教育评价领域,其使用的变量合成与分数切分点计算方法直接关系到测评结果的科学性和解释力。目前,PISA、TIMSS和PIRLS等国际大规模测评项目主要采用基于项目反应理论的量尺化方法合成变量,应用分数链接技术将趋势量表分数转换到基准量尺,实现不同测验周期的测评结果可比。另外,TIMSS 2019在充分运用Rasch簇模型性质的基础上,根据专家评定的反应类别组合来确定分数切分点,而PISA 2018则基于被试在群体中的相对位置确定切分点。

改良单组设计下的跨年等值影响因素研究

针对我国测评项目的高安全性需求,提出锚人与锚题相结合的新跨年等值设计,并采用基于实证数据的模拟研究方法探究等值方法、锚人数量、锚测验组卷方式和不同测验周期被试能力差异对等值精度的影响。结果表明:以上因素均影响等值精度且等值方法的影响突出。建议:(1)锚人较少时采用需量尺转换的等值方法;(2)锚测验组卷方式应与等值方法计算特点相匹配;(3)各周期被试能力差异较大时可酌情增加锚人或调整锚测验组卷方案。