IRT真分数等值和IRT观察分数等值的对比研究

研究采用锚测验非等组设计,对IRT真分数等值和IRT观察分数等值两种方法进行了比较研究。研究数据取自TIMSS2003数据库,首先用BILOG程序得出参数估计和被试能力分布,然后用四种方法对项目参数进行再校准,最后,用PIE程序运行两种IRT等值方法。研究表明,针对研究的等值情境,四种再校准的方法没有显著区别,IRT真分数等值和IRT观察分数等值仅在较低的分数段出现了很小的差别。对样本量的分析表明,IRT观察分数等值的精确性受到样本容量的影响更大。

多维数据IRT真分数等值和IRT观察分数等值研究

实际应用中测验往往具有多维结构,如果仍采用单维方法进行等值,会得到不准确的结果。研究基于随机等组设计下英语测验,使用MCMC方法估计题目参数,将单维IRT真分数等值和观察分数等值方法推广到多维。比较了四种等值方法:单维IRT真分数等值和观察分数等值,多维近似单维IRT真分数等值和观察分数等值。结果显示,当数据符合多维结构时:(1)基于多维测验的IRT真分数等值和观察分数等值方法优于单维IRT真分数等值和IRT观察分数等值方法;(2)多维IRT观察分数等值略优于多维IRT真分数等值,但是两者之间的差异较小。

项目反应理论观察分数核等值的影响因素

探究带宽选择方法、样本量、题目数量、等值设计、数据模拟方式对项目反应理论观察分数核等值的影响。通过两种数据模拟方式,获得研究数据,并计算局部与全域评价指标。研究发现,在随机组设计中,带宽选择方法表现相似;考生样本量和题目数量影响甚微。在非等组设计中,惩罚法与Silverman经验准则表现优异;增加题目量可降低百分相对误差和随机误差;增加样本量导致百分相对误差变大,随机误差减小。数据模拟方式可影响等值评价。未来应重点关注等值系统评估。