CAT模拟结果的分析模式与评价指标

计算机化自适应测验(CAT)模拟是CAT研究的主要方法之一。CAT模拟结果的评价分析内容主要包括三个方面:被试能力估计与被试能力分类分析、题库试题使用情况分析和CAT测验作答过程分析。CAT模拟结果的分析模式主要分为整体分析和细化分析两种模式。本研究从测验模拟返真性能、测验准确性、题库安全性、题库使用率、测验分类效率与准确性、多测验目标约束控制的实现程度等角度概述CAT模拟结果的各类评价指标。CAT模拟结果的评价角度和评价指标需要根据CAT研究目标和测验情境要求加以确定。

“CAT初始作答影响最终成绩”的模拟分析与纠正

在两参数模型(2PM)下模拟计算机化自适应测验(CAT)初始阶段的三种作答情境,由模拟结果发现只有当被试作答情境为睡眠现象时会导致能力低估现象,猜测现象时会导致能力高估现象,并探讨了"CAT初始阶段作答影响最终成绩"考试现象发生的具体情境范围。由模拟结果分析可得,CAT考试现象是被试作答异常现象(猜测、睡眠现象)和CAT数学模型(2PM)共同影响的结果。在四参数模型(4PM)、2PM-Biweight下进行CAT模拟,被试能力高估现象和低估现象都得到了较好的纠正。

计算机化自适应测验模拟方法的研究范式与特点

计算机化自适应测验(CAT)在理论与实践中得到广泛应用。目前许多CAT研究可以归纳为两种研究范式:实测作答的CAT研究范式和测验作答数据模拟的CAT研究范式。CAT模拟研究方法的步骤有模型选择、题库模拟、测试起点、选题策略、测验终止策略等。CAT模拟研究的主要趋势有:选题策略、终止策略仍然是CAT研究的重点;CAT模拟研究的设计内容更适合实际测验情况;CAT研究设计采取多因素设计;模拟结果多方面综合评价等。