使用题组反应模型缓解局部题目依赖性对多阶段测验的危害

尽管多阶段测验(MST)在保持自适应测验优点的同时允许测验编制者按照一定的约束条件去建构每一个模块和题板,但建构测验时若因忽视某些潜在的因素而导致题目之间出现局部题目依赖性(LID)时,也会对MST测验结果带来一定的危害。为探究"LID对MST的危害"这一问题,本研究首先介绍了MST和LID等相关概念;然后通过模拟研究比较探讨该问题,结果表明LID的存在会影响被试能力估计的精度但仍为估计偏差较小,且该危害不限于某一特定的路由规则;之后为消除该危害,使用了题组反应模型作为MST施测过程中的分析模型,结果表明尽管该方法能够消除部分危害但效果有限。这一方面表明LID对MST中被试能力估计精度所带来的危害确实值得关注,另一方面也表明在今后关于如何消除MST中由LID造成危害的方法仍值得进一步探究的。

计算机化多阶段测验的基本结构及其研究进展

计算机化多阶段测验(MST)主要由阶段和模块组成,在这样的框架结构下,计算机化多阶段测验不仅具备适应性考试的优点,而且能够发挥专家的智慧。本文介绍MST结构的特点和选择,梳理MST结构的相关研究。未来研究应进一步关注题库、考生能力分布等影响因素下的结构比较,并深入探讨分类测验的MST和多维MST的基本结构。

基于IRT的计算机化适应性测验的概念、类型及特征

近年来,适应测验实践的需要,计算机化适应性测验(CAT)呈现多类型、多方向的发展态势。本文在总结梳理国内外相关文献基础上,讨论了基于项目反应理论(IRT)的CAT概念内涵,指出CAT的关键特征是试题难度参数与被试能力参数建立在同一量尺上;并依据概念内涵,将目前CAT多样化测验形式归纳为三个大类,包括基于IRT的认知诊断计算机化适应性测验、计算机化多阶段适应性测验、计算机化分类测验。CAT测验的三大类型各有其测量技术特点与实践应用优势,均具有良好的发展前景。

计算机多阶段自适应测验的组卷方法

计算机多阶段自适应测验(MST)实施的关键是成功组建多个满足测验规范(即统计和非统计约束)的平行测验(或称测验面板),自动组卷(ATA)为实现测验平行提供了可能.现有的MST组卷方法研究主要包括以下几种:1)基于线性规范算法的组卷方法;2)基于启发式算法的组卷方法;3)基于蒙特卡洛算法的组卷方法;4)基于在线组卷的方法.该文讨论这几种方法的优缺点并进行比较,同时指出未来可进一步改进这种方法并开发基于认知诊断测验的自动组卷方法.

计算机化多阶段自适应测验研究述评

计算机化多阶段自适应测验是基于计算机技术的测验形式,它将题目集合作为测试单元,通过多阶段自适应的形式对被试进行测试和评分。近年来通过研究各种测验形式,发现其比计算机化自适应测验和纸笔测验突显出更大优势。与纸笔测验相比,其具有参数不变性、能力估计更精确等优势。与计算机化自适应测验相比,其具有可控制题目特性、被试可检查题目等优势。如何减小测量误差,使其应用更加便捷、有效,是未来研究的发展方向。

PISA测试中多阶段自适应测验的实施及启示

国际学生评估项目(Program for International Student Assessment,PISA)于2018年开始引入多阶段自适应测验(Multistage Adaptive Test,MSAT)技术,来测量学生的阅读素养水平。在此背景下,文章首先阐释了MSAT的核心概念,随后介绍了MSAT的实施过程,最后在综合考虑MSAT设计、实施和结果反馈等的基础上,总结出MSAT对我国教育质量监测的启示,即收集多模态交互数据、因地制宜地使用不同测验方式、综合使用多种题目类型以及增加可修改答案的功能等。文章旨在帮助教育工作者加深对MSAT的了解和认识,以促进MSAT技术在教育质量监测中的应用。

CD-MST初始阶段模块组建方法比较

具有认知诊断功能的计算机化多阶段测验(CD-MST)是CDA和MST相结合的一种测验方式。由于CD-MST自适应频次较少,初始阶段模块组建会影响整个测验的判准率。借鉴CD-CAT初始项目选取方法,根据CDA和MST自身特点,提出了7种CD-MST初始阶段模块组建方法,分别是随机法、选题策略法、R*矩阵法、CTTID法、CDI法、CTTIDR*法和CDIR*法。采用模拟研究对不同项目质量下7种方法的判准率进行了比较。研究结果表明,当初始阶段结束时,包含R*矩阵的方法判准率显著高于其他方法,尤其是CTTIDR*法;整个测验结束时,CTTIDR*法较其他方法仍然有优势,CDIR*法和R*矩阵法结果较为接近。选题策略法在初始阶段结束时判准率较低,甚至低于随机法,整个测验结束时,判准率同CDIR*法和R*矩阵法持平。4种项目质量对判准率影响较大,HD-HV题库下判准率最高,HD-LV次之,LD-HV较差,LD-LV最差。