国际中文计算机多阶段自适应测试的设计探索

国际中文测试目前以纸笔方式为主,计算机化测试为辅。虽然两种方式媒介不同,但均是一份试卷施测于所有考生。这种“多人一卷”的测试方式通常对能力分布两端的考生测量误差较大,导致整体测验信度下降。运用现代科学技术,对国际中文计算机多阶段自适应测试进行了研究设计。该测试分多个阶段进行,在跨越阶段时,系统会根据考生能力水平选择难度适当的试题模块供其作答。这种“量体裁衣”式的测试能够用更短的时间、更少的试题,更精确、有效地测量国际学生的中文语言能力。

中文版PROMIS癌症特异性抑郁项目库计算机自适应测试版本的构建及测试

目的评估中文版患者报告结局测量信息系统(Patient Reported Outcome Measurement Information System,PROMIS)癌症特异性抑郁项目库的心理测量学属性,构建计算机自适应测试版本(PROMIS Cancer Depression CAT),并评价其效果。方法采用便利抽样法选取2020年11月—2021年7月在上海2所三级甲等医院的648例癌症患者作为研究对象。在心理测量学评估中,首先基于Rasch模型采用残差的主成分分析、条目残差相关系数、条目特征曲线检验PROMIS癌症特异性抑郁项目库的单维性、局部独立性、单调性假设;其次,通过Rasch模型中的选项特征曲线对选项进行拟合,采用Rasch模型中的Infit MNSQ、Outfit MNSQ、难度参数对每个条目进行拟合;最后,将经过校准后的项目库内容作为PROMIS Cancer Depression CAT的题库,采用Post-hoc模拟方法评价PROMIS Cancer Depression CAT的测量效率和准确性。结果PROMIS癌症特异性抑郁项目库由测试解释的经验方差为68.6%,条目之间的残差相关值都小于0.70,条目特征曲线是单调递增曲线。PROMIS癌症特异性抑郁项目库中的5个选项的峰值均未被相邻选项的特征曲线覆盖,5个选项之间阈值的间隔均大于1且小于5,条目的Infit MNSQ值为[0.54,1.49],Outfit MNSQ值为[0.55,1.49],选项和条目的拟合均在理想范围内,可作为构建PROMIS Cancer Depression CAT的项目库。Post-hoc模拟执行CAT的θ值与整个项目库的θ值相关系数为0.964,选择的平均使用条目数为6.348个。结论中文版PROMIS癌症特异性抑郁项目库满足单维性、局部独立性以及单调性假设,可以用来构建PROMIS Cancer Depression CAT。基于PROMIS癌症特异性抑郁项目库参数构建的计算机自适应测试版本能够高效、准确地测量癌症患者的抑郁水平。

基于模拟退火算法的计算机自适应测试项目选择方法研究

项目选择方法是计算机自适应测试中最重要的组成部分之一,传统的方法是根据信息函数选择具有最大信息量的测试项目,达到对考生能力水平精确估计的目的。然而,该方法存在部分项目曝光率过高以及测试内容不平衡等问题。针对这些问题,提出一种新的启发式项目选择方法,即把有记忆的模拟退火算法应用到多约束的项目选择中。研究结果表明,与最大信息量方法相比,该方法在保证相同测量精度的条件下,可以较好地控制项目曝光率以及达到内容平衡。

计算机自适应测试研究进展

科学技术的不断发展 ,考试的手段和媒介也在发生着革命性的变化。自适应测试就是随着考试理论的不断发展而发现的 ,随着计算机的普及 ,计算机化自适应测试 (CAT)的应用也越来越广泛。本文首先介绍计算机化自适应测试的概况 ;然后着重介绍了计算机化自适应测试的理论基础———项目反应理论 (IRT) ;列举了一部分到目前为止已取得的与计算机化自适应测试相关的成果 ;最后 ,总结了目前计算机化自适应测试面临的一系列问题 ,并针对这些问题提出了一些解决的手段。

计算机自适应性测验(CAT)选题策略的新进展

在计算机自适应性测验 (CAT)中 ,传统的项目选题策略正面对越来越多的问题 ,比如 :测验的安全 ,项目的曝光率 ,项目的平衡应用等等。分层选题策略的新发展 -A -STR和BAS -选题策略部分地解决了传统的选题策略所面临的难题。能够有效地控制高区分度项目的曝光率 ,增加低区分度项目的曝光率 ,平衡项目的应用 ,提高测验效率 ,降低测验成本等等。为计算机自适应测验的选题策略提供了一种更加有效的方法 。

PETS计算机自适应序列测试设计与模拟研究

根据PETS考试的特点,结合计算机自适应序列测试(CAST)的优势,该研究提出并设计了PETS-CAST测试。为了检验PETS-CAST测试系统的性能,该研究利用PETS试题的真实难度参数和模拟的考生能力参数生成相应的原始得分矩阵,并根据路径规则实现适应性的模块选择。研究结果表明,PETS-CAST所设计的路径能够满足不同能力水平考生的要求,且各条路径的测量精度均能够达到CAST考试的要求。曝光率方面的研究则说明,PETS-CAST应该在设计题池时充分考虑试题模块在数量方面的配置。该模拟研究为PETS-CAST的具体实施在理论和实践层面做了一些有益的尝试。

基于决策理论的计算机自适应分类测试研究

研究了基于决策理论进行构建自适应分类测试模型以及使用该模型进行计算机自适应分类的测试过程.在实施过程中,首先根据分类和考生的先验信息以及观测到的考生的反应模式,采用最小差错概率决策准则对考生的掌握程度进行最优的估计;然后基于最小期望成本的方法为考生选择合适的测试项目;最后采用序贯概率比检验方法决定测试的终止并得到最终的分类结果.该方法基于弱假设,具有执行简单、分类效果好等优点.

计算机自适应测试研究进展与展望

近年来,计算机自适应测试逐渐成为现代教育评价领域的研究重点。在这种测试形式中,通过项目反应理论对项目与被试之间的关系进行建模,然后使用计算机对被试的能力水平进行估计以及实时的选择项目。文章对计算机自适应测试的发展过程进行了综述,讨论了计算机自适应测试的最新研究成果,指出目前存在的问题以及未来的发展趋势。

两种PETS计算机自适应序列测试框架比较研究

根据PETS考试的特点,结合计算机自适应序列测试(CAST)的优势,研究者提出并设计了1-3-5三阶段和1-2-5-5四阶段两种PETS-CAST测试框架。为了检验两个测试框架的性能,研究者模拟生成了样本量分别为500、1000、3000、5000四个考生群体的能力值,然后,利用蒙特卡罗模拟方法,在试题参数已知的CAST框架上模拟生成考生的作答反应。研究结果表明,随着阶段的增加,自适应序列测试提供了更多的测验信息,能力估计的标准误逐渐减小,模拟能力与估计能力呈现出高相关。1-2-5-5四阶段测试对考生能力估计及分类决策的准确性更高,结果更为可靠。该模拟研究为PETS-CAST的具体实施在理论层面做了一些有益的尝试。

创建用于心理咨询师职业资格考试培训的计算机自适应测试

本文介绍了心理咨询师职业资格考试培训的计算机自适应测试的结构和创建过程。不同于高风险测试,将计算机自适应测试运用于心理咨询师考试培训能够较快的定位学员的能力水平,而不需要过度考虑题目曝光和测量精度的问题。同时,根据胜任力模型创设的计算机自适应测试还具有认知诊断功能,可以较好的定位学员能力的欠缺方面,为进一步加强针对性的学习提供测试结果反馈。

计算机自适应测验的测试流程与测试技术

计算机自适应测验是现代教育测验的一种新形式。计算机自适应测验的指导理论和测试思想与传统纸笔测验不同,而且测试方面有诸多的优点。本文详细论述计算机自适应测验的基本测试流程,包括被试即时能力估计、选题策略、曝光率控制、测验终止标准等八个基本步骤;并进一步论述了计算机自适应测验在实测中应解决的关键技术与问题:在线参数估计、试题与测验交叠率控制、纸笔测验与计算机等值、多维评价与认知诊断等。

基于项目反应理论的计算机自适应测试算法的研究与实现

随着教育测试理论的不断发展,计算机自适应测试得到了广泛的研究与应用,本文在项目反应理论的基础上,采用三参数Logistic模型进行研究,提出了一种有效的计算机自适应测试算法,从而提高测试的效率和准确性,实现对应试者能力水平的估计。

计算机自适应测试系统的算法

建立一套科学、有效、公平的考试系统是现代测试系统中不可缺少的。文中基于项目反应理论的Logistic模型,介绍了自适应测试系统的基本流程,重点解决了在实现过程中必须解决的几个关键问题,极大地提高了测试的效率和准确性。

计算机自适应测验的测试流程与测试技术

计算机自适应测验是现代教育测验的一种新形式。计算机自适应测验的指导理论与传统纸笔测验不同,而且测试方面有诸多的优点。本文详细介绍计算机自适应测验的基本测试流程,包括被试即时能力估计、选题策略、曝光率控制、测验终止标准等八个基本步骤;并进一步论述了计算机自适应测验在实测中应解决的关键技术与问题:在线参数估计、试题与测验交叠率控制、纸笔测验与计算机等值、多维评价与认知诊断等。

项目反应理论及其在计算机自适应测试中的应用

项目反应理论IRT(Item Response Theory)以强假设为基础,具有经典测试理论(CTT)所没有的众多优点,是计算机自适应测试的新突破.本文介绍了IRT的特点,以及基于IRT的计算机自适应测试(Computer Adaptive Test)工作原理、需要解决的难题以及相关设计原理.

计算机自适应测试模型研究

文章针对传统测试过程中存在的问题,在项目反应理论研究基础上,主要对二参数和三参数Logistic模型进行对比研究,通过研究提出了一种改进的计算机自适应测试模型,从而实现了因人施测,并通过测试结构有效的对被测试者的能力水平进行估计。

“双减”背景下计算机化自适应多阶段测试的设计与算法改进

计算机化自适应多阶段测试是精准减负的一种有效手段,因为它会自动引导学生尽可能作答与其能力水平相适应的题目,从而节省出作答太难或太易题目所浪费的大量时间和精力。不过,我国目前的一些计算机测试系统缺乏现代测评技术的有力支撑,部分题库在知识内容和能力维度的标识与编码、题目参数的估计与等值,以及分数的算法与使用方面存在着较大缺陷。本文简要分析了自适应测试的基本模式、操作流程、使用条件和主要优点,具体讨论了计算机化自适应多阶段测试系统的设计,以及基于测验总分的单参数logistic模型和基于作答反应模式的双参数logistic模型的算分方法,为提升计算机化自适应测试的水平,进而促进教师因材施教、减轻学生作业负担和考试负担提供了考试科学视角下的新办法。

计算机自适应测试系统研究综述

首先介绍计算机自适应测试的国内外研究现状,然后简要介绍自适应测试的理论基础,最后结合目前计算机自适应测试系统的不足,总结其未来的发展趋势。

浅析计算机自适应考试系统在大学英语测试中的应用前景

本文介绍了基于项目反应理论(IRT)的计算机自适应考试系统(CAT)的基本理论、设计思想和实现方法,探讨了CAT在语言测试应用中的优越性,指出在大学英语测试中采用CAT是大势所趋,我国高校英语教师应尽早熟悉和开展对CAT的研究与开发。

3V-JMLE法:计算机自适应测试中一种基于三值矩阵的联合参数估计方法

文章对计算机自适应测试中常用的参数估计法——联合极大似然估计(Joint Maximum Likelihood Estimation,JMLE)法进行了改进,提出了一种基于三值矩阵的联合参数估计方法——3V-JMLE法。基于此,文章以作答反应数据库中被试作答信息为样本,分别采用JMLE法、3V-JMLE法进行参数估计,其对比结果表明:在理想作答矩阵下,3V-JMLE法和JMLE法具有同等的参数估计精度和计算效率;在非理想作答矩阵下,采用JMLE法进行参数估计存在一定的局限性,而采用3V-JMLE法具有很高的参数估计精度并大大提高了计算效率。3V-JMLE法的提出,对于联合参数估计方法的实际估计参数过程有重要指导意义。