计算机多阶段自适应测验的组卷方法

计算机多阶段自适应测验(MST)实施的关键是成功组建多个满足测验规范(即统计和非统计约束)的平行测验(或称测验面板),自动组卷(ATA)为实现测验平行提供了可能.现有的MST组卷方法研究主要包括以下几种:1)基于线性规范算法的组卷方法;2)基于启发式算法的组卷方法;3)基于蒙特卡洛算法的组卷方法;4)基于在线组卷的方法.该文讨论这几种方法的优缺点并进行比较,同时指出未来可进一步改进这种方法并开发基于认知诊断测验的自动组卷方法.

面向序列诊断的强化计算机自适应测验方法

计算机自适应测验旨在根据学生历史表现为学生选择合适的题目,快速有效地测量学生的真实能力.然而在智能教育场景下,现有自适应测验策略仍存在目标复杂和知识稀疏等问题.为此,文中构建用于智能场景的可精准测评学生知识能力的面向序列诊断的强化计算机自适应测验方法,包括基于序列诊断的学生模拟器和学生画像模型,并针对真实场景中自适应测验的目标复杂性,设计薄弱点准确率、预测表现耦合、自适应测验时长、测验异常率和测验的难度结构这5个评价指标.进一步地,提出基于强化学习的计算机自适应测验选题策略,利用双通道自注意力学习及矛盾学习模块缓解知识稀疏的问题.真实数据上的实验表明,文中选题策略不仅可高效测量学生真实能力,还可优化学生的作答体验,同时选择的题目也具有一定的可解释性,从而为智能教育场景下的计算机自适应测验提供一个可行方案.

计算机自适应测验有效性检验的探索与优化

计算机自适应测验(Computerized Adaptive Testing,CAT)的有效性检验是评定测验生成过程以及解释测验结果是否恰当、合理的必要步骤,然而系统性探讨CAT有效性检验的研究相对较少。为弥补其不足,文章在剖析CAT有效性检验内涵的基础上,首先梳理了基于IRT的题库、模拟CAT与真实CAT有效性检验的基本内容。然后,文章针对题库中试题逐渐向多维度和多模态转变的特点,提出利用高阶因子模型与多质多法模型对多维度与多模态试题进行有效性检验的方法;同时建议从测验公平性的角度,检验CLT与CAT中个体人格特质对被试作答表现的影响是否具有跨组不变性,最终形成了一套符合时代发展的CAT有效性检验的完整流程,以期为CAT的持续改进及其在教育实践中的普及推广提供助力。

国际中文计算机多阶段自适应测试的设计探索

国际中文测试目前以纸笔方式为主,计算机化测试为辅。虽然两种方式媒介不同,但均是一份试卷施测于所有考生。这种“多人一卷”的测试方式通常对能力分布两端的考生测量误差较大,导致整体测验信度下降。运用现代科学技术,对国际中文计算机多阶段自适应测试进行了研究设计。该测试分多个阶段进行,在跨越阶段时,系统会根据考生能力水平选择难度适当的试题模块供其作答。这种“量体裁衣”式的测试能够用更短的时间、更少的试题,更精确、有效地测量国际学生的中文语言能力。

基于非统计约束的计算机化自适应测验选题策略

计算机化自适应测验选题策略的优劣与测验的准确性、安全性、效率及信度等指标息息相关。然而,目前存在的选题策略在测验的效率和题库安全性方面难以取得平衡,所以,本文研究的重点在于寻找一种能够同时兼顾这两方面需求的选题策略。在本研究中,我们采用等级反应模型(GRM),提出了一种按区分度近似分布分层法(A-ADS)。实验结果表明,该方法在曝光率方面,当与按区分度分层和能力匹配法相结合的结果相接近时,A-ADS方法明显提高了测验的效率。

基于项目反应理论的计算机自适应测验系统在癌症患者中的研究进展

基于项目反应理论的计算机自适应测验(CATs)系统在癌症患者中具有良好的应用前景。目前,国外关于CATs在癌症患者应用领域的研究持续增加,如将CATs系统与医院电子健康系统等形式相结合,用于癌症患者的症状及功能筛查和评估或嵌入手机应用程序,用于癌症患者的随访或干预,并将相关数据用于临床辅助决策。国内CATs的研究则多集中于心理学和教育方面,在医学领域尤其是癌症患者方面的应用研究尚少有报道,有待深入探索。本文介绍了CATs系统在癌症患者中的构建研究,并分析其在症状、功能的筛查及评估、生活质量评估与临床决策中的应用,以期为促进CATs在癌症照护领域中的应用实践提供参考。

计算机化多阶段自适应测验研究述评

计算机化多阶段自适应测验是基于计算机技术的测验形式,它将题目集合作为测试单元,通过多阶段自适应的形式对被试进行测试和评分。近年来通过研究各种测验形式,发现其比计算机化自适应测验和纸笔测验突显出更大优势。与纸笔测验相比,其具有参数不变性、能力估计更精确等优势。与计算机化自适应测验相比,其具有可控制题目特性、被试可检查题目等优势。如何减小测量误差,使其应用更加便捷、有效,是未来研究的发展方向。

等级反应模型下计算机化自适应测验选题策略

计算机化自适应测验(CAT)中的选题策略,一直是国内外相关学者关注的问题。然而对多级评分的CAT的选题策略的研究却很少报导。本研究采用计算机模拟程序对等级反应模型(G raded Response Model)下CAT的四种选题策略进行研究。研究表明:等级难度值与当前能力估计值匹配选题策略的综合评价最高;在选题策略中增设“影子题库”可以明显提高项目调用的均匀性;并且不同的项目参数分布或不同的能力估计方法都对CAT评价指标有影响。

引入曝光因子的计算机化自适应测验选题策略

在计算机化自适应测验(CAT)的研究中,制定既高效又安全的选题策略是一个追求目标。用极大项目信息量准则(MIC)选题使得测验效率高、能力估计准确,缺点是项目调用很不均匀,影响考试的安全;按a分层法通过控制试题曝光率以提高考试的安全性,但该方法可能会使测验效率略有下降,且该方法在各层内部无法实现对区分度的调整。本文针对上述两种选题策略的优缺点,对0-1评分下的CAT,通过引入曝光因子、分阶段自动调整区分度的影响以及提高选题准确性等手段,对MIC和a-STR进行改进,引入了两类新的选题策略。计算机模拟实验显示,新的选题方法效果比较理想。

多级评分题计算机自适应测验选题策略比较

研究比较了多级评分题计算机化自适应测验五种选题策略的优劣。应用的IRT模型是Sam ejim a的等级反应模型。参加比较的选题策略有难度均值与能力匹配法、难度中值与能力匹配法、信息量最大法和两种A分层法。比较指标采用了能力估计值返回真值偏差、能力估计标准差、人均用题数和试题调用次数标准差四个。研究采用蒙特卡罗模拟法,结果显示每种方法各有优劣,在分层得当情况下,A分层法(中)的综合效果最佳。

计算机化自适应测验在认知诊断中的应用

作为认知诊断与计算机化自适应测验相结合的产物,认知诊断计算机化自适应测验(Cognitive Diagnostic Computerized Adaptive Testing,CD-CAT)是对被试知识状态的自适应。它既有传统CAT所面临的普遍性问题,也有在认知诊断中遇到的特殊问题:由于认知诊断中涉及属性这一概念,CD-CAT与传统CAT有很大的差别。本文紧紧围绕属性引起的差异,分别从认知诊断模型、题库建设、起始规则、选题策略、被试知识状态估计和终止规则等几部分详细介绍CD-CAT的研究进展和存在的问题。

认知诊断计算机化自适应测验中新的选题策略:结合项目区分度指标

当前国内外大部分认知诊断计算机化自适应测验(CD-CAT)主要采用PWKL作为选题策略进行研究。PWKL结合后验分布信息对KL指标进行加权,提高了判准率,但该方法仅利用个体层面信息加权,忽视了项目本身能够提供的信息,属于单源指标。本研究结合认知诊断中的项目区分度信息,对PWKL进行修正,提出了4种新的多源选题策略:GIDPWKL、AIDPWKL、CIDPWKL和KLEDPWKL方法,并在加入曝光控制下与PWKL和互信息法(MIM)进行比较。模拟研究结果表明:(1)在定长测验情景下的绝大多数实验结果表明,测验长度越短,新方法的判准率越高。平均属性/模式判准率最高的是GIDPWKL,之后是AIDPWKL,而CIDPWKL、KLEDPWKL和MIM方法的优势随实验条件不同而不同。(2)在定长测验情景下的绝大多数实验结果表明,题目质量越高,新方法的优势越明显。(3)Q矩阵结构的复杂性会影响不同选题策略的表现。(4)在变长测验情景下,4种新方法和MIM的平均测验长度均要低于PWKL方法,表现最好的是GIDPWKL方法。因此,若实际测验情景与本研究的模拟情景相似,推荐GIDPWKL方法。

基于属性掌握概率的认知诊断计算机化自适应测验选题策略

在认知诊断计算机化自适应测验(CD-CAT)中,被试对每个属性的掌握概率更直接地反映了被试能力的当前估计值。因此,基于被试的属性掌握概率来构建选题策略,选择最能改变被试属性掌握概率的题目作为下一个测验项目,这应该是一个值得尝试的方案。本文借鉴已有相关研究的数据生成模式进行探索,模拟实验结果表明:假设属性间相互独立,在定长(长度为16)、变长(长度为16或后验属性掌握模式概率达到0.8)以及短测验(长度分别为4、6、8、10)的情况下,基于属性掌握概率的选题策略PPWKL和PHKL有较好的分类准确率,在题目曝光率,题库使用均匀性等方面也有较好的表现;与研究较多的PWKL、HKL等策略相比,也略有优势;当属性间存在不同程度的相关时,在定长、变长以及较短的测验条件下,基于PHKL和MI的测验对知识状态估计精度较好,基于PPWKL和PHKL的测验综合表现占优。

计算机化自适应诊断测验中原始题的属性标定

认知诊断测验项目开发成本较高,要标定大量项目的属性相当费时费力,专家完成这一任务也比较困难。对于在计算机化自适应诊断测验中的项目属性的标定尚未见到报导。在已有的为诊断测验开发的小型题库基础上,本文在计算机化自适应认知诊断测验过程中,植入原始题,对项目属性标定的问题进行探讨,重点研究原始题属性标定的方法及其影响因素,除了MMLE方法和MLE方法外,还建立了一种新的可用于所有非补偿认知诊断模型的属性标定的方法——交差方法。MonteCarlo模拟结果显示,MMLE方法较MLE方法好;在知识状态估计精度较高时,自适应植入原始题较随机植入原始题有一定的优势;随着知识状态估计精度提高和原始题作答次数增加,交差方法与MLE方法基本相当,只是在发散型和无结构型表现欠佳,但是交差方法不需要预先设定项目参数值。

在线标定技术在计算机化自适应测验中的应用

计算机化自适应测验(Computerized Adaptive Testing,CAT)近年来得到迅猛发展,题目增补对CAT的题库建设与维护至关重要。新题标定作为题目增补过程中的技术难点,它的精度直接影响被试能力估计的准确性,目前在线标定技术经常用于标定新题。从在线标定设计和在线标定方法两个方面,对两类CATs(以项目反应理论为基础的传统CAT以及以认知诊断理论为基础的认知诊断CAT(Cognitive Diagnostic CAT,CD-CAT))中的在线标定相关研究进行述评。传统CAT领域有着较丰富的研究,而CD-CAT的在线标定研究则刚刚起步。未来研究应进一步探讨在线标定设计/方法之间的比较与结合,以及CD-CAT和多维CAT的在线标定研究。

多级评分计算机化自适应测验动态综合选题策略

多级评分可以提供更多关于被试的信息,是计算机化自适应测验的一个发展方向,选题策略是计算机化自适应测验的研究重点。对于多级评分的等级反应模型,本文拟用区间估计的思想改进近期提出的几种选题策略,并且将两级评分b-STR和a-STR推广到多级评分以改进最大信息量选题策略。Monte Carlo模拟实验表明在达到或接近原有选题策略测验精度的基础上,本文提出的几种新选题策略有的能够有效降低测验长度,有的可以极大降低项目曝光率。

认知诊断计算机化自适应测验中在线标定方法的开发

项目增补对认知诊断计算机化自适应测验(CD-CAT)中的题库维护至关重要。在传统CAT中,在线标定方法经常用于估计新题的项目参数。然而直到现在,在CD-CAT领域还没有任何关于在线标定的论文公开发表。为将传统CAT中3种有代表性的在线标定方法(MethodA、OEM和MEM)推广至CD-CAT(CD-MethodA、CD-OEM和CD-MEM)建立分析基础,并采用模拟方法对这3种方法进行比较。研究表明:CD-MethodA方法在项目参数的返真性方面优于其它两种方法;自适应标定设计较随机标定设计可以提高项目参数的返真质量。

具有认知诊断功能的计算机化自适应测验的研究与实现

构造具有认知诊断功能的计算机化自适应测验(Computerized Adaptive Testing,CAT),关键在于设计不同于传统CAT的选题策略。本文采用先认知诊断后估计能力的方法,在诊断阶段用状态转换图描述特定认知领域中所有知识状态及这些状态之间的联系,以图的深度优先搜索方法为基础设计选题策略;而在能力估计精细化阶段,每个被试所测项目,不仅与其能力估计值相匹配,且只与其所掌握的属性相关。本文采用蒙特卡罗模拟针对三种不同的属性结构进行试验,结果良好。

认知诊断计算机化自适应测验中的项目增补

项目的增补对认知诊断计算机化自适应测验(CD-CAT)题库的开发与维护至关重要。借鉴单维项目反应理论(IRT)中联合极大似然估计方法(JMLE)的思路,提出联合估计算法(JEA),仅依赖被试在旧题和新题上的作答反应联合地、自动地估计新题的属性向量和新题的项目参数。研究结果表明:当项目参数相对较小且样本量相对较大时,JEA算法在新题属性向量和新题项目参数估计精度方面表现不错;而且样本大小、项目参数大小以及项目参数初值都影响着JEA算法的表现。

计算机化自适应诊断测验新的选题策略

提出了一种既能满足属性平衡又能有效处理相似属性模式的新方法——改进的极大化整体判别认知诊断模型信息量指标法(MGCDI).对无结构型的属性,讨论定长CD-CAT的选题策略.研究结果表明,使用相同选题策略选题时,先选择可达矩阵的所有列对应的项目比不使用这些项目的诊断准确率高.