Designing of A Computerized Cognitive Adaptive Testing Model

Therecouldbenoscienceasweknowitwithoutmeasurement.Testing,includingallformsoflanguagetestingandpsychometricsitself,isoneformofmeasurement.Alanguagetestmaybedefinedasaprocedureforelicitinglanguageperformanceandaprocedureforassessingthatperformance.How...

CD-CAT中基于SCAD惩罚和EM视角的在线标定方法开发——G-DINA模型

G-DINA(the generalizeddeterministic input,noisy and gate)模型限制条件少,应用范围广,满足大量心理与教育评估测验数据的要求。研究提出一种适用于G-DINA等模型的同时标定新题Q矩阵与项目参数的认知诊断计算机化自适应测验(CD-CAT)在线标定新方法SCADOCM,以期促进CD-CAT在实践中的推广与应用。本研究分别基于模拟题库以及真实题库进行研究,结果表明:相比传统的SIE方法,SCADOCM在各实验条件下均具有较为理想的标定精度与标定效率,应用前景较好;SIE方法不适用于饱和的G-DINA等模型,其各实验条件下的Q矩阵标定精度均较低。

非参数CD-CAT题库Q矩阵优化设计

开展非参数CD-CAT题库Q矩阵的优化设计,并将它用于指导题库题目编制或选择,且它无需模型参数估计,这对于促进非参数CD-CAT进入课堂评价至关重要.受p-优化的启发,该文提出比例法生成优化Q矩阵,同时将已有的参数化模型题库设计方法推广到非参数化题库Q矩阵的优化设计.模拟研究结果显示:比例法和推广的融合法都有较好表现,而且当题库量较少时比例法更有优势.

基于IRT的计算机化适应性测验的概念、类型及特征

近年来,适应测验实践的需要,计算机化适应性测验(CAT)呈现多类型、多方向的发展态势。本文在总结梳理国内外相关文献基础上,讨论了基于项目反应理论(IRT)的CAT概念内涵,指出CAT的关键特征是试题难度参数与被试能力参数建立在同一量尺上;并依据概念内涵,将目前CAT多样化测验形式归纳为三个大类,包括基于IRT的认知诊断计算机化适应性测验、计算机化多阶段适应性测验、计算机化分类测验。CAT测验的三大类型各有其测量技术特点与实践应用优势,均具有良好的发展前景。

多值评分CD-CAT的选题策略研究

认知诊断计算机化自适应测验(Cognitive diagnosis computerized adaptive testing, CD-CAT)为心理和教育评估测验的发展提供了新的视角。目前,关于CD-CAT的研究主要是基于二值评分的模型展开,但是,在实际应用领域,存在很多多值评分数据。高效的选题方法是CD-CAT程序成功的核心要素,本研究提出了两种新的多值评分CD-CAT(polytomous CDCAT, PCD-CAT)的选题方法,期望后验方差(expected posterior variance, EPV)和最大期望距离(maximum expected distance,MED)。通过模拟实验比较了EPV和MED在PCD-CAT的效果。实验结果表明,与传统的选题方法相比,EPV和MED具有更高的测验精度和测验效率。最后,通过一个PISA数据分析检验了PCD-CAT在实际应用中的效果及其优势。

认知诊断计算机化自适应测验中新的选题策略:结合项目区分度指标

当前国内外大部分认知诊断计算机化自适应测验(CD-CAT)主要采用PWKL作为选题策略进行研究。PWKL结合后验分布信息对KL指标进行加权,提高了判准率,但该方法仅利用个体层面信息加权,忽视了项目本身能够提供的信息,属于单源指标。本研究结合认知诊断中的项目区分度信息,对PWKL进行修正,提出了4种新的多源选题策略:GIDPWKL、AIDPWKL、CIDPWKL和KLEDPWKL方法,并在加入曝光控制下与PWKL和互信息法(MIM)进行比较。模拟研究结果表明:(1)在定长测验情景下的绝大多数实验结果表明,测验长度越短,新方法的判准率越高。平均属性/模式判准率最高的是GIDPWKL,之后是AIDPWKL,而CIDPWKL、KLEDPWKL和MIM方法的优势随实验条件不同而不同。(2)在定长测验情景下的绝大多数实验结果表明,题目质量越高,新方法的优势越明显。(3)Q矩阵结构的复杂性会影响不同选题策略的表现。(4)在变长测验情景下,4种新方法和MIM的平均测验长度均要低于PWKL方法,表现最好的是GIDPWKL方法。因此,若实际测验情景与本研究的模拟情景相似,推荐GIDPWKL方法。

计算机化自适应诊断测验中原始题的属性标定

认知诊断测验项目开发成本较高,要标定大量项目的属性相当费时费力,专家完成这一任务也比较困难。对于在计算机化自适应诊断测验中的项目属性的标定尚未见到报导。在已有的为诊断测验开发的小型题库基础上,本文在计算机化自适应认知诊断测验过程中,植入原始题,对项目属性标定的问题进行探讨,重点研究原始题属性标定的方法及其影响因素,除了MMLE方法和MLE方法外,还建立了一种新的可用于所有非补偿认知诊断模型的属性标定的方法——交差方法。MonteCarlo模拟结果显示,MMLE方法较MLE方法好;在知识状态估计精度较高时,自适应植入原始题较随机植入原始题有一定的优势;随着知识状态估计精度提高和原始题作答次数增加,交差方法与MLE方法基本相当,只是在发散型和无结构型表现欠佳,但是交差方法不需要预先设定项目参数值。

认知诊断测验蓝图的设计

通常认为由属性和项目关联阵(即Q矩阵)的列对应的项目充任认知诊断测验中行为样本,其实这种做法不能有效防止理想反应模式的误判。如在测验之前便可确定欲测之属性及层级关系,找到可达阵,可证明可达阵的各个列对应的项目类在认知诊断测验中必不可少,否则在理想反应模式下就一定有一些被试会被误判。本文给出充分必要Q矩阵的概念,以区别Tatsuoka(1995,2009)讨论过的充分Q矩阵概念。充分必要Q矩阵才能有效指导测验的编制。

在线标定技术在计算机化自适应测验中的应用

计算机化自适应测验(Computerized Adaptive Testing,CAT)近年来得到迅猛发展,题目增补对CAT的题库建设与维护至关重要。新题标定作为题目增补过程中的技术难点,它的精度直接影响被试能力估计的准确性,目前在线标定技术经常用于标定新题。从在线标定设计和在线标定方法两个方面,对两类CATs(以项目反应理论为基础的传统CAT以及以认知诊断理论为基础的认知诊断CAT(Cognitive Diagnostic CAT,CD-CAT))中的在线标定相关研究进行述评。传统CAT领域有着较丰富的研究,而CD-CAT的在线标定研究则刚刚起步。未来研究应进一步探讨在线标定设计/方法之间的比较与结合,以及CD-CAT和多维CAT的在线标定研究。

变长CD-CAT中的曝光控制与终止规则

本研究借鉴传统计算机化自适应测验的思想,并结合认知诊断的特点,在认知诊断框架下提出了4种变长CD-CAT的终止规则,分别是属性标准误法(SEA)、邻近后验概率之差法(DAPP)、二等分法(HA)以及混合法(HM)。在未控制曝光和采用不同曝光控制条件下,与HSU法及KL法进行了比较。研究结果表明:(1)终止条件越严格,平均测验长度越长,按测验长度最大值终止的测验百分比越大,模式判准率越高。(2)当未加入曝光控制时,4种新的终止规则均有较好表现,与HSU法十分接近。随着最大后验概率预设值的增加或?的减小,模式判准率呈上升趋势,平均测验长度逐渐增加,但在题库使用率方面均较差。(3)当加入项目曝光控制时,6种变长终止规则下的题库使用率有了极大的提升,仍能保持较高的模式判准率,并且不同的曝光控制方法对终止规则的影响是不同的。其中,相对标准终止规则极易受到曝光控制方法的影响。(4)综合来看,SEA、HM以及HA法在各项指标上的表现与HSU法基本一致,其次为KL法和DAPP法。

基于CD-CAT的多策略RRUM模型及其选题方法开发

在有多种解题策略的认知诊断问题情境中,用每个Q矩阵表示一种解题策略,由此将单策略认知诊断RRUM模型拓广为多策略RRUM模型(MS-RRUM)。随后,在应用MS-RRUM模型的CD-CAT中开发了适用于多策略情境的MAP参数估计法和多策略香农熵(MSSHE)选题法。将MSSHE选题法与随机选题法分别在不同属性数量、不同测验长度下进行比较,结果发现前者对被试的策略和认知状态判准率都显著优于后者,而且都很理想。这样就顺利实现了在CD-CAT做策略诊断的目标。

计算机化自适应测验在认知诊断中的应用

作为认知诊断与计算机化自适应测验相结合的产物,认知诊断计算机化自适应测验(Cognitive Diagnostic Computerized Adaptive Testing,CD-CAT)是对被试知识状态的自适应。它既有传统CAT所面临的普遍性问题,也有在认知诊断中遇到的特殊问题:由于认知诊断中涉及属性这一概念,CD-CAT与传统CAT有很大的差别。本文紧紧围绕属性引起的差异,分别从认知诊断模型、题库建设、起始规则、选题策略、被试知识状态估计和终止规则等几部分详细介绍CD-CAT的研究进展和存在的问题。

认知诊断计算机化自适应测验中的项目增补

项目的增补对认知诊断计算机化自适应测验(CD-CAT)题库的开发与维护至关重要。借鉴单维项目反应理论(IRT)中联合极大似然估计方法(JMLE)的思路,提出联合估计算法(JEA),仅依赖被试在旧题和新题上的作答反应联合地、自动地估计新题的属性向量和新题的项目参数。研究结果表明:当项目参数相对较小且样本量相对较大时,JEA算法在新题属性向量和新题项目参数估计精度方面表现不错;而且样本大小、项目参数大小以及项目参数初值都影响着JEA算法的表现。

认知诊断计算机化自适应测验的题库使用均匀性初探

项目曝光控制是认知诊断计算机化自适应测验(CD-CAT)中亟需解决的重要问题之一。采用蒙特卡洛模拟方法对CD-CAT中五种常用选题策略(随机化方法、KL信息量方法、香农熵方法、后验加权的KL信息量方法和综合后验加权和距离加权的KL信息量方法)的题库使用情况进行探讨。结果发现:四种非随机化选题策略的题库使用均匀性较差、测验重叠率高,从而导致测验安全性较差;香农熵方法的判准率总是最高。今后可以将传统CAT中的项目曝光控制技术融入到CD-CAT选题策略中。

认知诊断计算机化自适应测验中在线标定方法的开发

项目增补对认知诊断计算机化自适应测验(CD-CAT)中的题库维护至关重要。在传统CAT中,在线标定方法经常用于估计新题的项目参数。然而直到现在,在CD-CAT领域还没有任何关于在线标定的论文公开发表。为将传统CAT中3种有代表性的在线标定方法(MethodA、OEM和MEM)推广至CD-CAT(CD-MethodA、CD-OEM和CD-MEM)建立分析基础,并采用模拟方法对这3种方法进行比较。研究表明:CD-MethodA方法在项目参数的返真性方面优于其它两种方法;自适应标定设计较随机标定设计可以提高项目参数的返真质量。

认知诊断CAT选题策略及初始题选取方法

计算机化自适应认知诊断测验(CD_CAT)是将认知诊断的基本理论、方法与计算机化自适应测验相结合的产物,是现代测量学发展的新领域。对于计算机化自适应测验(CAT)中的选题策略研究一直是国内外学者关注的问题,然而对于计算机化自适应认知诊断测验的选题策略研究却很少报导,而对于计算机化自适应认知诊断测验的初始题选取方法的研究却更少。本研究采用计算机模拟程序对HO-DINA模型下CD_CAT的五种选题策略及二种初始题选取方法进行研究。研究表明:不同初始题选取方法及选题策略均会影响对被试诊断的准确性及能力估计的精度;总体来看,对于二种初始题选取方法,本研究提出的"T阵法"优于传统的随机法;对于五种选题策略,SL_GDI法最优;初始题选取方法及选题策略的搭配中,"T阵法"和SL_GDI法的搭配最佳。

教育测量理论新进展及发展趋势

以多维项目反应理论和认知诊断理论为代表的现代教育测量理论的兴起反映了人们不满足于单一的测量分数、希望得到更加详细的诊断信息的现实情况。将测量理论与教育评价和考试等实践领域相结合产生了增值性评价、自适应测验以及计算机化自适应多阶段考试等应用研究。目前大多数前沿领域,如认知诊断和计算机化认知诊断测验,还处于理论研究的阶段,尚未在大规模测评项目中应用;但随着研究的不断深化以及实践领域的迫切需求,新一代测量理论势必在教育等领域发挥重要的作用。

认知诊断CAT中项目曝光控制方法的比较

项目曝光率关系到题库建设和测验安全,是计算机化自适应测验(Computerized Adaptive Testing,CAT)需要考虑的重要问题。在认知诊断CAT情形下,首先基于传统CAT中a-分层方法的思想提出按项目信息量对题库分层的分层多阶段(Stratified Multistage,SM)选题方法;然后将SM方法与项目合格(ItemEligibility,IE)方法相结合得到SMIE方法。在此基础上,开展模拟研究比较SM、IE、SMIE、最大修正优先指标(Maximum Modified Priority Index,MMPI)方法、限制阈值(Restrictive Threshold,RT)方法和限制进度(Restrictive Progressive,RPG)方法的选题表现。总体上,它们的测量精度从高到低依次为IE、SM、SMIE、RT、RPG和MMPI方法;项目曝光分布均匀性的优劣次序为MMPI、RPG、SMIE、RT、SM和IE方法;SMIE和RT方法能较好地平衡测量精度和项目曝光均匀性要求。

具有认知诊断功能的计算机化自适应测验的研究与实现

构造具有认知诊断功能的计算机化自适应测验(Computerized Adaptive Testing,CAT),关键在于设计不同于传统CAT的选题策略。本文采用先认知诊断后估计能力的方法,在诊断阶段用状态转换图描述特定认知领域中所有知识状态及这些状态之间的联系,以图的深度优先搜索方法为基础设计选题策略;而在能力估计精细化阶段,每个被试所测项目,不仅与其能力估计值相匹配,且只与其所掌握的属性相关。本文采用蒙特卡罗模拟针对三种不同的属性结构进行试验,结果良好。

认知诊断自适应测验选题策略探新

提出了一种新的认知诊断自适应测验选题策略和题库按项目所包含的属性模式分层方法.与传统方法相比,该方法不仅提高了测量精度而且可以提升选题速度.