基于称名反应模型的CD-CAT选题方法比较研究

当前大多数CD-CAT有关的研究都是基于0-1计分的数据资料展开的,而在实际的教育与心理测验中,还包含大量称名反应数据。本文基于称名反应认知诊断模型(NR-cRUM)开发了适用于称名反应数据的CD-CAT(以下简称NCDCAT),并将7种0-1计分CD-CAT的选题方法引入NCD-CAT中。比较不同条件下,不同选题方法对被试判准率和测验效率的影响。结果表明NR_PWCDI、NR_MPWKL等PWKL系新方法和NR_SHE/MI方法能较好地适用于NCD-CAT,且在大多数条件下优于基线方法 NR_PWKL。研究拓展了称名多级计分CD-CAT的选题方法。

基于CD-CAT的多策略RRUM模型及其选题方法开发

在有多种解题策略的认知诊断问题情境中,用每个Q矩阵表示一种解题策略,由此将单策略认知诊断RRUM模型拓广为多策略RRUM模型(MS-RRUM)。随后,在应用MS-RRUM模型的CD-CAT中开发了适用于多策略情境的MAP参数估计法和多策略香农熵(MSSHE)选题法。将MSSHE选题法与随机选题法分别在不同属性数量、不同测验长度下进行比较,结果发现前者对被试的策略和认知状态判准率都显著优于后者,而且都很理想。这样就顺利实现了在CD-CAT做策略诊断的目标。

CD-CAT初始阶段项目选取方法

CD-CAT是CDA同CAT的相结合的产物,适用于课堂教学,是教师补救教学、学生自我学习的重要工具。作为CD-CAT重要组成部分的初始阶段项目选取方法是影响测验判准率的重要因素。本文基于现有研究和CDA的项目区分度提出了四种新的初始阶段项目选取方法:CTTID法、CDI法、CTTIDR*法和CDIR*法。通过模拟研究发现,在定长的CD-CAT下,题库质量是HD-HV下,初始阶段结束时,CTTIDR*法的PCCR比现有的T阵法高了.2999,比PWKL高了.1707,其它题库下趋势相同。整个测验结束时CTTIDR*法的判准率仍然是最高的。在变长的CD-CAT下,最大后验概率大于.7、.8、.9下,CTTIDR*法的被试平均测验长度比T阵法分别缩短了2.6170、2.2347、1.7470道题。

基于混合模型(Mixed-CDMs)视角的CD-CAT及其应用研究

传统CD-CAT通常选择一个认知诊断模型(Cognitive Diagnosis Model, CDM)标定题库参数,但在实际应用中一个CDM很难完全拟合题库中所有的题目。本文提出了一种基于混合模型(Mixed-CDMs)建立CD-CAT的方法,该方法通过Wald检验为题库中每一题目选择一个恰当的CDM,并通过模拟研究和实际数据的应用分别比较了基于传统单一CDM(G-DINA, DINA, DINO,A-CDM, LLM, RRUM)和Mixed-CDMs建立CD-CAT的效果,选题策略包括SHE和MPWKL,终止规则采用了定长的方式。结果发现:基于Mixed-CDMs建立的CD-CAT在模式判准率和题库安全性的表现要全面优于传统方法,因此本文提出的基于Mixed-CDMs的CD-CAT具有较强的理论和实用价值。

基于不同CDM视角的CD-CAT题库建设

在CD-CAT题库建设过程中,选择合适的认知诊断模型(CDM)标定题库参数是一个关键的步骤.若一个题库均采用一个CDM来标定题库所有参数,则可能会造成模型资料失拟.提出了一种基于混合模型的题库建设思路,通过Monte Carlo模拟研究验证了基于混合模型建立题库的效果,并与传统的基于单一模型的题库建设进行了比较,为CD-CAT在选用合适的模型方面提供了理论借鉴.

兼顾能力与知识状态的Higher-Order CD-CAT选题方法

Higher-order CD-CAT的选题方法是传统单目标(即只对知识状态自适应)选题方法,这将导致被试能力的测量精度不高.基于此,在高阶模型和PWKL选题方法的框架下,该文开发了适用于Higher-order CD-CAT的新选题方法,该方法在选题时能同时兼顾能力和知识状态.实验结果表明:与传统选题方法相比,新选题方法的能力和知识状态估计精度都更高,并且在题库安全性上也具有明显的优势.

多级计分的CD-CAT曝光控制方法

相对于0-1计分,多级计分考察的认知能力水平更高,能够提供更丰富的诊断信息,同教学实践更相符,而现有研究中鲜有基于多级计分的CD-CAT.该文提出了5种新的曝光控制的选题策略,分别是BSCDI_A、BSCTTID_A、BSCDI_D、BSCTTID_D和RP_PWCDI,将这5种方法同已有的PWKL和RP_PWKL进行比较,并尝试将这7种选题策略从0-1计分拓展到多级计分.研究结果表明:不管是0-1计分还是多级计分,采用统一量纲后的综合指标进行评价时RP_PWCDI(β=0. 5)表现最好,题库使用均匀性各项指标均是最优,区分度分层方法(BSCDI_A、BSCTTID_A、BSCDI_D、BSCTTID_D)控制曝光的效果略差于RP法.在多级计分下,β值仍然具有调节判准率和题库使用的作用.

基于基尼指数的双目标CD-CAT选题策略

双目标CD-CAT的测验结果既可用于形成性评估也可用于终结性评估。基尼指数可度量随机变量的不确定性程度,值越小则随机变量的不确定程度越低。本文用基尼指数度量被试知识状态类别以及能力估计置信区间后验概率的变化,提出基于基尼指数的选题策略。Monte Carlo实验表明与已有的选题策略相比,新策略的知识状态分类精度和能力估计精度都较高,同时能有效兼顾题库利用均匀性,并能快速实时响应,且受认知诊断模型和被试知识状态分布的影响较小,可用于实际测验中含多种认知诊断模型的混合题库。

四种新的基于属性平衡的CD-CAT选题策略开发研究

基于属性平衡的CD-CAT选题策略能够保证每个认知属性被相当数量的题目测量,从而提高被试属性判准率,传统的基于属性平衡的选题策略包括MMGDI法和MGCDI法。本文针对传统的基于属性测量次数平衡选题策略进行改进,提出4种新的基于属性平衡的选题策略:RMGDI、RMCDI、SE-RMGDI、SE-RMCDI,前两种为基于属性测量次数平衡,后两种为基于属性测量精度平衡的选题策略。模拟研究表明:(1)定长CD-CAT条件下,短测验中,MMGDI表现最好,而长测验中,SE-RMGDI和SERMCDI的表现优于传统的属性平衡选题策略。(2)不定长CD-CAT条件下,RMGDI在判准率指标上表现优于传统的属性平衡选题策略,4种新的属性平衡策略在测量效率和综合指标上的表现均优于传统的选题策略。

兼顾测验效率和题库使用率的CD-CAT选题策略

CD–CAT中已有选题策略较注重测验效率,而对题库使用率不够重视。针对此问题,基于DINA模型,引入两种新的选题策略KLED和RHA,同时对HA进行模拟研究。结果显示:PWKL与KLED只在测验效率上具有优势;KLED若按属性向量分层,题库使用率有所提高,KLED比ED更容易推广到其他有显式表达的诊断模型场合;HA、RHA和RP–PWKL可较好兼顾测验效度和题库使用率,但RP-PWKL需设置项目的最大曝光率阈值。两种新选题方法在定长和变长CD-CAT都具有一定的应用价值。

可以兼顾策略、认知状态和能力的CD-CAT选题方法

当CD-CAT测验需要同时诊断被试的解题策略、认知状态并评估被试的宏观能力时,就需要在选题过程中兼顾这三个测量目标。用两种不同方式将多策略香农熵(MSSHE)指标与Fisher信息量相结合,提出多策略情境中的"带有信息量的有序度"指标(MSDWI)选题法与"先用MSSHE后用Fisher信息量"的两步选题法。基于多策略RRUM模型(MS-RRUM),将这两种方法与随机选题法在不同属性数量条件下进行模拟比较,结果表明:当属性数量为4个或6个时,两步选题法在策略判准率、认知状态判准率和能力估计精度三个方面都有最佳的效果。

多级评分的认知诊断计算机化适应测验

本文在0-1评分的CD-CAT基础上,拓展出了适合多级评分CD-CAT(ps CD-CAT)的认知诊断模型及选题策略,为实现多级评分CD-CAT提供了方法支持。Monte Carlo模拟实验结果表明:本文拓展的多级评分CD-CAT具有较理想的属性诊断正确率及测验效率和题库安全性,可以用于多级评分数据的CD-CAT;模拟实验还表明,整体来看PS-PWKL和PS-HKL两种选题策略具有较高属性判准率、题库安全性和高测验效率,且均优于PS-KL选题策略。总之,本研究对于进一步拓展CD-CAT在实践中的应用提供了认知诊断模型与选题策略等。

基于属性多级化的认知诊断计算机化自适应测验设计与实现

本研究在传统CD-CAT的基础上进行拓展,开发设计了可以处理属性多级化的CD-CAT(记为p CD-CAT),而且当测验所有属性的水平数Lk=2时则p CD-CAT可简化为CD-CAT,因此传统CD-CAT是本研究设计开发p CD-CAT的一个特例。Monte Carlo模拟实验结果表明:基于属性多级化框架下设计的p CD-CAT具有较好的诊断正确率、题库安全性和较高的测验效率,弥补了传统CD-CAT不足;当属性多级化时,若采用传统CD-CAT方法,则诊断正确率很不理想(属性模式判准不到30%),表明传统CD-CAT在属性多级化测验情景时不适宜,而本文设计的p CD-CAT是一种不错的选择(属性模式判准高达80%以上)。总之,本研究对于进一步拓展CD-CAT在实践中的应用提供了新方法和新技术支持。

可修改答案的认知诊断计算机化自适应测验研究

允许修改答案的认知诊断计算机化自适应测验(Reviewable Cognitive Diagnostic Computerized Adaptive Testing,RCD-CAT),有利于更准确诊断被试的知识状态,题目口袋法(Item Pocket,IP)为被试提供了缓存作答并修改的机会,改进的题目口袋法(Modified IP,MIP)对IP内修改的题目重新计分。模拟研究比较了IP、MIP、stocking Ⅰ和stocking Ⅱ在RCD-CAT效果,结果发现:stocking设计的效果最优,其中stocking Ⅱ的效果略优于stocking Ⅰ,IP法和MIP法判准率要低于传统CD-CAT,stocking设计在RCD-CAT具有较好的应用前景。

具有认知诊断功能的区块化自适应测验的提出及验证

CD-CAT以Q矩阵理论为基础,随着属性个数的增加,理想掌握模式的数量以指数的形式增加,这大大提高了计算难度,计算速度缓慢,判准率大幅降低。为了解决该问题,本文提出了具有认知诊断功能的区块化自适应测验(CD-BAT)。CD-BAT将单个的CD-CAT作为区块进行处理,把前一区块的信息作为先验信息用于后一区块的估计过程,并不断更新和修正前一区块的估计结果。模拟研究表明,CD-BAT的判准率略优于CD-CAT,题库质量下降时,这种优势逐渐加大。随着CD-BAT的区块的增加,其属性判准率呈现上升趋势。

基于Gini指数的认知诊断计算机化自适应选题策略

认知诊断计算机化自适应测验需要开发能较好权衡测量精度和题库使用均匀性的选题策略。本文基于被试知识状态类别的后验概率来定义Gini指数,其线性加权方式对分布的细微变化的反应比基于对数的香农熵更敏感,有利于在这种情况下选择不同的题目,能在保持测量精度的前提下提高题库使用均匀性。为此,本文开发了基于Gini指数的选题策略,并通过模拟实验与SHE、MPWKL、GDI和PWKL策略进行比较,结果表明新策略与SHE、MPWKL、GDI和PWKL策略相比,测量精度相近并提高了题库的利用率,综合来看,基于Gini指数的选题策略能够兼顾测量精度和题库使用均匀性。。

计算机自适应认知诊断测验选题策略综述

计算机自适应认知诊断测验(computerized adaptive testing with cognitive diagnosis,CD-CAT)是计算机自适应测验(computerized adaptive testing,CAT)的改进和拓展,不仅关注对被试者整体测试评估的能力,还关注被试者潜在的知识结构状态和技能。CD-CAT同CAT的选题策略一样,在整个测验过程中起着至关重要的作用。

基于属性掌握概率的认知诊断计算机化自适应测验选题策略

在认知诊断计算机化自适应测验(CD-CAT)中,被试对每个属性的掌握概率更直接地反映了被试能力的当前估计值。因此,基于被试的属性掌握概率来构建选题策略,选择最能改变被试属性掌握概率的题目作为下一个测验项目,这应该是一个值得尝试的方案。本文借鉴已有相关研究的数据生成模式进行探索,模拟实验结果表明:假设属性间相互独立,在定长(长度为16)、变长(长度为16或后验属性掌握模式概率达到0.8)以及短测验(长度分别为4、6、8、10)的情况下,基于属性掌握概率的选题策略PPWKL和PHKL有较好的分类准确率,在题目曝光率,题库使用均匀性等方面也有较好的表现;与研究较多的PWKL、HKL等策略相比,也略有优势;当属性间存在不同程度的相关时,在定长、变长以及较短的测验条件下,基于PHKL和MI的测验对知识状态估计精度较好,基于PPWKL和PHKL的测验综合表现占优。

计算机化自适应测验在认知诊断中的应用

作为认知诊断与计算机化自适应测验相结合的产物,认知诊断计算机化自适应测验(Cognitive Diagnostic Computerized Adaptive Testing,CD-CAT)是对被试知识状态的自适应。它既有传统CAT所面临的普遍性问题,也有在认知诊断中遇到的特殊问题:由于认知诊断中涉及属性这一概念,CD-CAT与传统CAT有很大的差别。本文紧紧围绕属性引起的差异,分别从认知诊断模型、题库建设、起始规则、选题策略、被试知识状态估计和终止规则等几部分详细介绍CD-CAT的研究进展和存在的问题。

计算机化自适应诊断测验新的选题策略

提出了一种既能满足属性平衡又能有效处理相似属性模式的新方法——改进的极大化整体判别认知诊断模型信息量指标法(MGCDI).对无结构型的属性,讨论定长CD-CAT的选题策略.研究结果表明,使用相同选题策略选题时,先选择可达矩阵的所有列对应的项目比不使用这些项目的诊断准确率高.