一种多级评分的认知诊断模型:P-DINA模型的开发

当前绝大多数认知诊断计量模型仅适用于0-1评分数据资料,大大限制了认知诊断在实际中的应用,也限制了认知诊断的进一步推广和发展。本文对具有较好发展前景的DINA模型进行拓展,开发出适合多种评分(含0-1二级评分和多级评分)数据资料的P-DINA模型,同时采用MCMC算法实现模型参数的估计,并对该模型性能进行研究。结果表明:(1)本文开发的P-DINA模型无论是在无结构型属性层级关系下还是在结构型属性层级关系下,参数估计的精度均较高,参数估计的稳健性较强,说明开发的P-DINA模型基本合理、可行。(2)P-DINA模型可采用MCMC算法实现参数估计,且参数估计的精度较高。(3)整体来看,无结构型属性层级关系和结构型属性层级关系下,P-DINA模型在项目参数的估计精度上两者基本相当;但在被试属性判准率(MMR和PMR)上无结构型属性层级关系表现的稍差一些。(4)无结构型属性阶层关系下:模型诊断的属性个数越多,参数s估计的精度越差、属性诊断的正确率(MMR和PMR)越低,但参数g的估计精度越好;若想保证属性模式判准率在80%以上,建议诊断的属性个数不宜超过7个。总之,本研究为拓展认知诊断在教育学和心理学中的应用提供了一种新方法、新模型。

分离型的多级评分认知诊断模型开发及其应用研究

本文基于DINO模型开发出一种分离型的多级评分认知诊断模型(P-DINO模型),并采用Monte Carlo模拟与实证研究相结合的范式,探讨了新模型的性能与有效性。结果表明:(1)P-DINO模型参数估计精度较好,参数估计的稳健性较强。(2)采用MCMC算法可以实现该模型的参数估计,估计结果较理想。(3)测验长度的增加能有效提高模型的判准率,被试人数的增加对判准率的提高相对较小,属性个数的增加会降低判准率。(4)在抑郁症状评估中,P-DINO模型的表现要优于DINO模型与传统的抑郁症状评估。

重参数化的多分属性诊断分类模型及其判准率影响因素

多分属性比传统的二分属性提供更多更详细的诊断反馈信息,符合对知识技能的多水平要求,具有较好的应用前景。本文首先介绍了多分属性和多分Q矩阵的概念;之后重参数化了3个分别满足连接、分离和补偿缩合规则的多分属性诊断分类模型并研究了其判准率影响因素,结果发现它们的判准率(1)均随多分属性数量的增加而降低,建议实际使用中不宜高于5个;(2)均随多分属性的最高水平数增加而降低,建议实际使用中不宜高于4水平;(3)均随多分属性间统计相关性增加而增加,但影响不大;(4)受多分属性层级结构的影响较大;(4)受被试量影响不大;(5)均随题目数量增加而增加且影响较大。最后,针对"多分属性与多级评分的关系"和"多分属性与二分属性之间的关系"这两个问题进行了讨论。以期为实证研究者提供相关的理论支持和使用建议。

多级评分的认知诊断计算机化适应测验

本文在0-1评分的CD-CAT基础上,拓展出了适合多级评分CD-CAT(ps CD-CAT)的认知诊断模型及选题策略,为实现多级评分CD-CAT提供了方法支持。Monte Carlo模拟实验结果表明:本文拓展的多级评分CD-CAT具有较理想的属性诊断正确率及测验效率和题库安全性,可以用于多级评分数据的CD-CAT;模拟实验还表明,整体来看PS-PWKL和PS-HKL两种选题策略具有较高属性判准率、题库安全性和高测验效率,且均优于PS-KL选题策略。总之,本研究对于进一步拓展CD-CAT在实践中的应用提供了认知诊断模型与选题策略等。

认知诊断中Q矩阵和Q矩阵理论

Q矩阵和Q矩阵理论是认知诊断中一对容易混淆的概念,一方面需要强调它们的差异,另一方面对Q矩阵理论做一些补充,比如在一定条件下,多级评分的认知诊断中测验蓝图的设计原理.根据实测数据对测验蓝图Q矩阵修正的设想,以及认知诊断模型和多维项目反应模型的联系.

多级评分CAT的认知诊断方法

认知诊断因其能识别被试认知状态已成为CAT研究的重要部分之一,但目前研究大多都基于0-1评分,这与我国试题也采用多级评分现状不相适应.因此,研究基于多级评分的认知诊断具有重要意义.该文主要研究开发多级评分模型下有认知诊断功能的CAT测试系统,采用等级反应模型(GRM),使用先认知诊断后估计能力的方法.该系统的认知诊断正确率较高,且诊断结果较稳定,能力估计也较准确,测验安全性好.

基于HO-DINA模型的多级评分认知诊断模型的开发

本文对具有较好发展前景的HO-DINA模型进行拓展,将仅适用于0-1评分数据资料的HO-DINA模型拓广至可用于多级评分,采用MCMC算法实现了对新模型参数的估计,并对新模型性能进行了研究。

基于分部评分模型思路的多级评分认知诊断模型开发

基于分部评分模型的思路,本文提出了一般化的分部评分认知诊断模型(General Partial Credit Diagnostic Model,GPCDM),与国际上已有的基于分部评分模型思路的多级评分模型GDM(von Davier,2008)和PC-DINA(de la Torre,2012)相比,GPCDM的Q矩阵定义更加灵活,项目参数的约束条件更少。Monte Carlo实验研究表明,GPCDM模型的参数估计精度指标RMSE介于[0.015,0.043],表明估计精度尚可;TIMSS(2007)实证数据应用研究表明,与GDM和PC-DINA模型相比,GPCDM与该数据的拟合度更好,并且使用GPCDM分析该数据的诊断效果也更优。总之,本研究提供了一种约束条件更少、功能更为强大的多级评分认知诊断模型。

不同链接函数下多级评分认知诊断模型的比较及应用研究

认知诊断测验因具有传统测验所不具备的诊断功能而日益受到重视。当前多级评分认知诊断模型开发中,研究者采用不同的链接函数(link function)开发出不同的多级评分认知诊断模型。本研究基于局部或相邻类别链接函数(local or adjacent categories link function)的思想,开发出多级评分认知诊断模型LC-DINA。研究采用Monte Carlo模拟研究与实证应用研究相结合的方法,将新开发模型与已有模型进行比较并应用于国际数学与科学评估(TIMMS)中,为实际应用者提供借鉴。

重参数化多分属性DINA模型的多级评分拓广——基于等级反应模型

多分属性认知诊断模型(CDMs)比传统的二分属性CDMs提供更详细的诊断反馈信息,但现有大部分多分属性CDMs并不具备直接分析多级(或混合)评分数据的功能。本文基于等级反应模型对重参数化多分属性DINA模型进行多级评分拓广,开发一个可处理多级评分数据的等级反应多分属性DINA模型。首先通过实证数据分析呈现新模型的现实可应用性;然后通过模拟研究探究新模型的参数估计返真性。结果表明,新模型满足同时处理多分属性和多级评分数据的现实需求;且具备良好的心理计量学性能,但对测验质量有一定要求(如题目质量较高且测验Qp矩阵具有完备性等)。

属性多级和项目多级评分的认知诊断模型

认知诊断理论中属性多级和项目多级评分均能极大地丰富项目信息,提高诊断结果准确度.基于此对已有认知诊断模型扩展的属性多级和项目评分多级的认知诊断模型进行介绍,并基于认知诊断模型和相关理论研究视角,对当前认知诊断的发展方向提出思考和建议.

多级评分认知诊断模型述评

认知诊断评估旨在探讨个体内部的知识掌握结构,并提供关于学生认知优缺点的详细诊断信息,以促进个体的全面发展。当前研究者已开发了大量0-1计分的认知诊断模型,但对于多级计分认知诊断模型的研究还比较少。本文对已有的多级计分认知诊断模型进行了归纳,介绍了模型的假设,计量特征以及适用范围,为实际应用者和研究者在多级计分认知诊断模型的比较和选用上提供借鉴和参考。最后,对未来关于多级计分诊断模型的研究方向进行了展望。

纳入协变量信息的多级计分认知诊断模型

在多级计分协变量认知诊断框架下,提出了一种可同时纳入连续协变量信息和多类别协变量信息的多级计分认知诊断模型GPDM-C,实现了其DINA形态的GPDINA-C的MCMC参数估计。模拟研究的结果显示,GPDINA-C拥有较好的属性/模式判准精度和参数估计能力,相较于未纳入协变量信息的GPDINA,GPDINA-C有更好的模型表现,在参数估计精度上有较大优势。实证研究的结果同样表明,GPDINA-C相比于未纳入协变量信息的多级计分认知诊断模型,能更好拟合实证数据,估计得到的协变量影响参数能客观反映真实情况。