CD-CAT中基于SCAD惩罚和EM视角的在线标定方法开发——G-DINA模型

G-DINA(the generalizeddeterministic input,noisy and gate)模型限制条件少,应用范围广,满足大量心理与教育评估测验数据的要求。研究提出一种适用于G-DINA等模型的同时标定新题Q矩阵与项目参数的认知诊断计算机化自适应测验(CD-CAT)在线标定新方法SCADOCM,以期促进CD-CAT在实践中的推广与应用。本研究分别基于模拟题库以及真实题库进行研究,结果表明:相比传统的SIE方法,SCADOCM在各实验条件下均具有较为理想的标定精度与标定效率,应用前景较好;SIE方法不适用于饱和的G-DINA等模型,其各实验条件下的Q矩阵标定精度均较低。

非补偿的非参数化多策略认知诊断方法:NCNPMSC方法开发

心理与教育认知诊断测验中常常存在一个题目包含多种解题策略的情况,参数化的多策略认知诊断模型需要足够的样本量以保证模型参数估计的准确性,而学校和班级规模的诊断测验难以满足参数化模型的样本量要求。本研究开发了一种新的简洁高效的非参数化多策略认知诊断分类(NCNPMSC)方法,该方法不需要进行参数估计,即使样本量为1人也能实现诊断分类。本文通过两个模拟研究和实证数据分析证明了NCNPMSC方法进行多策略诊断分类的合理性和可行性,为多策略认知诊断提供了新的方法支持。

一种广义的非参数化Q矩阵修正方法

Q矩阵是认知诊断的基础,Q矩阵标定错误会影响被试分类的准确性。本研究基于非参数角度开发了不受模型限制的Q矩阵修正方法,并与已有参数化方法进行了比较。研究结果发现:(1)非参数的PLM方法可实现各模型下的Q矩阵修正,方法具有计算简单、方便使用且不受模型限制的特征。(2)非参数的PLM方法表现明显优于stepwise方法,而GDI方法和RSS方法的表现最差。(3)实证数据分析表明,PLM方法修正后的Q矩阵具有更好的相对拟合和绝对拟合结果。

一种非参数化的Q矩阵估计方法：ICC-IR方法开发

相对于参数化的方法,本研究根据题目测量模式关系开发出ICC指标,并提出基于理想得分的ICC指标法进行Q矩阵估计。Monte Carlo模拟研究与实证研究发现(1)基于理想得分ICC指标法估计Q矩阵具有很好的效果,当属性个数越少、基础题个数越多,估计效果越好。(2)相对于以往方法——D^2统计量的方法,ICC-IR法效果更好,并且是一种非参数化的方法,计算简单快捷。(3)实证数据分析表明,ICC-IR法估计的Q矩阵在模型拟合度上也优于D^2统计量方法。

一种简单有效的Q矩阵估计方法开发:基于非参数化方法视角

相对于参数化的Q矩阵估计方法,本研究将海明距离(Hamming Distance,HD)用于Q矩阵估计,开发出一种简单有效的非参数化的Q矩阵估计方法。模拟和实证研究发现(1)基于海明距离的Q矩阵估计法具有较高的估计正确率。(2)该方法简单易懂,运算时间短,是一种简单而有效的Q矩阵估计方法。(3)新方法对于Tatsuka(1990)分数减法测验的Q矩阵的估计准确率尚可,说明新方法在实测数据中也具有较好的效果。

基于分部评分模型思路的多级评分认知诊断模型开发

基于分部评分模型的思路,本文提出了一般化的分部评分认知诊断模型(General Partial Credit Diagnostic Model,GPCDM),与国际上已有的基于分部评分模型思路的多级评分模型GDM(von Davier,2008)和PC-DINA(de la Torre,2012)相比,GPCDM的Q矩阵定义更加灵活,项目参数的约束条件更少。Monte Carlo实验研究表明,GPCDM模型的参数估计精度指标RMSE介于[0.015,0.043],表明估计精度尚可;TIMSS(2007)实证数据应用研究表明,与GDM和PC-DINA模型相比,GPCDM与该数据的拟合度更好,并且使用GPCDM分析该数据的诊断效果也更优。总之,本研究提供了一种约束条件更少、功能更为强大的多级评分认知诊断模型。

一种广义的认知诊断Q矩阵修正新方法

本文提出了一种新的Q矩阵修正方法--两阶段法(two-stage method),该方法不仅适用于简化的认知诊断模型,也适合于饱和的认知诊断模型,在实践应用中更具灵活性。模拟研究和实证研究表明:第一,两阶段方法整体上优于国际上知名的ζ2法(de la Torre&Chiu, 2016);第二,两阶段方法受被试人数和Q矩阵的错误率影响较小,尤其在小样本时仍有相对理想的正确率;第三,实证数据研究表明,两阶段法修正后的Q矩阵与数据拟合更好。

基于混合模型(Mixed-CDMs)视角的CD-CAT及其应用研究

传统CD-CAT通常选择一个认知诊断模型(Cognitive Diagnosis Model, CDM)标定题库参数,但在实际应用中一个CDM很难完全拟合题库中所有的题目。本文提出了一种基于混合模型(Mixed-CDMs)建立CD-CAT的方法,该方法通过Wald检验为题库中每一题目选择一个恰当的CDM,并通过模拟研究和实际数据的应用分别比较了基于传统单一CDM(G-DINA, DINA, DINO,A-CDM, LLM, RRUM)和Mixed-CDMs建立CD-CAT的效果,选题策略包括SHE和MPWKL,终止规则采用了定长的方式。结果发现:基于Mixed-CDMs建立的CD-CAT在模式判准率和题库安全性的表现要全面优于传统方法,因此本文提出的基于Mixed-CDMs的CD-CAT具有较强的理论和实用价值。

基于类别水平的多级计分认知诊断Q矩阵修正：相对拟合统计量视角

多级计分认知诊断模型的开发对认知诊断的发展具有重要作用,但对于多级计分模型下的Q矩阵修正还有待研究。本研究尝试对多级计分认知诊断Q矩阵修正进行研究,并聚焦更具诊断价值的基于项目类别水平的Q矩阵修正。将相对拟合统计量应用于多级计分认知诊断Q矩阵修正,并与已有方法Stepwise方法(Ma&de la Torre,2019)进行比较。研究表明:BIC方法对多级计分认知诊断模型的Q矩阵修正具有较高的模式判准率和属性判准率,其对Q矩阵的恢复率也高于Stepwise方法,BIC方法修正后的Q矩阵与数据更加拟合;在复杂模型中,相对拟合指标BIC比AIC和-2LL表现更好,在实践中,使用者可以选择BIC法进行测验Q矩阵修正;Q矩阵修正效果受到被试人数的影响,增加被试人数可以提高Q矩阵修正的正确率。总之,本研究为多级计分认知诊断Q矩阵修正提供了重要的方法支持。

认知诊断模型的比较及其应用研究:饱和模型、简化模型还是混合方法

GDINA是一个饱和认知诊断模型,Wald检验被用于在题目水平上检验GDINA是否可以被简化模型(如DINA,DINO,ACDM和CRUM)替代,并为测验的每一个题目选择一个最恰当的CDM(简称混合方法)。选择合适的CDMs是进行诊断评估的一个关键步骤,通过Monte Carlo模拟实验,比较了不同的测验情境下,GDINA、简化CDMs和混合方法在测验整体拟合指标、模式判准率和项目参数估计的返真性等效果,研究发现混合方法的整体表现是最好的,其次是GDINA,最后是简化CDMs。

可修改答案的认知诊断计算机化自适应测验研究

允许修改答案的认知诊断计算机化自适应测验(Reviewable Cognitive Diagnostic Computerized Adaptive Testing,RCD-CAT),有利于更准确诊断被试的知识状态,题目口袋法(Item Pocket,IP)为被试提供了缓存作答并修改的机会,改进的题目口袋法(Modified IP,MIP)对IP内修改的题目重新计分。模拟研究比较了IP、MIP、stocking Ⅰ和stocking Ⅱ在RCD-CAT效果,结果发现:stocking设计的效果最优,其中stocking Ⅱ的效果略优于stocking Ⅰ,IP法和MIP法判准率要低于传统CD-CAT,stocking设计在RCD-CAT具有较好的应用前景。

多维计算机化自适应测验选题策略的开发及比较

本研究提出一种新的多维计算机化自适应测验(MCAT)选题策略,并将现有及本研究新提出的MCAT选题策略归纳为三类进行了较为系统全面的Monte Carlo模拟实验比较。结果表明:A-优化方法、后验期望KL信息方法 (KB)和本文提出的修正的连续熵方法 (MCEM)在各自类别中估计精度最高;结合题库安全性来看,MCEM综合表现最好。

基于不同CDM视角的CD-CAT题库建设

在CD-CAT题库建设过程中,选择合适的认知诊断模型(CDM)标定题库参数是一个关键的步骤.若一个题库均采用一个CDM来标定题库所有参数,则可能会造成模型资料失拟.提出了一种基于混合模型的题库建设思路,通过Monte Carlo模拟研究验证了基于混合模型建立题库的效果,并与传统的基于单一模型的题库建设进行了比较,为CD-CAT在选用合适的模型方面提供了理论借鉴.

认知诊断计算机化自适应测量技术在心理障碍诊断与评估中的应用

以现代测量理论为基础,该文尝试将认知诊断与计算机化自适应测验2项新技术应用于心理障碍(抑郁症)的诊断与测评,一方面探讨新技术在抑郁症诊断中的科学性与合理性,另一方面开发基于认知诊断计算机化自适应测验技术的抑郁症测评工具(简记为CD-CAT-D).研究共调查被试2 492人,经大样本数据标定及测量学指标筛选,题库最终保留136题;研究结果表明:在认知诊断理论框架下,CD-CAT-D具有较高的诊断分类一致性信度;若以PHQ-9量表作为效标,CD-CAT-D具有较理想的收敛效度和效标关联效度;同时,CD-CAT-D的灵敏度与特异度平均在0.850左右,以及AUC指标在0.80~0.90之间,这些都表明CD-CAT-D具有较理想的预测效果.这为心理障碍的诊断与评估提供了一种全新的方法和技术支持.

融合反应时的多级评分IRT模型开发及其应用研究

当前大多数融合反应时的IRT模型仅适用于0-1评分数据资料,极大的限制了IRT反应时模型在实际中的应用。本文在传统的二级计分反应时IRT模型基础上,拟开发一种多级评分反应时模型。在层次建模框架下,分别采用拓广分部评分模型(GPCM)和对数正态模型构建融合反应时的多级评分IRT模型(本文记为JRT-GPCM),并采用全息贝叶斯MCMC算法实现新模型的参数估计。为验证新开发的JRT-GPCM模型的可行性及其在实践中的应用,本文开展了两项研究:研究1为模拟实验研究,研究2为新模型在大五人格-神经质分量表中的应用。研究1结果表明,JRT-GPCM模型的估计精度较高,且具有较好的稳健性。研究2表明,被试的潜在特质与作答速度具有一定的正相关,且本研究结果支持Ferrando和Lorenzo-Seva(2007)提出的“距离-困难度假设”,即当被试的潜在特质与项目的难度阈限距离越远,那么被试会花费更多的时间对项目进行作答。总之,本研究为拓展反应时信息在心理测量及教育中的应用提供新的方法支持。

多级评分项目的多维CAT选题策略开发

本研究开发了两种新的适用于多级评分项目的多维计算机化自适应测验(PMCAT)的选题策略——修正的连续熵(RCEM)和修正的后验期望KL信息(MKB)方法,并与以往PMCAT的选题策略进行了对比研究。Monte Carlo实验结果表明:两种新开发的选题策略比原方法估计精度更高,并且RCEM方法在所有选题策略中曝光率最低。新开发的选题策略具有较理想的估计精度和曝光控制效果,为PMCAT在实践中的应用提供了新的方法支持。

结合题目作答时间的计算机化自适应测验选题方法

计算机形式的测验能够记录考生在测验中的题目作答时间(RT),作为一种重要的辅助信息来源,RT对于测验开发和管理具有重要的价值,特别是在计算机化自适应测验(CAT)领域。本文简要介绍了RT在CAT选题方面应用并作以简评,分析了这些技术在实践中的可行性。最后,探讨了当前RT应用于CAT选题存在的问题以及可以进一步开展的研究方向。

一种高效的CD-CAT在线标定新方法:基于熵的信息增益与EM视角

项目增补(Item Replenishing)对认知诊断计算机自适应测验(CD-CAT)题库的维护有着至关重要的作用,而在线标定是一种重要的项目增补方式。基于数据挖掘中特征选择(Feature Selection)的思路,提出一种高效的基于熵的信息增益的在线标定方法(记为IGEOCM),该方法利用被试在新旧题上的作答联合估计新题的Q矩阵和项目参数。研究采用Monte Carlo模拟实验验证所开发新方法的效果,并同时与已有的在线标定方法SIE、SIE-R-BIC和RMSEA-N进行比较。结果表明:新开发的IGEOCM在各实验条件下均具有较好的项目标定精度和项目估计效率,且整体上优于已有的SIE等方法;同时,IGEOCM标定新题所需的时间低于SIE等方法。总之,研究为CD-CAT题库中项目的增补提供了一种更为高效、准确的方法。

认知诊断框架下多级评分题目的DIF检测方法及其应用

本文对多级计分认知诊断测验的DIF概念进行了界定,并通过模拟实验以及实证研究对四种常见的多级计分DIF检验方法的适用性进行理论以及实践性的探索。研究结果表明:四种方法均能对多级计分认知诊断中的DIF进行有效的检验,且各方法的表现受模型的影响不大;相较于以总分为匹配变量,以KS为匹配变量时更利于DIF的检测;以KS为匹配变量的LDFA方法以及以KS为匹配变量的曼特尔检验方法在检测DIF题目时有着最高的检验力。