基于属性层级关系的rRUM模型优化--模型解释力及判准率的提升视角

以提高认知诊断模型判准率及对数据的解释力为视角,对当前应用较广泛的r RUM模型进行优化(优化后的模型简记为r RUM-AH),并采用Monte Carlo模拟研究及实证研究相结合的范式,比较分析了传统的r RUM模型和r RUM-AH模型的诊断正确率及诊断结果的解释力.研究结果表明:当属性间存在层级关系时,不论在何种实验设计条件下,优化后的r RUM-AH模型属性诊断正确率远远高于传统的r RUM模型;当属性间存在层级关系时,r RUM模型的模式判准率平均不到80%(而r RUM-AH模型平均高达90%以上),难于满足实际需求,此时实际应用者选用该研究新开发的模型是一个较好的选择.

一种评判认知诊断方法有效性的新指标:真实判准率

该文提出了TPMR和TAAMR 2种真实判准率指标,用于替代现有评判认知诊断方法有效性的指标PMR与AAMR,并分析新旧指标的区别,随后比较参数和非参数方法在新旧指标上的表现以及高判、低判、错判情况,为认知诊断的实践提供理论依据.研究发现:(i)TPMR、TAAMR相比于PMR、AAMR而言,更能真实地反映认知诊断方法的有效性;(ii)TPMR、TAAMR在不同条件下表现均较为稳定,相比PMR、AAMR更能区分认知诊断方法的优劣;(iii)从高低错判的角度来看,PNN更适合于实践应用.

一种非参数的多策略方法:多策略的海明距离判别法

将单策略汉明距离判别法(SS-HDD)拓展至多策略情境(MS-HDD),并通过多因素的模拟设计及与已有研究的比较,考察其精确性与适宜性.研究结果表明:1)MS-HDD构建思路简洁,无需前提假设和参数估计,计算简便;2)单策略情境:MS-HDD与SS-HDD具有等同的判别效果,且判准率均高于相同条件下的广义距离模型(GDD)和多策略广义距离模型(MSCD);3)多策略情境:MS-HDD具有与MSCD相当的PMR和SMR,MS-HDD可适于多策略测验情境.

一种可融入额外信息的机器学习诊断法

研究将PNN和曼哈顿距离、贝叶斯定理相结合,提出了一种相对简洁的可融入额外信息的认知诊断法MB-PNN,通过模拟和实证研究考察了MB-PNN的有效性和适宜性,得到以下结论:(1)M-PNN的判准率高于PNN,表明将PNN中的ED修改为MD是适宜的;(2)MB-PNN的判准率较M-PNN和PNN高,表明基于多种信息的判别较基于单一信息的判别更为精准;(3)MB-PNN保留了PNN原有的非参数优势,基本不受知识状态分布和样本容量影响;(4)MB-PNN最能区分不同类型的学生,在认知诊断评估实践中更为适宜。

几种常用非补偿型认知诊断模型的比较与选用：基于属性层级关系的考量

当前国际上开发了60多种认知诊断计量模型(Fu&Li,2007),各种模型各具特点,实际应用者应根据实际情况选用恰当的模型。本研究以属性层级关系为切入点,采用MonteCarlo模拟的研究方法,比较了属性层级关系正确及有误两种情况下,当前国际上常用的五种认知诊断模型的性能,以充分考察不同认知诊断模型对属性层级关系的依赖程度,及属性层级关系的错误界定对各认知诊断模型诊断正确率的影响,从而为实际运用者在认知诊断模型选用上提供借鉴和参考。

变长CD-CAT中的曝光控制与终止规则

本研究借鉴传统计算机化自适应测验的思想,并结合认知诊断的特点,在认知诊断框架下提出了4种变长CD-CAT的终止规则,分别是属性标准误法(SEA)、邻近后验概率之差法(DAPP)、二等分法(HA)以及混合法(HM)。在未控制曝光和采用不同曝光控制条件下,与HSU法及KL法进行了比较。研究结果表明:(1)终止条件越严格,平均测验长度越长,按测验长度最大值终止的测验百分比越大,模式判准率越高。(2)当未加入曝光控制时,4种新的终止规则均有较好表现,与HSU法十分接近。随着最大后验概率预设值的增加或?的减小,模式判准率呈上升趋势,平均测验长度逐渐增加,但在题库使用率方面均较差。(3)当加入项目曝光控制时,6种变长终止规则下的题库使用率有了极大的提升,仍能保持较高的模式判准率,并且不同的曝光控制方法对终止规则的影响是不同的。其中,相对标准终止规则极易受到曝光控制方法的影响。(4)综合来看,SEA、HM以及HA法在各项指标上的表现与HSU法基本一致,其次为KL法和DAPP法。

可以处理补偿作用的认知诊断模型:CDINA模型

对DINA和DINO模型进行改进,构建了一个比DINA和DINO模型更“一般”的模型,称为CDINA模型.除了猜测和失误参数之外,在CDINA模型中每个项目还包含1个补偿参数.构建的模型不仅保留了DINA模型简单和易于解释的特点,而且模拟和实证研究结果表明:(i)CDINA模型可同时处理项目属性之间是连接、部分补偿或完全补偿的情况(可将DINA和DINO看成是CDINA的特例),且CDINA模型具有较高的参数估计精度和被试分类准确率;(ii)通过比较CDINA、DINA、DINO模型的分类判准率和相对拟合指标,发现CDINA不会比DINA和DINO的分类准确率更低,且在存在部分补偿的情况下CDINA模型更优于DINA和DINO模型.

项目属性标错时可达阵补救作用的研究

以Q矩阵理论为基础,从分析专家给测验项目标定属性时可能出现的差错入手,设计不同的测验Q矩阵和模拟实验,分析比较在不同情况下的模式判准率,考察可达阵对测验Q矩阵标定出现差错时的补救作用.

题目属性向量平衡策略的认知诊断测验设计

为认知诊断测验制定的题目属性向量平衡(IAVB)策略强调测验必须体现认知模型,并将题目属性向量而不是以单个属性作为考察单位。该策略克服严格属性平衡(SAB)策略仅适用于独立结构的不足,且在每个题目考察属性个数(大致)相同的条件下,以模式判准率(PMR)为衡量标准,该策略优于非IAVB策略。特别地,若属性层级结构为独立结构时,采用IAVB策略的测验最优,SAB策略次之,两种策略均未采用则最差。另IAVB矩阵可显著提高PMR。

CAT选题策略研究

传统CAT选题策略是将被试者的估计值作为真实值去选题目,使用的都是间接指标,旨在寻找最有可能的解。其缺点是计算方法复杂,误差最大值不易控制。针对传统CAT选题策略的特殊性:不离散,被估能力值不能直接求解,稳定性差,提出一种将能力值线性离散化,并使用"最大期望判准率"的方法来计算每次被试者的估计能力,旨在降低计算的难度,提高测验的精度及其稳定性。实验结果表明,该方法具有良好的性能。