计算机化自适应诊断测验中原始题的属性标定

认知诊断测验项目开发成本较高,要标定大量项目的属性相当费时费力,专家完成这一任务也比较困难。对于在计算机化自适应诊断测验中的项目属性的标定尚未见到报导。在已有的为诊断测验开发的小型题库基础上,本文在计算机化自适应认知诊断测验过程中,植入原始题,对项目属性标定的问题进行探讨,重点研究原始题属性标定的方法及其影响因素,除了MMLE方法和MLE方法外,还建立了一种新的可用于所有非补偿认知诊断模型的属性标定的方法——交差方法。MonteCarlo模拟结果显示,MMLE方法较MLE方法好;在知识状态估计精度较高时,自适应植入原始题较随机植入原始题有一定的优势;随着知识状态估计精度提高和原始题作答次数增加,交差方法与MLE方法基本相当,只是在发散型和无结构型表现欠佳,但是交差方法不需要预先设定项目参数值。

0-1评分认知诊断测验设计

认知诊断测验设计实质上是测验Q矩阵设计,设计应最大限度覆盖诊断的构念,充分发挥代表认知模型的属性层级关系的重要作用.主张测验充分表达被试知识结构,提倡测验Q矩阵和被试知识状态共享同一层级结构,以实现对被试更加准确的诊断.对于非独立型层级结构,无法实现属性使用次数平衡而应采用题目属性向量使用平衡策略.对Liu Ren(2017)的测验设计提出质疑.

认知诊断计算机化自适应测验中的项目增补

项目的增补对认知诊断计算机化自适应测验(CD-CAT)题库的开发与维护至关重要。借鉴单维项目反应理论(IRT)中联合极大似然估计方法(JMLE)的思路,提出联合估计算法(JEA),仅依赖被试在旧题和新题上的作答反应联合地、自动地估计新题的属性向量和新题的项目参数。研究结果表明:当项目参数相对较小且样本量相对较大时,JEA算法在新题属性向量和新题项目参数估计精度方面表现不错;而且样本大小、项目参数大小以及项目参数初值都影响着JEA算法的表现。

基于属性层级结构的认知诊断测验的组卷

认知诊断测验组卷方法对提高被试属性掌握模式的判准率至关重要。Henson和Douglas的组卷方法(2005)得到的认知诊断测验判准率不高,没有考虑属性间的层级关系是重要原因。本文提出一种基于属性层级结构的认知诊断组卷方法:首先根据属性层级结构确定待选项目类集合,其次根据新建构的选题指标确定项目类,然后由属性区分被试的能力确定各项目类中题目的数量,并在测验Q阵中放入可达阵。模拟研究表明:新方法比H&D方法在判准率上有很大的提高;新的选题指标比H&D的指标大大缩短计算时间。

小学数学应用题认知诊断测验编制及效度验证

本研究旨在基于事先构建的理论模型,编制小学数学应用题认知诊断测验,并通过认知诊断评估对其效度进行验证。采用质性研究和量化研究两条思路,通过认知分析、大声思维和测验等方法,探索了认知诊断评估从理论模型构建到测验编制及其效度验证的过程。在理论模型构建和测验编制方面,所得结果表明认知分析和大声思维相结合能够合理地构建实质心理学的认知模型,并且基于该认知模型自上而下的测验设计是与认知诊断评估流程相吻合的。通过认知诊断评估所获取的数据分析表明,该测验的结构效度、内部效度和外部效度均达到理想水平,基于事先构建的认知模型所编制的认知诊断测验能够作为认知诊断评估的有效工具,有助于发掘和诊断学生数学应用题解决中的认知错误。

认知诊断计算机自适应测验中选题策略的新进展

本文主要从提高测量精确性、控制题目曝光率、平衡测验内容三个方面总结了认知诊断计算机自适应测验的选题策略。文章首先简单回顾以往提出的选题策略,分析这些选题策略的不足,再分别介绍了三种改进方法。它们分别是毛秀珍提出的改善PWKL方法精确性的平均PWKL方法,陈平提出的控制曝光率方法,崇伟峰提出的通过后验概率到0.5的距离来平衡属性测量程度的方法。将三种方法与以往的选题策略比较,结果均显示三种新的选题策略效果更好。最后,作者探讨了认知诊断计算机自适应测验的选题策略中这三方面的平衡问题,以及选题策略以后的发展方向。

测验Q矩阵中属性指定、选择和验证方法

在认知诊断评估中,构建正确测验Q矩阵十分关键但比较困难。本文在简要介绍认知诊断评估之后,从认知诊断模型视角,重点阐述和评价了知名模型或框架下(规则空间模型、属性层级模型、融合模型、回归树、确定性输入噪音与门模型、证据中心设计和认知设计系统)测验Q矩阵中属性指定、选择和验证的方法,指出了各方法的优势和劣势。最后,归纳了测验Q矩阵构建的一般性步骤和方法,并讨论了未来可能研究方向。

题目属性向量平衡策略的认知诊断测验设计

为认知诊断测验制定的题目属性向量平衡(IAVB)策略强调测验必须体现认知模型,并将题目属性向量而不是以单个属性作为考察单位。该策略克服严格属性平衡(SAB)策略仅适用于独立结构的不足,且在每个题目考察属性个数(大致)相同的条件下,以模式判准率(PMR)为衡量标准,该策略优于非IAVB策略。特别地,若属性层级结构为独立结构时,采用IAVB策略的测验最优,SAB策略次之,两种策略均未采用则最差。另IAVB矩阵可显著提高PMR。

认知诊断计算机自适应测验中平衡属性收敛的新方法

提出两种认知诊断计算机自适应测验下平衡属性收敛的新方法(MABI、RTA),模拟研究系统探讨和比较了此二者与已有方法(ABI、IABI和RABI)的表现。结果发现:(1)新方法较不考虑属性收敛的方法有更高的准确率以及更均衡的题目使用率;(2)新方法较ABI和RABI有稍低的准确性,但有更平衡的题目使用率;(3)新方法与IABI的准确性和题目使用率在不同选题策略下各有优势。总之,两种新方法较好地兼顾测量准确性、题目使用率以及题库曝光情况。