影响AHM与DINA诊断准确率的因素研究

对属性层级模型(AHM)和确定性输入、噪声"与"门模型(DINA)2个认知诊断模型,讨论不同因素对判准率的影响.实验表明,含有可达阵的测验比不含可达阵的测验判准率高.对于线型结构测验长度达到一定值以后,增加测验长度对诊断准确率的改进不大.虽然总体而言,DINA分类准确性要优于AHM,属性结构紧密度越大,判准率越高;但是AHM估计结果符合属性层级结构,而DINA估计结果却可能违背属性层级关系,这和2011年De Carlo的发现不相同.

R-DINA模型参数估计EM算法准确性检验

DINA模型是一个倍受关注和得到广泛应用的认知诊断模型,但DINA模型在每个项目上只将被试分为掌握和未掌握两类。文章提出的改进的DINA模型(R-DINA)可以对被试进行更为细致的分类。文章首先简要介绍R-DINA模型和该模型参数估计的EM算法,然后设计模拟实验对EM算法的参数估计准确性进行检验。实验结果表明,R-DINA模型的EM算法估计结果稳定,项目参数估计精度和被试分类准确性较高。

现代智慧教育下的认知诊断模型比较分析研究

认知诊断是认知心理学与教育测量理论的融合,它可以通过学生的答题记录和试题信息,推断出学生当前的知识状态,从而全面地评估和诊断被测个体的心理或活动行为规律。由于认知诊断可以提供相较教育测量理论更为丰富的测量信息,它逐渐成为现代智慧教育场景下的主要能力评估手段。该文首先详细介绍了认知诊断的概念、历史发展以及研究现状,之后聚焦4个具有代表性的认知诊断模型:项目反应理论、多维项目反应理论、DINA模型以及神经认知诊断模型,详细介绍了它们的理论基础、模型结构以及训练方式,并基于经典的认知诊断数据集ASSISTments 2009-2010 Skill-builder data的346 860条样本,对4个模型的认知准确度和模型的可解释性分别进行了比较分析。经过比较分析,发现神经认知诊断模型与其他认知诊断模型相比不仅具有更好的认知准确度,而且具备高度的可解释性。此外,通过调研和实践总结出了4个认知诊断模型在现代智慧教育下的不同适用场景,为认知诊断研究提供了新视角。

认知诊断测验的属性分类一致性和分类准确性指标

分类一致性和分类准确性是衡量考试信效度的两个重要评价指标。基于项目反应理论下分类一致性和分类准确性指标,提出认知诊断测验的属性(模式)分类一致性和分类准确性指标,讨论分类一致性指标、分类准确性指标与属性估计误差之间的关系,并由属性掌握概率的估计标准误推导出属性分类准确性的上限。结果显示:属性(模式)分类一致性可准确估计重测一致性;分类准确性指标计算简单,可准确估计认知诊断测验的判准率。

不同因素对认知诊断DINO模型诊断准确率的影响

本文探究不同因素对确定性输入噪声"或"门模型(DINO)判准率的影响。模拟实验表明:DINO模型更适用于离散型属性层级结构;测验长度的合理增加有助于提高诊断的准确率;DINO模型对属性层级结构不敏感;认知属性个数的增加会降低DINO模型的诊断准确率,实际应用中建议认知属性个数控制在6个以下。