基于贝叶斯网的认知诊断模型构建

新一代测量理论在测验设计、计量分析和结果解释等方面,都强调将认知科学与心理计量学相结合。文章基于贝叶斯网对定性的认知模型(属性层级)建立概率模型,并将其整合到认知诊断模型中,可实现认知模型与计量模型相结合进行诊断数据分析。采用MCMC算法分析带分数减法数据,比较不同属性结构下模型的表现,结果表明基于贝叶斯网构建的认知诊断模型可提供丰富且有效的诊断信息,可为验证认知模型提供一种途径。

不同因素对认知诊断DINO模型诊断准确率的影响

本文探究不同因素对确定性输入噪声"或"门模型(DINO)判准率的影响。模拟实验表明:DINO模型更适用于离散型属性层级结构;测验长度的合理增加有助于提高诊断的准确率;DINO模型对属性层级结构不敏感;认知属性个数的增加会降低DINO模型的诊断准确率,实际应用中建议认知属性个数控制在6个以下。

分类视角下认知诊断测验项目区分度指标及应用

在认知诊断中还没有指标能在无作答数据情况下直接评价项目的属性分类准确率或属性判准率。项目水平上的属性分类准确率,与项目属性向量、项目参数、先验分布和作答反应等有关。综合各个影响因素定义了项目水平上的属性期望分类准确率指标,并将其用于组卷。模拟研究显示:新指标可十分准确地评价项目的属性判准率,新指标对于项目筛选十分重要;以模式分类准确率为评价指标,基于新指标的组卷方法与经典的组卷方法表现相当。

测验Q矩阵的修正方法及其比较研究

在认知诊断评估中,构建正确测验Q矩阵十分关键,但比较困难.该文将确定性输入噪音与门模型下3种在线标定方法(极大似然估计方法,边际极大似然估计方法和交差方法)用于测验Q矩阵修正,并与δ方法,γ方法和最小残差平方和方法进行比较.采用模拟研究验证和比较各方法的表现,研究结果显示:边际极大似然估计方法表现良好,交差方法次之;项目所考查的属性数目是影响δ方法和γ方法的表现.

认知诊断评估中知识状态估计方法简述

尽管认知诊断评估的方法或模型众多,但其最终目的都是要报告被试属性掌握的强项与不足,即对被试的知识状态进行估计或分类。本文主要对规则空间模型、属性层级模型、确定性输入噪音与门模型和其他几个模型下知识状态估计方法进行简述,重点介绍各知识状态估计方法的基本思想、优缺点及它们内在的联系与区别。最后,概述影响知识状态估计结果的因素,并提出应进一步研究的问题。

影响AHM与DINA诊断准确率的因素研究

对属性层级模型(AHM)和确定性输入、噪声"与"门模型(DINA)2个认知诊断模型,讨论不同因素对判准率的影响.实验表明,含有可达阵的测验比不含可达阵的测验判准率高.对于线型结构测验长度达到一定值以后,增加测验长度对诊断准确率的改进不大.虽然总体而言,DINA分类准确性要优于AHM,属性结构紧密度越大,判准率越高;但是AHM估计结果符合属性层级结构,而DINA估计结果却可能违背属性层级关系,这和2011年De Carlo的发现不相同.

认知诊断测验的属性分类一致性和分类准确性指标

分类一致性和分类准确性是衡量考试信效度的两个重要评价指标。基于项目反应理论下分类一致性和分类准确性指标,提出认知诊断测验的属性(模式)分类一致性和分类准确性指标,讨论分类一致性指标、分类准确性指标与属性估计误差之间的关系,并由属性掌握概率的估计标准误推导出属性分类准确性的上限。结果显示:属性(模式)分类一致性可准确估计重测一致性;分类准确性指标计算简单,可准确估计认知诊断测验的判准率。