认知诊断计算机化自适应测验的题库使用均匀性初探

项目曝光控制是认知诊断计算机化自适应测验(CD-CAT)中亟需解决的重要问题之一。采用蒙特卡洛模拟方法对CD-CAT中五种常用选题策略(随机化方法、KL信息量方法、香农熵方法、后验加权的KL信息量方法和综合后验加权和距离加权的KL信息量方法)的题库使用情况进行探讨。结果发现:四种非随机化选题策略的题库使用均匀性较差、测验重叠率高,从而导致测验安全性较差;香农熵方法的判准率总是最高。今后可以将传统CAT中的项目曝光控制技术融入到CD-CAT选题策略中。

基于Gini指数的认知诊断计算机化自适应选题策略

认知诊断计算机化自适应测验需要开发能较好权衡测量精度和题库使用均匀性的选题策略。本文基于被试知识状态类别的后验概率来定义Gini指数,其线性加权方式对分布的细微变化的反应比基于对数的香农熵更敏感,有利于在这种情况下选择不同的题目,能在保持测量精度的前提下提高题库使用均匀性。为此,本文开发了基于Gini指数的选题策略,并通过模拟实验与SHE、MPWKL、GDI和PWKL策略进行比较,结果表明新策略与SHE、MPWKL、GDI和PWKL策略相比,测量精度相近并提高了题库的利用率,综合来看,基于Gini指数的选题策略能够兼顾测量精度和题库使用均匀性。。