认知诊断自适应测验选题策略探新

提出了一种新的认知诊断自适应测验选题策略和题库按项目所包含的属性模式分层方法.与传统方法相比,该方法不仅提高了测量精度而且可以提升选题速度.

认知诊断计算机化自适应测验中新的选题策略:结合项目区分度指标

当前国内外大部分认知诊断计算机化自适应测验(CD-CAT)主要采用PWKL作为选题策略进行研究。PWKL结合后验分布信息对KL指标进行加权,提高了判准率,但该方法仅利用个体层面信息加权,忽视了项目本身能够提供的信息,属于单源指标。本研究结合认知诊断中的项目区分度信息,对PWKL进行修正,提出了4种新的多源选题策略:GIDPWKL、AIDPWKL、CIDPWKL和KLEDPWKL方法,并在加入曝光控制下与PWKL和互信息法(MIM)进行比较。模拟研究结果表明:(1)在定长测验情景下的绝大多数实验结果表明,测验长度越短,新方法的判准率越高。平均属性/模式判准率最高的是GIDPWKL,之后是AIDPWKL,而CIDPWKL、KLEDPWKL和MIM方法的优势随实验条件不同而不同。(2)在定长测验情景下的绝大多数实验结果表明,题目质量越高,新方法的优势越明显。(3)Q矩阵结构的复杂性会影响不同选题策略的表现。(4)在变长测验情景下,4种新方法和MIM的平均测验长度均要低于PWKL方法,表现最好的是GIDPWKL方法。因此,若实际测验情景与本研究的模拟情景相似,推荐GIDPWKL方法。

基于属性掌握概率的认知诊断计算机化自适应测验选题策略

在认知诊断计算机化自适应测验(CD-CAT)中,被试对每个属性的掌握概率更直接地反映了被试能力的当前估计值。因此,基于被试的属性掌握概率来构建选题策略,选择最能改变被试属性掌握概率的题目作为下一个测验项目,这应该是一个值得尝试的方案。本文借鉴已有相关研究的数据生成模式进行探索,模拟实验结果表明:假设属性间相互独立,在定长(长度为16)、变长(长度为16或后验属性掌握模式概率达到0.8)以及短测验(长度分别为4、6、8、10)的情况下,基于属性掌握概率的选题策略PPWKL和PHKL有较好的分类准确率,在题目曝光率,题库使用均匀性等方面也有较好的表现;与研究较多的PWKL、HKL等策略相比,也略有优势;当属性间存在不同程度的相关时,在定长、变长以及较短的测验条件下,基于PHKL和MI的测验对知识状态估计精度较好,基于PPWKL和PHKL的测验综合表现占优。

认知诊断计算机化自适应测验中的项目增补

项目的增补对认知诊断计算机化自适应测验(CD-CAT)题库的开发与维护至关重要。借鉴单维项目反应理论(IRT)中联合极大似然估计方法(JMLE)的思路,提出联合估计算法(JEA),仅依赖被试在旧题和新题上的作答反应联合地、自动地估计新题的属性向量和新题的项目参数。研究结果表明:当项目参数相对较小且样本量相对较大时,JEA算法在新题属性向量和新题项目参数估计精度方面表现不错;而且样本大小、项目参数大小以及项目参数初值都影响着JEA算法的表现。

计算机化自适应测验在认知诊断中的应用

作为认知诊断与计算机化自适应测验相结合的产物,认知诊断计算机化自适应测验(Cognitive Diagnostic Computerized Adaptive Testing,CD-CAT)是对被试知识状态的自适应。它既有传统CAT所面临的普遍性问题,也有在认知诊断中遇到的特殊问题:由于认知诊断中涉及属性这一概念,CD-CAT与传统CAT有很大的差别。本文紧紧围绕属性引起的差异,分别从认知诊断模型、题库建设、起始规则、选题策略、被试知识状态估计和终止规则等几部分详细介绍CD-CAT的研究进展和存在的问题。

认知诊断计算机化自适应测验的题库使用均匀性初探

项目曝光控制是认知诊断计算机化自适应测验(CD-CAT)中亟需解决的重要问题之一。采用蒙特卡洛模拟方法对CD-CAT中五种常用选题策略(随机化方法、KL信息量方法、香农熵方法、后验加权的KL信息量方法和综合后验加权和距离加权的KL信息量方法)的题库使用情况进行探讨。结果发现:四种非随机化选题策略的题库使用均匀性较差、测验重叠率高,从而导致测验安全性较差;香农熵方法的判准率总是最高。今后可以将传统CAT中的项目曝光控制技术融入到CD-CAT选题策略中。

认知诊断计算机自适应测验中选题策略的新进展

本文主要从提高测量精确性、控制题目曝光率、平衡测验内容三个方面总结了认知诊断计算机自适应测验的选题策略。文章首先简单回顾以往提出的选题策略,分析这些选题策略的不足,再分别介绍了三种改进方法。它们分别是毛秀珍提出的改善PWKL方法精确性的平均PWKL方法,陈平提出的控制曝光率方法,崇伟峰提出的通过后验概率到0.5的距离来平衡属性测量程度的方法。将三种方法与以往的选题策略比较,结果均显示三种新的选题策略效果更好。最后,作者探讨了认知诊断计算机自适应测验的选题策略中这三方面的平衡问题,以及选题策略以后的发展方向。

计算机化自适应认知诊断测验按模式分层选题策略

提出了一种题库按属性模式分层并结合项目Fisher信息量、曝光控制因子和项目优先级的新的选题策略.与已有方法比较,该方法不仅提高了题库测验精度,而且在项目使用均衡性上也表现优异.

认知诊断计算机化自适应测验按模式分层选题策略

提出一种题库按属性模式分层,并结合项目曝光度控制的新方法.蒙特卡洛模拟研究显示:该方法在题库使用均匀程度上表现优异,并保有较高测量精度.

认知诊断计算机自适应测验中平衡属性收敛的新方法

提出两种认知诊断计算机自适应测验下平衡属性收敛的新方法(MABI、RTA),模拟研究系统探讨和比较了此二者与已有方法(ABI、IABI和RABI)的表现。结果发现:(1)新方法较不考虑属性收敛的方法有更高的准确率以及更均衡的题目使用率;(2)新方法较ABI和RABI有稍低的准确性,但有更平衡的题目使用率;(3)新方法与IABI的准确性和题目使用率在不同选题策略下各有优势。总之,两种新方法较好地兼顾测量准确性、题目使用率以及题库曝光情况。

考虑题目选项信息的非参数认知诊断计算机自适应测验

选择题中的作答选项能提供额外诊断信息,为充分利用选项信息,研究提出认知诊断计算机自适应测验(CD-CAT)中两种处理选择题选项信息的非参数选题策略和变长终止规则。模拟研究的结果发现:(1)定长条件下两种非参数选题策略的分类准确性整体要高于参数选题策略;(2)两种非参数选题策略较参数选题策略具有更加均衡的题库使用情况;(3)非参数选题策略在两种新的变长终止规则下具有更高的分类准确率;(4)两种非参数选题策略均适用于选择题CD-CAT情境,使用者可任选其一进行测验分析。

认知诊断计算机化自适应测量技术在心理障碍诊断与评估中的应用

以现代测量理论为基础,该文尝试将认知诊断与计算机化自适应测验2项新技术应用于心理障碍(抑郁症)的诊断与测评,一方面探讨新技术在抑郁症诊断中的科学性与合理性,另一方面开发基于认知诊断计算机化自适应测验技术的抑郁症测评工具(简记为CD-CAT-D).研究共调查被试2 492人,经大样本数据标定及测量学指标筛选,题库最终保留136题;研究结果表明:在认知诊断理论框架下,CD-CAT-D具有较高的诊断分类一致性信度;若以PHQ-9量表作为效标,CD-CAT-D具有较理想的收敛效度和效标关联效度;同时,CD-CAT-D的灵敏度与特异度平均在0.850左右,以及AUC指标在0.80~0.90之间,这些都表明CD-CAT-D具有较理想的预测效果.这为心理障碍的诊断与评估提供了一种全新的方法和技术支持.

认知诊断CAT选题策略及初始题选取方法

计算机化自适应认知诊断测验(CD_CAT)是将认知诊断的基本理论、方法与计算机化自适应测验相结合的产物,是现代测量学发展的新领域。对于计算机化自适应测验(CAT)中的选题策略研究一直是国内外学者关注的问题,然而对于计算机化自适应认知诊断测验的选题策略研究却很少报导,而对于计算机化自适应认知诊断测验的初始题选取方法的研究却更少。本研究采用计算机模拟程序对HO-DINA模型下CD_CAT的五种选题策略及二种初始题选取方法进行研究。研究表明:不同初始题选取方法及选题策略均会影响对被试诊断的准确性及能力估计的精度;总体来看,对于二种初始题选取方法,本研究提出的"T阵法"优于传统的随机法;对于五种选题策略,SL_GDI法最优;初始题选取方法及选题策略的搭配中,"T阵法"和SL_GDI法的搭配最佳。

认知诊断CAT中项目曝光控制方法的比较

项目曝光率关系到题库建设和测验安全,是计算机化自适应测验(Computerized Adaptive Testing,CAT)需要考虑的重要问题。在认知诊断CAT情形下,首先基于传统CAT中a-分层方法的思想提出按项目信息量对题库分层的分层多阶段(Stratified Multistage,SM)选题方法;然后将SM方法与项目合格(ItemEligibility,IE)方法相结合得到SMIE方法。在此基础上,开展模拟研究比较SM、IE、SMIE、最大修正优先指标(Maximum Modified Priority Index,MMPI)方法、限制阈值(Restrictive Threshold,RT)方法和限制进度(Restrictive Progressive,RPG)方法的选题表现。总体上,它们的测量精度从高到低依次为IE、SM、SMIE、RT、RPG和MMPI方法;项目曝光分布均匀性的优劣次序为MMPI、RPG、SMIE、RT、SM和IE方法;SMIE和RT方法能较好地平衡测量精度和项目曝光均匀性要求。

在线标定技术在计算机化自适应测验中的应用

计算机化自适应测验(Computerized Adaptive Testing,CAT)近年来得到迅猛发展,题目增补对CAT的题库建设与维护至关重要。新题标定作为题目增补过程中的技术难点,它的精度直接影响被试能力估计的准确性,目前在线标定技术经常用于标定新题。从在线标定设计和在线标定方法两个方面,对两类CATs(以项目反应理论为基础的传统CAT以及以认知诊断理论为基础的认知诊断CAT(Cognitive Diagnostic CAT,CD-CAT))中的在线标定相关研究进行述评。传统CAT领域有着较丰富的研究,而CD-CAT的在线标定研究则刚刚起步。未来研究应进一步探讨在线标定设计/方法之间的比较与结合,以及CD-CAT和多维CAT的在线标定研究。

CD-CAT中基于SCAD惩罚和EM视角的在线标定方法开发——G-DINA模型

G-DINA(the generalizeddeterministic input,noisy and gate)模型限制条件少,应用范围广,满足大量心理与教育评估测验数据的要求。研究提出一种适用于G-DINA等模型的同时标定新题Q矩阵与项目参数的认知诊断计算机化自适应测验(CD-CAT)在线标定新方法SCADOCM,以期促进CD-CAT在实践中的推广与应用。本研究分别基于模拟题库以及真实题库进行研究,结果表明:相比传统的SIE方法,SCADOCM在各实验条件下均具有较为理想的标定精度与标定效率,应用前景较好;SIE方法不适用于饱和的G-DINA等模型,其各实验条件下的Q矩阵标定精度均较低。

兼顾测验效率和题库使用率的CD-CAT选题策略

CD–CAT中已有选题策略较注重测验效率,而对题库使用率不够重视。针对此问题,基于DINA模型,引入两种新的选题策略KLED和RHA,同时对HA进行模拟研究。结果显示:PWKL与KLED只在测验效率上具有优势;KLED若按属性向量分层,题库使用率有所提高,KLED比ED更容易推广到其他有显式表达的诊断模型场合;HA、RHA和RP–PWKL可较好兼顾测验效度和题库使用率,但RP-PWKL需设置项目的最大曝光率阈值。两种新选题方法在定长和变长CD-CAT都具有一定的应用价值。

认知诊断理论在计算机自适应测试中的应用与启示

随着科学技术的进步,计算机技术正逐步与认知诊断理论结合,形成计算机化自适应认知诊断测验(Computerized Adaptive Test for Cognitive Diagnosis,CD-CAT)的评测方式。用CD-CAT进行教育测量评估有着诸多优势,但是目前国内尚缺乏计算机化自适应认知诊断测验的实验研究与大规模的实践应用。本研究运用内容分析法,以"计算机自适应测试"和"计算机认知诊断测验"为关键词进行搜索,结果表明:国内于2006年开始逐步开展CD-CAT研究,近几年的研究热点主要聚焦在理论概况(占总样本的比例为15%)和现状综述(占总样本的比例为74%)方面,具体内容包括确定属性、认知诊断模型和流程方法,也有小规模的测试实验,如英语、化学等学科。基于此,运用UCINET将"研究者派系"可视化,发现领域科研合作紧密,但是整体合作疏远,小团队研究更加集中。最后,文章介绍了国内外CD-CAT实践案例,阐述了认知诊断评价在教育领域的发展方向和策略,期望对国内教育评价走向CD-CAT有所启发。

变长CD-CAT中的曝光控制与终止规则

本研究借鉴传统计算机化自适应测验的思想,并结合认知诊断的特点,在认知诊断框架下提出了4种变长CD-CAT的终止规则,分别是属性标准误法(SEA)、邻近后验概率之差法(DAPP)、二等分法(HA)以及混合法(HM)。在未控制曝光和采用不同曝光控制条件下,与HSU法及KL法进行了比较。研究结果表明:(1)终止条件越严格,平均测验长度越长,按测验长度最大值终止的测验百分比越大,模式判准率越高。(2)当未加入曝光控制时,4种新的终止规则均有较好表现,与HSU法十分接近。随着最大后验概率预设值的增加或?的减小,模式判准率呈上升趋势,平均测验长度逐渐增加,但在题库使用率方面均较差。(3)当加入项目曝光控制时,6种变长终止规则下的题库使用率有了极大的提升,仍能保持较高的模式判准率,并且不同的曝光控制方法对终止规则的影响是不同的。其中,相对标准终止规则极易受到曝光控制方法的影响。(4)综合来看,SEA、HM以及HA法在各项指标上的表现与HSU法基本一致,其次为KL法和DAPP法。

一种高效的CD-CAT在线标定新方法:基于熵的信息增益与EM视角

项目增补(Item Replenishing)对认知诊断计算机自适应测验(CD-CAT)题库的维护有着至关重要的作用,而在线标定是一种重要的项目增补方式。基于数据挖掘中特征选择(Feature Selection)的思路,提出一种高效的基于熵的信息增益的在线标定方法(记为IGEOCM),该方法利用被试在新旧题上的作答联合估计新题的Q矩阵和项目参数。研究采用Monte Carlo模拟实验验证所开发新方法的效果,并同时与已有的在线标定方法SIE、SIE-R-BIC和RMSEA-N进行比较。结果表明:新开发的IGEOCM在各实验条件下均具有较好的项目标定精度和项目估计效率,且整体上优于已有的SIE等方法;同时,IGEOCM标定新题所需的时间低于SIE等方法。总之,研究为CD-CAT题库中项目的增补提供了一种更为高效、准确的方法。