基于属性掌握概率的认知诊断计算机化自适应测验选题策略

在认知诊断计算机化自适应测验(CD-CAT)中,被试对每个属性的掌握概率更直接地反映了被试能力的当前估计值。因此,基于被试的属性掌握概率来构建选题策略,选择最能改变被试属性掌握概率的题目作为下一个测验项目,这应该是一个值得尝试的方案。本文借鉴已有相关研究的数据生成模式进行探索,模拟实验结果表明:假设属性间相互独立,在定长(长度为16)、变长(长度为16或后验属性掌握模式概率达到0.8)以及短测验(长度分别为4、6、8、10)的情况下,基于属性掌握概率的选题策略PPWKL和PHKL有较好的分类准确率,在题目曝光率,题库使用均匀性等方面也有较好的表现;与研究较多的PWKL、HKL等策略相比,也略有优势;当属性间存在不同程度的相关时,在定长、变长以及较短的测验条件下,基于PHKL和MI的测验对知识状态估计精度较好,基于PPWKL和PHKL的测验综合表现占优。

认知诊断计算机化自适应测验中新的选题策略:结合项目区分度指标

当前国内外大部分认知诊断计算机化自适应测验(CD-CAT)主要采用PWKL作为选题策略进行研究。PWKL结合后验分布信息对KL指标进行加权,提高了判准率,但该方法仅利用个体层面信息加权,忽视了项目本身能够提供的信息,属于单源指标。本研究结合认知诊断中的项目区分度信息,对PWKL进行修正,提出了4种新的多源选题策略:GIDPWKL、AIDPWKL、CIDPWKL和KLEDPWKL方法,并在加入曝光控制下与PWKL和互信息法(MIM)进行比较。模拟研究结果表明:(1)在定长测验情景下的绝大多数实验结果表明,测验长度越短,新方法的判准率越高。平均属性/模式判准率最高的是GIDPWKL,之后是AIDPWKL,而CIDPWKL、KLEDPWKL和MIM方法的优势随实验条件不同而不同。(2)在定长测验情景下的绝大多数实验结果表明,题目质量越高,新方法的优势越明显。(3)Q矩阵结构的复杂性会影响不同选题策略的表现。(4)在变长测验情景下,4种新方法和MIM的平均测验长度均要低于PWKL方法,表现最好的是GIDPWKL方法。因此,若实际测验情景与本研究的模拟情景相似,推荐GIDPWKL方法。

认知诊断计算机化自适应测验中的项目增补

项目的增补对认知诊断计算机化自适应测验(CD-CAT)题库的开发与维护至关重要。借鉴单维项目反应理论(IRT)中联合极大似然估计方法(JMLE)的思路,提出联合估计算法(JEA),仅依赖被试在旧题和新题上的作答反应联合地、自动地估计新题的属性向量和新题的项目参数。研究结果表明:当项目参数相对较小且样本量相对较大时,JEA算法在新题属性向量和新题项目参数估计精度方面表现不错;而且样本大小、项目参数大小以及项目参数初值都影响着JEA算法的表现。

认知诊断计算机化自适应测验的题库使用均匀性初探

项目曝光控制是认知诊断计算机化自适应测验(CD-CAT)中亟需解决的重要问题之一。采用蒙特卡洛模拟方法对CD-CAT中五种常用选题策略(随机化方法、KL信息量方法、香农熵方法、后验加权的KL信息量方法和综合后验加权和距离加权的KL信息量方法)的题库使用情况进行探讨。结果发现:四种非随机化选题策略的题库使用均匀性较差、测验重叠率高,从而导致测验安全性较差;香农熵方法的判准率总是最高。今后可以将传统CAT中的项目曝光控制技术融入到CD-CAT选题策略中。

认知诊断计算机化自适应测验中在线标定方法的开发

项目增补对认知诊断计算机化自适应测验(CD-CAT)中的题库维护至关重要。在传统CAT中,在线标定方法经常用于估计新题的项目参数。然而直到现在,在CD-CAT领域还没有任何关于在线标定的论文公开发表。为将传统CAT中3种有代表性的在线标定方法(MethodA、OEM和MEM)推广至CD-CAT(CD-MethodA、CD-OEM和CD-MEM)建立分析基础,并采用模拟方法对这3种方法进行比较。研究表明:CD-MethodA方法在项目参数的返真性方面优于其它两种方法;自适应标定设计较随机标定设计可以提高项目参数的返真质量。

认知诊断计算机化自适应测验按模式分层选题策略

提出一种题库按属性模式分层,并结合项目曝光度控制的新方法.蒙特卡洛模拟研究显示:该方法在题库使用均匀程度上表现优异,并保有较高测量精度.

不定长认知诊断计算机化自适应测验终止规则研究

目前大多数认知诊断计算机化自适应测验采用定长终止规则,该文提出3种不定长终止规则.通过实验对比,新方法较已有方法具有如下优势:i)能够较好地保障测验精度;ii)大幅降低了人均测验用题数;iii)人均测验用时也有所下降;iv)项目调用均衡性和题库安全性有所增强.

认知诊断计算机化自适应测验的选题策略

随着认知诊断计算机化自适应测验(cognitive diagnostic computerized adaptive testing,CD-CAT)理论与实践的发展,兼顾知识状态与能力的双目标CD-CAT逐渐受到重视。选题策略是CAT的核心,通过梳理传统CD-CAT和双目标CD-CAT选题策略的研究,并对它们的特点、关系及表现进行介绍和评析。最后,基于认知诊断模型与CAT实践发展指出未来应加强一般化认知模型、复杂测验条件认知诊断模型下选题策略的研究;应开发双目标诊断测验的项目和测验特征指标;还应加强非参数选题方法和CD-CAT的实践应用研究。

计算机化自适应测验在认知诊断中的应用

作为认知诊断与计算机化自适应测验相结合的产物,认知诊断计算机化自适应测验(Cognitive Diagnostic Computerized Adaptive Testing,CD-CAT)是对被试知识状态的自适应。它既有传统CAT所面临的普遍性问题,也有在认知诊断中遇到的特殊问题:由于认知诊断中涉及属性这一概念,CD-CAT与传统CAT有很大的差别。本文紧紧围绕属性引起的差异,分别从认知诊断模型、题库建设、起始规则、选题策略、被试知识状态估计和终止规则等几部分详细介绍CD-CAT的研究进展和存在的问题。

具有认知诊断功能的计算机化自适应测验的研究与实现

构造具有认知诊断功能的计算机化自适应测验(Computerized Adaptive Testing,CAT),关键在于设计不同于传统CAT的选题策略。本文采用先认知诊断后估计能力的方法,在诊断阶段用状态转换图描述特定认知领域中所有知识状态及这些状态之间的联系,以图的深度优先搜索方法为基础设计选题策略;而在能力估计精细化阶段,每个被试所测项目,不仅与其能力估计值相匹配,且只与其所掌握的属性相关。本文采用蒙特卡罗模拟针对三种不同的属性结构进行试验,结果良好。

计算机化自适应认知诊断测验按模式分层选题策略

提出了一种题库按属性模式分层并结合项目Fisher信息量、曝光控制因子和项目优先级的新的选题策略.与已有方法比较,该方法不仅提高了题库测验精度,而且在项目使用均衡性上也表现优异.

认知诊断计算机化自适应测量技术在心理障碍诊断与评估中的应用

以现代测量理论为基础,该文尝试将认知诊断与计算机化自适应测验2项新技术应用于心理障碍(抑郁症)的诊断与测评,一方面探讨新技术在抑郁症诊断中的科学性与合理性,另一方面开发基于认知诊断计算机化自适应测验技术的抑郁症测评工具(简记为CD-CAT-D).研究共调查被试2 492人,经大样本数据标定及测量学指标筛选,题库最终保留136题;研究结果表明:在认知诊断理论框架下,CD-CAT-D具有较高的诊断分类一致性信度;若以PHQ-9量表作为效标,CD-CAT-D具有较理想的收敛效度和效标关联效度;同时,CD-CAT-D的灵敏度与特异度平均在0.850左右,以及AUC指标在0.80~0.90之间,这些都表明CD-CAT-D具有较理想的预测效果.这为心理障碍的诊断与评估提供了一种全新的方法和技术支持.

具有认知诊断功能的计算机化自适应测验系统的设计与实现

目前国内外对具有认知诊断功能的计算机化自适应测验的研究比较缺乏。本文基于JAVA技术设计并实现了一个具有认知诊断功能的计算机化自适应测验系统,该系统能根据学生对课程的掌握情况自动选择最适宜的试题让学生回答;同时该系统还具有认知诊断功能,能对学生答题情况进行分析,了解学生知识缺陷,达到因材施教的目标。通过实践表明本系统能节省测试时间,达到教学诊断的目的。

计算机化自适应诊断测验中原始题的属性标定

认知诊断测验项目开发成本较高,要标定大量项目的属性相当费时费力,专家完成这一任务也比较困难。对于在计算机化自适应诊断测验中的项目属性的标定尚未见到报导。在已有的为诊断测验开发的小型题库基础上,本文在计算机化自适应认知诊断测验过程中,植入原始题,对项目属性标定的问题进行探讨,重点研究原始题属性标定的方法及其影响因素,除了MMLE方法和MLE方法外,还建立了一种新的可用于所有非补偿认知诊断模型的属性标定的方法——交差方法。MonteCarlo模拟结果显示,MMLE方法较MLE方法好;在知识状态估计精度较高时,自适应植入原始题较随机植入原始题有一定的优势;随着知识状态估计精度提高和原始题作答次数增加,交差方法与MLE方法基本相当,只是在发散型和无结构型表现欠佳,但是交差方法不需要预先设定项目参数值。

在线标定技术在计算机化自适应测验中的应用

计算机化自适应测验(Computerized Adaptive Testing,CAT)近年来得到迅猛发展,题目增补对CAT的题库建设与维护至关重要。新题标定作为题目增补过程中的技术难点,它的精度直接影响被试能力估计的准确性,目前在线标定技术经常用于标定新题。从在线标定设计和在线标定方法两个方面,对两类CATs(以项目反应理论为基础的传统CAT以及以认知诊断理论为基础的认知诊断CAT(Cognitive Diagnostic CAT,CD-CAT))中的在线标定相关研究进行述评。传统CAT领域有着较丰富的研究,而CD-CAT的在线标定研究则刚刚起步。未来研究应进一步探讨在线标定设计/方法之间的比较与结合,以及CD-CAT和多维CAT的在线标定研究。

计算机化自适应诊断测验新的选题策略

提出了一种既能满足属性平衡又能有效处理相似属性模式的新方法——改进的极大化整体判别认知诊断模型信息量指标法(MGCDI).对无结构型的属性,讨论定长CD-CAT的选题策略.研究结果表明,使用相同选题策略选题时,先选择可达矩阵的所有列对应的项目比不使用这些项目的诊断准确率高.

结合认知诊断的计算机化自适应考试在高校教改中的作用探讨

基于项目反应理论(IRT)的计算机自适应考试(CAT),相对于传统的纸笔考试而言,被人誉为"考试领域的新天地"[1]。它必将促进我国高校教改向前发展。本文讨论的计算机化自适应考试系统有三个主要功能:一是依据一定的选题策略,使考题匹配被试的当前能力,最终比较精确估出被试的能力值;二是依据被试作答情况诊断出被试的学科认知结构,为后续补救教学提供依据;三是依据诊断结果进行补救教学。

不同模式之贝氏网络对计算机化测验的认知诊断成效

目前有不少的研究指出,利用贝氏网络诊断学生的错误类型(Bug)以及子技能(Skill)的学习情况,其成效良好。结合计算机进行仿真研究,更可以了解在不同模式设计下的贝氏网络之预测精准度,以提供建置计算机化测验系统之参考。因此,研究的目的为评估不同模式之贝氏网络的诊断成效。研究结果显示,将选择题选项对应之错误类型视为试题当作证据时,比单纯选择题时的预测精准度提升5.2%,而加入专家知识结构能够再提升0.8%。因此,在建置贝氏网络为基础的微积分计算机化测验时,应参考模式四之设计。

计算机化自适应诊断测验双重约束变长终止规则

提出3种变长CD-CAT终止规则,在DINA模型、4种属性层级结构下,采用ED选题策略,讨论提出的3种方法与常用CD-CAT终止规则在7个评价指标上的优劣.研究结果显示:新的3种方法较常用终止规则有其自身优势.

认知诊断计算机自适应测验中选题策略的新进展

本文主要从提高测量精确性、控制题目曝光率、平衡测验内容三个方面总结了认知诊断计算机自适应测验的选题策略。文章首先简单回顾以往提出的选题策略,分析这些选题策略的不足,再分别介绍了三种改进方法。它们分别是毛秀珍提出的改善PWKL方法精确性的平均PWKL方法,陈平提出的控制曝光率方法,崇伟峰提出的通过后验概率到0.5的距离来平衡属性测量程度的方法。将三种方法与以往的选题策略比较,结果均显示三种新的选题策略效果更好。最后,作者探讨了认知诊断计算机自适应测验的选题策略中这三方面的平衡问题,以及选题策略以后的发展方向。