Designing of A Computerized Cognitive Adaptive Testing Model

Therecouldbenoscienceasweknowitwithoutmeasurement.Testing,includingallformsoflanguagetestingandpsychometricsitself,isoneformofmeasurement.Alanguagetestmaybedefinedasaprocedureforelicitinglanguageperformanceandaprocedureforassessingthatperformance.How...

CD-CAT中基于SCAD惩罚和EM视角的在线标定方法开发——G-DINA模型

G-DINA(the generalizeddeterministic input,noisy and gate)模型限制条件少,应用范围广,满足大量心理与教育评估测验数据的要求。研究提出一种适用于G-DINA等模型的同时标定新题Q矩阵与项目参数的认知诊断计算机化自适应测验(CD-CAT)在线标定新方法SCADOCM,以期促进CD-CAT在实践中的推广与应用。本研究分别基于模拟题库以及真实题库进行研究,结果表明:相比传统的SIE方法,SCADOCM在各实验条件下均具有较为理想的标定精度与标定效率,应用前景较好;SIE方法不适用于饱和的G-DINA等模型,其各实验条件下的Q矩阵标定精度均较低。

非参数CD-CAT题库Q矩阵优化设计

开展非参数CD-CAT题库Q矩阵的优化设计,并将它用于指导题库题目编制或选择,且它无需模型参数估计,这对于促进非参数CD-CAT进入课堂评价至关重要.受p-优化的启发,该文提出比例法生成优化Q矩阵,同时将已有的参数化模型题库设计方法推广到非参数化题库Q矩阵的优化设计.模拟研究结果显示:比例法和推广的融合法都有较好表现,而且当题库量较少时比例法更有优势.

CAT分层类曝光控制策略研究新进展

计算机化自适应测验(computerized adaptive testing,CAT)可以根据每一名考生的不同作答进行自适应选题,提高了测验精度.但高精度也伴随着高曝光风险,分层类项目曝光控制策略作为项目曝光控制的方法之一,是近年来曝光控制研究领域的热点.同时,反应时(RT)的收集是CAT的一大优势,RT对于测验的实施具有重要价值.该文综合介绍了传统的分层策略,并结合RT的分层策略探讨当前分层策略应用于CAT项目曝光控制中存在的问题及其未来研究方向.

多值评分CD-CAT的选题策略研究

认知诊断计算机化自适应测验(Cognitive diagnosis computerized adaptive testing, CD-CAT)为心理和教育评估测验的发展提供了新的视角。目前,关于CD-CAT的研究主要是基于二值评分的模型展开,但是,在实际应用领域,存在很多多值评分数据。高效的选题方法是CD-CAT程序成功的核心要素,本研究提出了两种新的多值评分CD-CAT(polytomous CDCAT, PCD-CAT)的选题方法,期望后验方差(expected posterior variance, EPV)和最大期望距离(maximum expected distance,MED)。通过模拟实验比较了EPV和MED在PCD-CAT的效果。实验结果表明,与传统的选题方法相比,EPV和MED具有更高的测验精度和测验效率。最后,通过一个PISA数据分析检验了PCD-CAT在实际应用中的效果及其优势。

计算机化自适应测验(CAT)的发展和前景展望(续)

三、CAT中对的估计（一）MLE（极大似然估计法）假设一个能力水平为θ的被试对n道项目X1,X2,…,Xn作答。θ的估计可以通过使（8）式所示的似然函数最大化的方式来得到。令（?）n为此时所得的θ估计。显然（?）n也是（9）式的极大似然估计。已知在一定的条件下,（?）n符合渐进正态,其均值为θ,方差近似为I-1n（（?）n）。目前的CAT设计大多通过递归方式在被试回答一个新的项目之后得到最新的θ估计,并根据信息最大化法抽取下一个项目。

面向序列诊断的强化计算机自适应测验方法

计算机自适应测验旨在根据学生历史表现为学生选择合适的题目,快速有效地测量学生的真实能力.然而在智能教育场景下,现有自适应测验策略仍存在目标复杂和知识稀疏等问题.为此,文中构建用于智能场景的可精准测评学生知识能力的面向序列诊断的强化计算机自适应测验方法,包括基于序列诊断的学生模拟器和学生画像模型,并针对真实场景中自适应测验的目标复杂性,设计薄弱点准确率、预测表现耦合、自适应测验时长、测验异常率和测验的难度结构这5个评价指标.进一步地,提出基于强化学习的计算机自适应测验选题策略,利用双通道自注意力学习及矛盾学习模块缓解知识稀疏的问题.真实数据上的实验表明,文中选题策略不仅可高效测量学生真实能力,还可优化学生的作答体验,同时选择的题目也具有一定的可解释性,从而为智能教育场景下的计算机自适应测验提供一个可行方案.

基于FCA具有认知诊断功能CAT的设计与实现

认知诊断(Cognitive diagnosis,CD)是智能教学系统的重要组成部分,但其研究存在一些问题:且对具有认知诊断功能的计算机化自适应测验(Computerized adaptive testing,CAT)的报导很少。CAT因人施测,公平高效,适合大规模测验。在规则空间模型与属性层次法的理论基础上,提出新的属性层次结构的类型,将形式概念分析(Formal concept analysis,FCA)应用于CD-CAT,以概念格为其理论模型,采用合适的题库建设技术、CD-CAT的选题策略和估计方法,建立概念格与CD-CAT的联系,据此开发出CD-CAT以实现对被试的实时诊断并讨论认知诊断的算法。采用Monte Carlo模拟进行实验,实验结果表明被试的知识状态较好地被诊断,能力估计精度在89%以上。

基于IRT的计算机化适应性测验的概念、类型及特征

近年来,适应测验实践的需要,计算机化适应性测验(CAT)呈现多类型、多方向的发展态势。本文在总结梳理国内外相关文献基础上,讨论了基于项目反应理论(IRT)的CAT概念内涵,指出CAT的关键特征是试题难度参数与被试能力参数建立在同一量尺上;并依据概念内涵,将目前CAT多样化测验形式归纳为三个大类,包括基于IRT的认知诊断计算机化适应性测验、计算机化多阶段适应性测验、计算机化分类测验。CAT测验的三大类型各有其测量技术特点与实践应用优势,均具有良好的发展前景。

基于CD-CAT的多策略RRUM模型及其选题方法开发

在有多种解题策略的认知诊断问题情境中,用每个Q矩阵表示一种解题策略,由此将单策略认知诊断RRUM模型拓广为多策略RRUM模型(MS-RRUM)。随后,在应用MS-RRUM模型的CD-CAT中开发了适用于多策略情境的MAP参数估计法和多策略香农熵(MSSHE)选题法。将MSSHE选题法与随机选题法分别在不同属性数量、不同测验长度下进行比较,结果发现前者对被试的策略和认知状态判准率都显著优于后者,而且都很理想。这样就顺利实现了在CD-CAT做策略诊断的目标。

变长CD-CAT中的曝光控制与终止规则

本研究借鉴传统计算机化自适应测验的思想,并结合认知诊断的特点,在认知诊断框架下提出了4种变长CD-CAT的终止规则,分别是属性标准误法(SEA)、邻近后验概率之差法(DAPP)、二等分法(HA)以及混合法(HM)。在未控制曝光和采用不同曝光控制条件下,与HSU法及KL法进行了比较。研究结果表明:(1)终止条件越严格,平均测验长度越长,按测验长度最大值终止的测验百分比越大,模式判准率越高。(2)当未加入曝光控制时,4种新的终止规则均有较好表现,与HSU法十分接近。随着最大后验概率预设值的增加或?的减小,模式判准率呈上升趋势,平均测验长度逐渐增加,但在题库使用率方面均较差。(3)当加入项目曝光控制时,6种变长终止规则下的题库使用率有了极大的提升,仍能保持较高的模式判准率,并且不同的曝光控制方法对终止规则的影响是不同的。其中,相对标准终止规则极易受到曝光控制方法的影响。(4)综合来看,SEA、HM以及HA法在各项指标上的表现与HSU法基本一致,其次为KL法和DAPP法。

结合作答时间的自适应测验组卷方法

随着信息技术发展和计算机化自适应测验应用的普及,作答时间数据作为测验过程信息越来越容易获得,在心理测量领域的应用越来越广泛。将作答时间及模型应用于自动化组卷,对提高测验效率、被试能力估计精度乃至教育公平都有非常重要的意义。本文通过对自适应测验中组卷方法及研究结果进行系统梳理,全面展示结合作答时间数据的组卷方法,探究该类组卷方法对测验总时间约束、测验效率、题库安全、被试作答时间差异等问题的解决方案。对结合作答时间数据的组卷方法进行拓展,以及将研究成果应用于我国的大规模测评项目,都是未来需要探索的重要研究方向。

机助自适应考试(CAT)系统题库的仿真研究

该文用模拟的方法讨论了机助自适应考试系统中题库的容量、知识点分布和题目参数的分布。容量模拟试图在题库的规模和实用性上作一个折中,使得测试能够正确地完成而题库的量尽量的少,因为建立题库的花费非常的大;知识点分布模拟和题目参数的分布模拟,希望找出能够让自适应算法发挥最大优势的知识点分布状况和题目参数分布状况。基于实验结果,对当前的HSK(汉语水平考试)考试系统的题库的扩充方法进行了研究,并且建立信息管理模块对题库参数进行优化。

认知诊断CAT选题策略及初始题选取方法

计算机化自适应认知诊断测验(CD_CAT)是将认知诊断的基本理论、方法与计算机化自适应测验相结合的产物,是现代测量学发展的新领域。对于计算机化自适应测验(CAT)中的选题策略研究一直是国内外学者关注的问题,然而对于计算机化自适应认知诊断测验的选题策略研究却很少报导,而对于计算机化自适应认知诊断测验的初始题选取方法的研究却更少。本研究采用计算机模拟程序对HO-DINA模型下CD_CAT的五种选题策略及二种初始题选取方法进行研究。研究表明:不同初始题选取方法及选题策略均会影响对被试诊断的准确性及能力估计的精度;总体来看,对于二种初始题选取方法,本研究提出的"T阵法"优于传统的随机法;对于五种选题策略,SL_GDI法最优;初始题选取方法及选题策略的搭配中,"T阵法"和SL_GDI法的搭配最佳。

认知诊断CAT中选题策略的改进

计算机化自适应测验(CAT)的选题策略是影响测量准确性的主要因素之一.针对认知诊断CAT初期知识状态估计不准确的问题,改进后验加权Kullback-Leibler信息量,得到了2种平均后验加权Kullback-Leibler信息量选题指标.然后运用DINA(the deterministic inputs,noisy"and"gate)模型模拟作答反应,在不同测验长度下比较了6种选题策略的优劣.结果表明,新指标能极大地提高测量准确度,当测验长度为15时,知识状态的判准率提高了10%以上;除随机方法外,其他方法的项目曝光率没有明显差异.

认知诊断CAT中项目曝光控制方法的比较

项目曝光率关系到题库建设和测验安全,是计算机化自适应测验(Computerized Adaptive Testing,CAT)需要考虑的重要问题。在认知诊断CAT情形下,首先基于传统CAT中a-分层方法的思想提出按项目信息量对题库分层的分层多阶段(Stratified Multistage,SM)选题方法;然后将SM方法与项目合格(ItemEligibility,IE)方法相结合得到SMIE方法。在此基础上,开展模拟研究比较SM、IE、SMIE、最大修正优先指标(Maximum Modified Priority Index,MMPI)方法、限制阈值(Restrictive Threshold,RT)方法和限制进度(Restrictive Progressive,RPG)方法的选题表现。总体上,它们的测量精度从高到低依次为IE、SM、SMIE、RT、RPG和MMPI方法;项目曝光分布均匀性的优劣次序为MMPI、RPG、SMIE、RT、SM和IE方法;SMIE和RT方法能较好地平衡测量精度和项目曝光均匀性要求。

多级评分模型下的题库结构对CAT的影响分析

在多级评分模型下,项目的难度参数或步骤参数有多个,在对多级评分模型进行选题时,通常对项目的多个难度参数用一个综合的指标来概括。当对每个项目的难度参数进行有效的综合后,综合后的难度参数分布发生了改变,这时如果增加适量的平均难度较难或较易的项目进入题库,测验的精度和项目的曝光率都有一定的改善。

认知诊断CAT中具有非统计约束选题方法的比较

项目曝光控制和内容约束关系到测验安全、测验的信度和效度,是计算机化自适应测验(Computerized Adaptive Testing,CAT)中两类重要的非统计约束条件。本文在认知诊断CAT中针对内容约束和项目曝光控制要求,运用5种方法选择测验项目。它们分别是:(1)Monte Carlo方法与项目合格方法相结合,记为MC-IE;(2)Monte Carlo方法与最大优先指标方法相结合,记为MC-MPI;(3)Monte Carlo方法与限制阈值方法相结合,记为MC-RT;(4)Monte Carlo方法与限制进度指标方法相结合,记为MC-RPG以及(5)Monte Carlo方法与最大后验概率方法相结合,记为MC-PP。然后通过在线性、收敛、发散、无结构和独立五种属性结构下构建题库并运用重参化融融统和模型模拟被试反应比较它们的选题表现。研究发现,(1)相同选题方法在不同属性结构下项目曝光率的分布类似,测量精度按线性、收敛、发散、无结构和独立结构的顺序依次降低;(2)相同属性结构下,不同方法的测量精度高低依次为MC-PP、MC-IE、MC-RT、MC-MPI和MC-RPG方法;项目曝光均匀性优劣依次为MC-RPG、MC-MPI、MC-RT、MC-IE和MC-PP方法。统一量纲值表明,MC-RPG方法的综合表现最好,MC-MPI方法的表现次之。

2PLM下CAT选题策略比较

本文在两参数逻辑斯蒂克模型(2PLM)下,提出一种新的选题策略——平均测验难度匹配法(Avt-b),并对四种选题策略下EAP能力估计趋势进行比较研究。通过模拟研究显示,Avt-b方法在CAT前期能够较快地锁定能力范围,较准确地作出能力估计。本文对CAT测试阶段的能力误差范围进行确定,对于多级评分模型的CAT选题策略开发具有一定的借鉴意义。

CD-CAT选题策略及其应用

认知诊断计算机自适应测验(Cognitive Diagnostic Computerized Adaptive Testing,CD-CAT)是最近兴起的基于认知心理学、测量理论与计算机技术的测验新形式。选题策略是CD-CAT的重要组成部分,它关系到测量的信效度、测验安全、诊断准确性等诸多问题。本文对认知诊断计算机自适应测验的选题策略进行了介绍,并展望了未来研究趋势。