医学统计学计算机自适应测验算法的模拟研究

目的对医学统计学计算机自适应测验(computerized adaptive testing,CAT)算法进行模拟研究,为实现医学统计学CAT奠定基础。方法基于中山大学医学统计学研究生试题库,采用蒙特卡洛模拟生成被试作答及能力水平,对CAT测验中应用的选题策略及其非统计约束、终止规则进行模拟比较及验证。结果根据模拟结果,选择了渐进最大信息量法作为选题策略,标准误=0.3为测验终止规则,0.4为最大曝光控制界值,并研究了不同能力考生在内容平衡约束下的CAT应用结果。结论为医学统计学CAT选定了适用的算法,了解了其测试结果规律,为确保医学统计学CAT具有良好的性能提供了理论支持,也为其他学科进行CAT建设前模拟提供了一定的参考。

面向序列诊断的强化计算机自适应测验方法

计算机自适应测验旨在根据学生历史表现为学生选择合适的题目,快速有效地测量学生的真实能力.然而在智能教育场景下,现有自适应测验策略仍存在目标复杂和知识稀疏等问题.为此,文中构建用于智能场景的可精准测评学生知识能力的面向序列诊断的强化计算机自适应测验方法,包括基于序列诊断的学生模拟器和学生画像模型,并针对真实场景中自适应测验的目标复杂性,设计薄弱点准确率、预测表现耦合、自适应测验时长、测验异常率和测验的难度结构这5个评价指标.进一步地,提出基于强化学习的计算机自适应测验选题策略,利用双通道自注意力学习及矛盾学习模块缓解知识稀疏的问题.真实数据上的实验表明,文中选题策略不仅可高效测量学生真实能力,还可优化学生的作答体验,同时选择的题目也具有一定的可解释性,从而为智能教育场景下的计算机自适应测验提供一个可行方案.

计算机自适应测验有效性检验的探索与优化

计算机自适应测验(Computerized Adaptive Testing,CAT)的有效性检验是评定测验生成过程以及解释测验结果是否恰当、合理的必要步骤,然而系统性探讨CAT有效性检验的研究相对较少。为弥补其不足,文章在剖析CAT有效性检验内涵的基础上,首先梳理了基于IRT的题库、模拟CAT与真实CAT有效性检验的基本内容。然后,文章针对题库中试题逐渐向多维度和多模态转变的特点,提出利用高阶因子模型与多质多法模型对多维度与多模态试题进行有效性检验的方法;同时建议从测验公平性的角度,检验CLT与CAT中个体人格特质对被试作答表现的影响是否具有跨组不变性,最终形成了一套符合时代发展的CAT有效性检验的完整流程,以期为CAT的持续改进及其在教育实践中的普及推广提供助力。

国际中文计算机多阶段自适应测试的设计探索

国际中文测试目前以纸笔方式为主,计算机化测试为辅。虽然两种方式媒介不同,但均是一份试卷施测于所有考生。这种“多人一卷”的测试方式通常对能力分布两端的考生测量误差较大,导致整体测验信度下降。运用现代科学技术,对国际中文计算机多阶段自适应测试进行了研究设计。该测试分多个阶段进行,在跨越阶段时,系统会根据考生能力水平选择难度适当的试题模块供其作答。这种“量体裁衣”式的测试能够用更短的时间、更少的试题,更精确、有效地测量国际学生的中文语言能力。

基于非统计约束的计算机化自适应测验选题策略

计算机化自适应测验选题策略的优劣与测验的准确性、安全性、效率及信度等指标息息相关。然而,目前存在的选题策略在测验的效率和题库安全性方面难以取得平衡,所以,本文研究的重点在于寻找一种能够同时兼顾这两方面需求的选题策略。在本研究中,我们采用等级反应模型(GRM),提出了一种按区分度近似分布分层法(A-ADS)。实验结果表明,该方法在曝光率方面,当与按区分度分层和能力匹配法相结合的结果相接近时,A-ADS方法明显提高了测验的效率。

难度自适应计算机认知训练对社区老年人的干预效果研究

目的探讨难度自适应计算机认知训练对社区老年人的干预效果,旨在为在社区针对认知健康老年人开展难度自适应计算机认知训练提供依据。方法在北京市4个社区中便利选取74名60岁及以上认知健康的老年人。先入组的37名老年人为试验组,后入组的37名老年人为对照组。试验组和对照组分别进行难度自适应和固定难度的计算机认知训练,训练时间共6周,每周5次,每次20 min。通过一般资料调查问卷获得老年人的一般人口学资料,通过北京版蒙特利尔认知评估量表、听觉词语学习测验、Stroop色词测验、连线测验和数字广度测验评估研究对象干预前后的总体认知功能、记忆力、执行功能和注意力。结果干预前两组的一般人口学资料、总体认知功能得分、记忆力得分、执行功能得分和注意力得分均具有可比性。干预后:①总体认知功能,两组的北京版蒙特利尔认知评估量表总分均较干预前提高(P<0.05),试验组总分高于对照组(P<0.05);②记忆力,干预后试验组记忆功能得分较干预前提高(P<0.05),对照组干预前后比较,差异无统计学意义(P>0.05);③执行功能,干预后试验组色词测验3和连线测验A、B耗时较干预前缩短(P<0.05),对照组干预前后比较,差异无统计学意义(P>0.05);④注意力,两组数字倒背得分干预前后比较,差异均无统计学意义(P>0.05)。结论计算机认知训练对社区认知健康老年人的认知功能有积极效果,难度自适应计算机认知训练的效果更好。

计算机化自适应测验在认知诊断中的应用

作为认知诊断与计算机化自适应测验相结合的产物,认知诊断计算机化自适应测验(Cognitive Diagnostic Computerized Adaptive Testing,CD-CAT)是对被试知识状态的自适应。它既有传统CAT所面临的普遍性问题,也有在认知诊断中遇到的特殊问题:由于认知诊断中涉及属性这一概念,CD-CAT与传统CAT有很大的差别。本文紧紧围绕属性引起的差异,分别从认知诊断模型、题库建设、起始规则、选题策略、被试知识状态估计和终止规则等几部分详细介绍CD-CAT的研究进展和存在的问题。

引入曝光因子的计算机化自适应测验选题策略

在计算机化自适应测验(CAT)的研究中,制定既高效又安全的选题策略是一个追求目标。用极大项目信息量准则(MIC)选题使得测验效率高、能力估计准确,缺点是项目调用很不均匀,影响考试的安全;按a分层法通过控制试题曝光率以提高考试的安全性,但该方法可能会使测验效率略有下降,且该方法在各层内部无法实现对区分度的调整。本文针对上述两种选题策略的优缺点,对0-1评分下的CAT,通过引入曝光因子、分阶段自动调整区分度的影响以及提高选题准确性等手段,对MIC和a-STR进行改进,引入了两类新的选题策略。计算机模拟实验显示,新的选题方法效果比较理想。

多级评分题计算机自适应测验选题策略比较

研究比较了多级评分题计算机化自适应测验五种选题策略的优劣。应用的IRT模型是Sam ejim a的等级反应模型。参加比较的选题策略有难度均值与能力匹配法、难度中值与能力匹配法、信息量最大法和两种A分层法。比较指标采用了能力估计值返回真值偏差、能力估计标准差、人均用题数和试题调用次数标准差四个。研究采用蒙特卡罗模拟法,结果显示每种方法各有优劣,在分层得当情况下,A分层法(中)的综合效果最佳。

等级反应模型下计算机化自适应测验选题策略

计算机化自适应测验(CAT)中的选题策略,一直是国内外相关学者关注的问题。然而对多级评分的CAT的选题策略的研究却很少报导。本研究采用计算机模拟程序对等级反应模型(G raded Response Model)下CAT的四种选题策略进行研究。研究表明:等级难度值与当前能力估计值匹配选题策略的综合评价最高;在选题策略中增设“影子题库”可以明显提高项目调用的均匀性;并且不同的项目参数分布或不同的能力估计方法都对CAT评价指标有影响。

在线标定技术在计算机化自适应测验中的应用

计算机化自适应测验(Computerized Adaptive Testing,CAT)近年来得到迅猛发展,题目增补对CAT的题库建设与维护至关重要。新题标定作为题目增补过程中的技术难点,它的精度直接影响被试能力估计的准确性,目前在线标定技术经常用于标定新题。从在线标定设计和在线标定方法两个方面,对两类CATs(以项目反应理论为基础的传统CAT以及以认知诊断理论为基础的认知诊断CAT(Cognitive Diagnostic CAT,CD-CAT))中的在线标定相关研究进行述评。传统CAT领域有着较丰富的研究,而CD-CAT的在线标定研究则刚刚起步。未来研究应进一步探讨在线标定设计/方法之间的比较与结合,以及CD-CAT和多维CAT的在线标定研究。

认知诊断计算机化自适应测验中新的选题策略:结合项目区分度指标

当前国内外大部分认知诊断计算机化自适应测验(CD-CAT)主要采用PWKL作为选题策略进行研究。PWKL结合后验分布信息对KL指标进行加权,提高了判准率,但该方法仅利用个体层面信息加权,忽视了项目本身能够提供的信息,属于单源指标。本研究结合认知诊断中的项目区分度信息,对PWKL进行修正,提出了4种新的多源选题策略:GIDPWKL、AIDPWKL、CIDPWKL和KLEDPWKL方法,并在加入曝光控制下与PWKL和互信息法(MIM)进行比较。模拟研究结果表明:(1)在定长测验情景下的绝大多数实验结果表明,测验长度越短,新方法的判准率越高。平均属性/模式判准率最高的是GIDPWKL,之后是AIDPWKL,而CIDPWKL、KLEDPWKL和MIM方法的优势随实验条件不同而不同。(2)在定长测验情景下的绝大多数实验结果表明,题目质量越高,新方法的优势越明显。(3)Q矩阵结构的复杂性会影响不同选题策略的表现。(4)在变长测验情景下,4种新方法和MIM的平均测验长度均要低于PWKL方法,表现最好的是GIDPWKL方法。因此,若实际测验情景与本研究的模拟情景相似,推荐GIDPWKL方法。

计算机化自适应诊断测验中原始题的属性标定

认知诊断测验项目开发成本较高,要标定大量项目的属性相当费时费力,专家完成这一任务也比较困难。对于在计算机化自适应诊断测验中的项目属性的标定尚未见到报导。在已有的为诊断测验开发的小型题库基础上,本文在计算机化自适应认知诊断测验过程中,植入原始题,对项目属性标定的问题进行探讨,重点研究原始题属性标定的方法及其影响因素,除了MMLE方法和MLE方法外,还建立了一种新的可用于所有非补偿认知诊断模型的属性标定的方法——交差方法。MonteCarlo模拟结果显示,MMLE方法较MLE方法好;在知识状态估计精度较高时,自适应植入原始题较随机植入原始题有一定的优势;随着知识状态估计精度提高和原始题作答次数增加,交差方法与MLE方法基本相当,只是在发散型和无结构型表现欠佳,但是交差方法不需要预先设定项目参数值。

基于属性掌握概率的认知诊断计算机化自适应测验选题策略

在认知诊断计算机化自适应测验(CD-CAT)中,被试对每个属性的掌握概率更直接地反映了被试能力的当前估计值。因此,基于被试的属性掌握概率来构建选题策略,选择最能改变被试属性掌握概率的题目作为下一个测验项目,这应该是一个值得尝试的方案。本文借鉴已有相关研究的数据生成模式进行探索,模拟实验结果表明:假设属性间相互独立,在定长(长度为16)、变长(长度为16或后验属性掌握模式概率达到0.8)以及短测验(长度分别为4、6、8、10)的情况下,基于属性掌握概率的选题策略PPWKL和PHKL有较好的分类准确率,在题目曝光率,题库使用均匀性等方面也有较好的表现;与研究较多的PWKL、HKL等策略相比,也略有优势;当属性间存在不同程度的相关时,在定长、变长以及较短的测验条件下,基于PHKL和MI的测验对知识状态估计精度较好,基于PPWKL和PHKL的测验综合表现占优。

计算机自适应考试技术在网络教育中的应用

计算机自适应考试(Compucer Adaptive Test—CAT)技术是传统考试技术的进一步发展,从而使考试智能化,摆脱了传统考试的一些弊端。这里探讨了计算机自适应考试技术的一些知识以及该技术在国内外的应用情况。并对其在网络教育中的应用做了进一步的研究。最后提出了一个简化的计算机自适应考试模型。

计算机自适应考试理论分析

依据自适应考试中的项目反应理论,对其中参数进行了分析,建立了试题库建库模型,同时对受测者的能力进行分析;应用组卷理论中的组卷原则和问题的形式化描述,对生成试卷的算法进行分析。该结论对当前计算机自适应考试提供了理论依据。

认知诊断计算机化自适应测验中在线标定方法的开发

项目增补对认知诊断计算机化自适应测验(CD-CAT)中的题库维护至关重要。在传统CAT中,在线标定方法经常用于估计新题的项目参数。然而直到现在,在CD-CAT领域还没有任何关于在线标定的论文公开发表。为将传统CAT中3种有代表性的在线标定方法(MethodA、OEM和MEM)推广至CD-CAT(CD-MethodA、CD-OEM和CD-MEM)建立分析基础,并采用模拟方法对这3种方法进行比较。研究表明:CD-MethodA方法在项目参数的返真性方面优于其它两种方法;自适应标定设计较随机标定设计可以提高项目参数的返真质量。

多级评分计算机化自适应测验动态综合选题策略

多级评分可以提供更多关于被试的信息,是计算机化自适应测验的一个发展方向,选题策略是计算机化自适应测验的研究重点。对于多级评分的等级反应模型,本文拟用区间估计的思想改进近期提出的几种选题策略,并且将两级评分b-STR和a-STR推广到多级评分以改进最大信息量选题策略。Monte Carlo模拟实验表明在达到或接近原有选题策略测验精度的基础上,本文提出的几种新选题策略有的能够有效降低测验长度,有的可以极大降低项目曝光率。

基于模拟退火算法的计算机自适应测试项目选择方法研究

项目选择方法是计算机自适应测试中最重要的组成部分之一,传统的方法是根据信息函数选择具有最大信息量的测试项目,达到对考生能力水平精确估计的目的。然而,该方法存在部分项目曝光率过高以及测试内容不平衡等问题。针对这些问题,提出一种新的启发式项目选择方法,即把有记忆的模拟退火算法应用到多约束的项目选择中。研究结果表明,与最大信息量方法相比,该方法在保证相同测量精度的条件下,可以较好地控制项目曝光率以及达到内容平衡。

具有认知诊断功能的计算机化自适应测验的研究与实现

构造具有认知诊断功能的计算机化自适应测验(Computerized Adaptive Testing,CAT),关键在于设计不同于传统CAT的选题策略。本文采用先认知诊断后估计能力的方法,在诊断阶段用状态转换图描述特定认知领域中所有知识状态及这些状态之间的联系,以图的深度优先搜索方法为基础设计选题策略;而在能力估计精细化阶段,每个被试所测项目,不仅与其能力估计值相匹配,且只与其所掌握的属性相关。本文采用蒙特卡罗模拟针对三种不同的属性结构进行试验,结果良好。