等级反应模型下计算机化自适应测验选题策略

计算机化自适应测验(CAT)中的选题策略,一直是国内外相关学者关注的问题。然而对多级评分的CAT的选题策略的研究却很少报导。本研究采用计算机模拟程序对等级反应模型(G raded Response Model)下CAT的四种选题策略进行研究。研究表明:等级难度值与当前能力估计值匹配选题策略的综合评价最高;在选题策略中增设“影子题库”可以明显提高项目调用的均匀性;并且不同的项目参数分布或不同的能力估计方法都对CAT评价指标有影响。

引入曝光因子的计算机化自适应测验选题策略

在计算机化自适应测验(CAT)的研究中,制定既高效又安全的选题策略是一个追求目标。用极大项目信息量准则(MIC)选题使得测验效率高、能力估计准确,缺点是项目调用很不均匀,影响考试的安全;按a分层法通过控制试题曝光率以提高考试的安全性,但该方法可能会使测验效率略有下降,且该方法在各层内部无法实现对区分度的调整。本文针对上述两种选题策略的优缺点,对0-1评分下的CAT,通过引入曝光因子、分阶段自动调整区分度的影响以及提高选题准确性等手段,对MIC和a-STR进行改进,引入了两类新的选题策略。计算机模拟实验显示,新的选题方法效果比较理想。

计算机化自适应诊断测验中原始题的属性标定

认知诊断测验项目开发成本较高,要标定大量项目的属性相当费时费力,专家完成这一任务也比较困难。对于在计算机化自适应诊断测验中的项目属性的标定尚未见到报导。在已有的为诊断测验开发的小型题库基础上,本文在计算机化自适应认知诊断测验过程中,植入原始题,对项目属性标定的问题进行探讨,重点研究原始题属性标定的方法及其影响因素,除了MMLE方法和MLE方法外,还建立了一种新的可用于所有非补偿认知诊断模型的属性标定的方法——交差方法。MonteCarlo模拟结果显示,MMLE方法较MLE方法好;在知识状态估计精度较高时,自适应植入原始题较随机植入原始题有一定的优势;随着知识状态估计精度提高和原始题作答次数增加,交差方法与MLE方法基本相当,只是在发散型和无结构型表现欠佳,但是交差方法不需要预先设定项目参数值。

多级评分计算机化自适应测验动态综合选题策略

多级评分可以提供更多关于被试的信息,是计算机化自适应测验的一个发展方向,选题策略是计算机化自适应测验的研究重点。对于多级评分的等级反应模型,本文拟用区间估计的思想改进近期提出的几种选题策略,并且将两级评分b-STR和a-STR推广到多级评分以改进最大信息量选题策略。Monte Carlo模拟实验表明在达到或接近原有选题策略测验精度的基础上,本文提出的几种新选题策略有的能够有效降低测验长度,有的可以极大降低项目曝光率。

多级评分计算机化自适应测验动态调和平均选题策略

对于等级反应模型下计算机化自适应测验构建一个新选题策略,利用调和平均数以更好地度量难度参数向量与能力估计值之间的距离;调节区分度参数的幂指数以控制其在测验各阶段对项目选择的不同影响;利用项目信息函数提高测验的精度,并综合权衡能力估计精度和项目曝光率。模拟实验表明在同等实验条件下该策略与著名的最大Fisher信息量选题策略(MFI)相比,仅仅测验长度多用两个项目,能力估计精度基本相当,而曝光率有很明显优势,只为MFI的十分之一,这大大提高了测验安全性。

认知诊断计算机化自适应测验的选题策略

随着认知诊断计算机化自适应测验(cognitive diagnostic computerized adaptive testing,CD-CAT)理论与实践的发展,兼顾知识状态与能力的双目标CD-CAT逐渐受到重视。选题策略是CAT的核心,通过梳理传统CD-CAT和双目标CD-CAT选题策略的研究,并对它们的特点、关系及表现进行介绍和评析。最后,基于认知诊断模型与CAT实践发展指出未来应加强一般化认知模型、复杂测验条件认知诊断模型下选题策略的研究;应开发双目标诊断测验的项目和测验特征指标;还应加强非参数选题方法和CD-CAT的实践应用研究。

基于抽样原理的计算机化自适应测验选题策略

沿用曝光控制因子的同时,基于抽样原理,引入区分度分布因子,按区分度的分布情况来选取测验中的项目.以lna^N(0,1)为例,Monte Carlo模拟结果表明:该方法在估计精度、效率和安全性等指标上表现得比较优异.

多级评分题计算机自适应测验选题策略比较

研究比较了多级评分题计算机化自适应测验五种选题策略的优劣。应用的IRT模型是Sam ejim a的等级反应模型。参加比较的选题策略有难度均值与能力匹配法、难度中值与能力匹配法、信息量最大法和两种A分层法。比较指标采用了能力估计值返回真值偏差、能力估计标准差、人均用题数和试题调用次数标准差四个。研究采用蒙特卡罗模拟法,结果显示每种方法各有优劣,在分层得当情况下,A分层法(中)的综合效果最佳。

双因子模型下CAT测验优化设计及其效果验证

在2种传统的BCAT测验设计的基础上,提出了4种新的BCAT测验设计,并采用国际上通用的Monte Carlo模拟实验的方式,从被试能力参数估计精度、题库使用的曝光率及测验的效率等3大指标来验证新开发的4种BCAT测验设计,再与传统的BCAT测验设计进行比较,以验证该文提出的4种新的BCAT测验设计的科学性、效果及优势.最后,对BCAT测验设计在实际应用中的选用提出了具体的意见与建议,以供实际应用者参考及借鉴.

Pearson x^2检验在计算机自适应化测验中的应用研究

计算机化自应用测验(CAT)使用项目反应理论(IRT),通过观察被试在项目上的反应,将能力和项目参数的关系用数学模型表达出来。如何有效地估计被试的能力,是计算机化自适应测验的一个关键问题。本文首先论述了Berkson的最小化x2方法,但使用该方法的前提是已知被试的能力,且运用了Pearson x2检验的思想。接着指出该方法中存在的缺陷,进而提出了一种新的解决方案,该新方案可弥补Berkson的最小化x2方法的不足之处,可以作为该方法的一个改进。本文的研究表明,新的方案比Berkson的最小化x2方法具有更加科学的解释能力。

多维测验分数的报告与解释:基于双因子模型的视角

在心理、行为、管理和教育等社科领域,经常使用多维测验。本文评介并比较了各种多维测验的测量模型;总结了基于双因子模型计算得到的统计指标;根据不同研究目的,提出了两个兼顾简洁性和精确性的多维测验分析流程。作为例子,在马基雅维利主义人格量表的研究中,通过双因子模型分析了如何报告、解释多维测验分数以及如何利用多维建模进行后续分析。

双因子模型MCAT中多级评分项目选题策略的比较

针对多级评分项目计算机化自适应测验,推导双因子等级反应模型Fisher信息量的计算,然后将"维度缩减"方法运用到后验加权D优化(PDO)、后验加权Kullback-Leibler(PKL)、连续熵(CEM)和互信息(MI)方法,并在低、中、高双因子模式下比较它们的表现。模拟研究表明:(1)双因子模式越强,全局因子估计精度降低,局部因子估计精度提高;(2)相同实验条件下,CEM方法的测量精度最高,PKL方法的估计精度最低,其它方法没有显著差异。

题组反应模式下的双因子模型和两层模型模拟比较

在测验开发中,以具有局部依赖性的题组形式存在的试题越来越多。双因子模型(bi⁃factormodel)和两层模型(two-tiermodel)是近年来基于试题局部依赖性提出的2种多维度模型。对2种模型进行模拟比较,结果显示:2种模型均可以处理具有局部依赖的试题多维度问题,并在局部依赖的识别、试题参数估计、被试特质分数估计方面具有一致性;在数据与模型的拟合方面,两层模型具有更好的拟合性;在运算的效率方面,两层模型的时间复杂性更高;在数据模拟的稳健性方面,两层模型在测验维度较高时可能存在无法收敛问题,双因子模型更加稳健。建议在测验结构相对简单时使用双因子模型,在测验结构较为复杂时使用两层模型。

使用题组反应模型缓解局部题目依赖性对多阶段测验的危害

尽管多阶段测验(MST)在保持自适应测验优点的同时允许测验编制者按照一定的约束条件去建构每一个模块和题板,但建构测验时若因忽视某些潜在的因素而导致题目之间出现局部题目依赖性(LID)时,也会对MST测验结果带来一定的危害。为探究"LID对MST的危害"这一问题,本研究首先介绍了MST和LID等相关概念;然后通过模拟研究比较探讨该问题,结果表明LID的存在会影响被试能力估计的精度但仍为估计偏差较小,且该危害不限于某一特定的路由规则;之后为消除该危害,使用了题组反应模型作为MST施测过程中的分析模型,结果表明尽管该方法能够消除部分危害但效果有限。这一方面表明LID对MST中被试能力估计精度所带来的危害确实值得关注,另一方面也表明在今后关于如何消除MST中由LID造成危害的方法仍值得进一步探究的。

超高速电机模型预测控制的静差消除双闭环控制策略研究

三矢量模型预测控制不仅可实现交直轴电流的无差拍控制,还具有良好的稳态性能。但应用于高基频低载波比的超高速电机控制系统时,仍存在电流跟踪静差、计算量大等缺陷。文中首先对传统三矢量模型预测控制进行等效控制集优化,在不影响控制性能的情况下,能够大大降低算法复杂度。同时,为提高预测电流误差消除的快速性,提出一种电流预测静差消除双闭环控制策略。设计自适应加权数据选择器,交直轴电流预测误差经自适应加权数据选择器后,通过调节器对逆变器模型角度进行补偿,从而形成内环;外环则由交直流预测电流跟踪误差反馈至电流给定值构成。在该双闭环控制系统中,内环实现了纯延时误差的全补偿,并优化非纯延时误差在交直轴上的分布;外环则能完全消除分布优化后的内环预测误差。仿真分析和实验结果证明了所提控制策略的可行性和有效性。

CD-CAT中基于SCAD惩罚和EM视角的在线标定方法开发——G-DINA模型

G-DINA(the generalizeddeterministic input,noisy and gate)模型限制条件少,应用范围广,满足大量心理与教育评估测验数据的要求。研究提出一种适用于G-DINA等模型的同时标定新题Q矩阵与项目参数的认知诊断计算机化自适应测验(CD-CAT)在线标定新方法SCADOCM,以期促进CD-CAT在实践中的推广与应用。本研究分别基于模拟题库以及真实题库进行研究,结果表明:相比传统的SIE方法,SCADOCM在各实验条件下均具有较为理想的标定精度与标定效率,应用前景较好;SIE方法不适用于饱和的G-DINA等模型,其各实验条件下的Q矩阵标定精度均较低。

等级评分模型下的最大信息量分层选题策略

对于0-1评分模型,R.B.Juan等提出了最大信息量分层选题策略,将此选题策略应用到等级反应评分模型(GRM)中,即以项目j的最大信息量I max(j)作为分层的依据,以取得该项目的最大信息量时能力点值θmax(j)作为项目的综合难度,分别用I max(j)与θmax(j)替代张华华等提出的按a分层和按b分块按a分层方法中的a、b参数,形成最大信息量按a分层选题策略(MI-AS)和最大信息量按b分块按a分层方法(MI-BS).模拟实验结果表明:MI-AS和MI-BS方法较传统的按a分层方法要好.

认知诊断理论在计算机自适应测试中的应用与启示

随着科学技术的进步,计算机技术正逐步与认知诊断理论结合,形成计算机化自适应认知诊断测验(Computerized Adaptive Test for Cognitive Diagnosis,CD-CAT)的评测方式。用CD-CAT进行教育测量评估有着诸多优势,但是目前国内尚缺乏计算机化自适应认知诊断测验的实验研究与大规模的实践应用。本研究运用内容分析法,以"计算机自适应测试"和"计算机认知诊断测验"为关键词进行搜索,结果表明:国内于2006年开始逐步开展CD-CAT研究,近几年的研究热点主要聚焦在理论概况(占总样本的比例为15%)和现状综述(占总样本的比例为74%)方面,具体内容包括确定属性、认知诊断模型和流程方法,也有小规模的测试实验,如英语、化学等学科。基于此,运用UCINET将"研究者派系"可视化,发现领域科研合作紧密,但是整体合作疏远,小团队研究更加集中。最后,文章介绍了国内外CD-CAT实践案例,阐述了认知诊断评价在教育领域的发展方向和策略,期望对国内教育评价走向CD-CAT有所启发。

基于GRM模型的CAT分层方法在校准误差中的应用研究

在计算机化自适应测验(CAT)中,0-1评分模型下b组块a分层的方法(BASTR)可以提高测量准确性的同时平衡项目的曝光率,但在多级评分模型中项目难度/步骤参数有多个,无法直接使用该方法;又因为信息函数可以较好地综合被试能力和项目参数,但最大信息量选题策略的测验安全性太低.因此,将多级评分模型中的多个参数综合成一个指标作为b分块的依据,模仿BASTR方法,提出5种新的B分块a分层方法,并且采用"影子题库"下最大信息量的选题方法.在等级反应模型(GRM)下蒙特卡洛实验结果表明,新方法在测验精度、题库利用率和机会红利等评价指标中总体表现良好,B_max-min分块方法表现最优.

引入曝光因子的最大信息量动态分层法

在计算机化自适应测验(CAT)中,a分层法(a-STR)是较为独特且运用较广的一种选题策略,它可以有效控制题目曝光率以提高测验的安全性。动态a分层法(DAS)是针对a-STR分层数固定不变,需要人为在考试前确定且没有失效时间等一些不足提出的一种选题策略,但DAS本身在测验效率和曝光率控制上的表现并不优秀,对此,在0-1评分的CAT中,通过引入曝光因子(ecf)和最大信息量分层策略(MIS),提出一种复合型选题策略,以期对DAS进行改进。计算机模拟结果显示,新的选题策略在测验效率和曝光率控制方面均优于DAS,达到了研究的目的。