0-1评分认知诊断测验设计

认知诊断测验设计实质上是测验Q矩阵设计,设计应最大限度覆盖诊断的构念,充分发挥代表认知模型的属性层级关系的重要作用.主张测验充分表达被试知识结构,提倡测验Q矩阵和被试知识状态共享同一层级结构,以实现对被试更加准确的诊断.对于非独立型层级结构,无法实现属性使用次数平衡而应采用题目属性向量使用平衡策略.对Liu Ren(2017)的测验设计提出质疑.

题目属性向量平衡策略的认知诊断测验设计

为认知诊断测验制定的题目属性向量平衡(IAVB)策略强调测验必须体现认知模型,并将题目属性向量而不是以单个属性作为考察单位。该策略克服严格属性平衡(SAB)策略仅适用于独立结构的不足,且在每个题目考察属性个数(大致)相同的条件下,以模式判准率(PMR)为衡量标准,该策略优于非IAVB策略。特别地,若属性层级结构为独立结构时,采用IAVB策略的测验最优,SAB策略次之,两种策略均未采用则最差。另IAVB矩阵可显著提高PMR。

不同认知结构被试的测验设计模式

正如不同的病症需要使用不同的医疗技术方法来诊断一样,不同的认知结构也需要设计对应的测验模式来进行诊断,从而保证测验具有高质量的诊断评估效果。但传统测验形式未考虑不同认知结构的针对性诊断测验需求,导致"千人一卷"在测验效率上有所不足;认知诊断计算机化自适应测验虽可针对不同认知结构的被试施测不同的项目,然而支持自适应过程的题库却没有针对不同认知结构被试设计对应的项目,导致题库使用效率较低。要解决上述问题的关键在于,探索如何针对不同认知结构设计相对应的测验模式。本研究采用Monte Carlo模拟,对六种属性层级关系下,不同认知结构的测验设计模式进行探讨。实验结果表明(1)同一属性层级关系下,不同认知结构的最佳测验设计模式不同;(2)依据不同认知结构的最佳测验设计模式构建的题库具有更高的使用效率。测验编制者可以根据实验结果针对不同认知结构优化对应的测验设计模式,并用于指导题库建设。

小学高年级写作能力初步诊断测验设计

写作能力诊断是教师对学生写作能力进行客观科学评价和正确反馈的依据,是培养写作能力的起点。国外对于学生写作能力的诊断主要通过量表的形式,其研究早于我国。美国作文教学专家玛丽·安妮·特罗丝在介绍"整体评价法"时列出一份《作文整体评价项目表》.

美国数学评估“测验项目和测验设计”中存在的问题及思考

2008年,美国教育部发布了《国家数学顾问团的报告》。报告中的"教学评估"专题主要基于美国成就测验的广泛应用这一背景,对测验的内容、测验成绩的分类、测验项目和测验设计提出建议。美国数学专家组通过调查研究发现,美国数学教学评估在"测验项目和测验设计"方面存在一些问题,如测验项目"措辞"上的问题、测验程序研发中出现的漏洞、测验项目上的争议,等等。笔者对这些问题进行简单介绍,并对其进行思考,进而提出在测验编制和项目设计上的一些建议。

基于CTT的锚测验非等组设计中四种等值方法的比较研究

采用锚测验非等组设计的数据收集方案,对4种基于经典测量理论的等值方法进行了比较研究。研究数据取自TIMSS1999数据库,兼用等值标准误和交叉验证方法作为各等值方法比较的检验标准,利用CIPE程序对实验数据进行分析。研究结果表明,针对本研究所设置的等值情境,线性等值优于等百分位等值,其中Tucker线性方法比Levine观察分数线性方法更好一些,Braun-Holland线性方法不宜采用,频数估计等百分位方法等值误差较大,亦不足取。

有意义的教学测验——网络化适应性学习系统中的测验设计

本文讨论了网络化适应性学习系统内部测验环节的教学设计,提出在适应性学习系统中建立对学习者有意义的教学测验,应用试题属性表建立试题和教学内容的关联,通过概念累积计分诊断学习者的学习状况,并依照学习者达到教学目标的程度来安排后续的教学内容,以促成有效的学习。

多级评分认知诊断测验蓝图的设计——根树型结构

在某种给定的评分方式下,假设属性之间没有补偿作用,讨论多级评分认知诊断测验蓝图设计问题.根据图论,将J.P.Leighton等定义的线型、发散型、无结构型属性层级结构归结为根树型,构造出相应的完备测验Q阵,即是使知识状态与期望反应模式一一对应,且列数最少的测验Q阵.完备Q矩阵均受到测验Q阵的秩的制约.

多级评分认知诊断测验蓝图的设计——独立型和收敛型结构

定义了属性之间菱形层级结构的概念.在某种给定的评分方式下,假设属性之间没有补偿作用,讨论独立型、菱形层级结构对应的多级评分认知诊断测验蓝图设计问题,分别构造出相应的完备Q阵.

认知诊断评价中测验结构的优化设计

Q矩阵是认知诊断评价的基础和核心要素,它反映了测验的构念和内容设计,直接影响着测验诊断分类的效果。本文采用Monte Carlo模拟,研究了6种属性层级关系下,不同的Q矩阵设计对于认知诊断效果的影响。用模式判准率的均值和标准差分别从分类准确性和稳定性的角度来评价诊断效果。实验结果表明:(1)不同属性层级关系下,分类准确性会随着测验长度的增加而提高,但当测验长度增加到一定程度时,会出现"天花板效应";(2)Q矩阵中R*的个数(NR*)会影响测验的分类准确性及稳定性:NR*越大,测验的分类稳定性越高,当测验长度为属性个数的整数倍,且NR*为测验长度相对属性个数的最大奇数倍时分类准确性最高;(3)Q矩阵中除R*以外的项目考察的属性个数会随着属性层级关系的不同对测验的分类准确性和稳定性产生不同的影响。根据实验结果,本研究提出了进行诊断评价时Q矩阵优化设计的一些建议。

全国英语等级考试锚测验非等组设计中样本量对等值结果的影响

本研究采用锚测验非等组设计,探究了锚测验样本量的变化对等值结果的影响。数据来自全国英语等级考试(PETS),使用以Bigsteps为核心的自主改进软件,基于Rasch模型估计题目参数。为了探究等值结果对合格分数线的影响,本研究对比了不同样本量锚测验参数估计值与锚题参数给定值的差异,并对不同样本量锚测验得出的实考试卷等值结果与最大样本量锚测验得出的实考试卷等值结果进行了差异分析。结果表明,当锚测验样本量达到150时,等值结果比较稳定。这一结果表明,PETS设定的300人左右的锚测验样本量是合理的。

测验等值设计的一种新方法──单组设计试卷分半法

测验等值的单组设计，是将需等值的测验X、Y都由同一考生组施测，然后对测验分数进行等值。其优点是考生组只有一个X、Y成绩的差异将归因于测验的不同而不会混杂考生组不同的因素。缺点是同一考生要测验两次，练习效应和疲劳将会干扰等值结果。本文提出一种新的设计方法──单组设计试卷分半法，是在单组设计中，把测验X、Y各分成平行的两半卷，各取X、Y的半卷组成新的测验Z，将Z对同一考生组施测，根据施测结果导出等值转换公式进行分数等值转换。这种方法每个考生只施测一次，既保持了单组设计的优点，又克服了它的缺点。

普教“升中”考试中测验等值的应用研究——以广东省佛山市“升中”考试为例

以广东省佛山市"升中"考试为例,分析和探讨如何选用合适的等值设计与方法来解决普教"升中"考试不同地区分数转换的问题。采用非随机组锚测验等值设计对三种经典测验等值方法进行比较。结果发现:Tuck-er线性等值方法最优,Levine线性等值方法次之,等百分位等值方法(频数估计)不适合此类等值。等值方差分析表明题型与等值方法具有交互作用,这说明不同的题型宜选用不同的等值方法来进行等值。

测验链接中的锚题代表性研究

本文旨在以"锚题代表性"这一研究命题切入,探索在非等组锚测验设计下,作为实现测验链接的重要载体,锚题和相关的测验试卷/水平之间究竟应该有什么关系。本文首先指出锚题代表性这一概念在等值和垂直量尺化领域中具有不同的含义,并给出其在垂直量尺化中的含义。通过考察测验链接中有关锚题代表性的既有研究,系统总结相关研究成果,本文概括出了当前锚题构建实践的可能优化方案,分析了锚题代表性研究的未来方向。

新版美国高考SAT-I的成绩报告设计及启示

新版美国高考SAT-I的成绩报告不仅为测验使用者提供了总分,而且报告了两大领域分数、三个分测验分数、两个跨学科专题分数、七个子维度分数,以及三类作文分数。这种成绩报告设计不仅为人才选拔提供了多方位指标,而且为教学反馈提供了具体细节。不过,要实现上述目标,考试管理机构和考试科研工作者需要在设计测验方案、保障测量信度和效度、研发测验常模,以及实施测验等值等方面,加大科普力度,同时加强科研投入。

基于效度证据的英语测验研发

测评效度是衡量一个测评项目质量高低的重要指标。但我国很少有测评项目报告测评效度,其可能的原因或者是缺乏效度意识,或者是对效度概念和效度验证流程存在一些误解。因此,很有必要梳理测评效度的定义和效度验证的基本步骤。重点讨论以证据为中心的测验设计方法,并以某次英语原著阅读测试的研发为例,具体展示基于效度证据的测验研发流程和要求,对于确保测评效度具有参考意义。

改进普通话测试的概化理论分析

根据概化理论的原理和方法 ,讨论了普通话测试的测验设计问题。研究发现 ,国家语委实施的普通话测验从总体上说具有较高的信度。其中 ,测验的第一和第二部分的信度要高一些 ,而第三部分的信度要低一些。改进测验设计的首要方法是提高分测验三的信度。具体来说 ,评分者个数为 2、题目数量为 2 5是一个最低要求的设计方案。若要求信度值较高(如Eρ2 =0 .60以上 ) ,则宜选择评分者个数为 2、题目个数接近 50 ,或评分者个数为 3、题目个数大于

S-P表法的改进和应用

传统的S-P表法只能提供粗糙诊断信息,不能为改进教学提供明确的指向.改进的S-P表法结合认知诊断测量理论,不但可以为改进教学提供明确指向,而且比认知诊断分类提供了更多的定性分类的信息.试验表明,教师对于改进的S-P表法诊断分类结果认同率可达到69%.因此,改进的S-P表法可以成为教师进行诊断分类的重要辅助手段.

高中三年级语文阅读水平量表的编制报告

一、引言近年来,我国专业工作者已修订了西方若干著名的智力量表与人格量表,这对测量领域的发展起了重要的推动作用。然而,由于西方国家的学科教学内容与我国有较大的差异,因此难以修订它们的学业成就量表以适合我国使用。目前,教育部门对此都深感需要;随着标准化考试的提倡,这种需要就更为迫切。因此,我们决定编制高中三年级学生语文阅读水平量表,试图为普通中学高中三年级学生语文阅读的评定、诊断以及学校教学工作的评价提供一个客观有效的工具。

题目参数漂移:概念厘定及相关研究

题目参数漂移(Item Parameter Drift,IPD)指锚题参数值在若干连续性测试场合或测验水平之间的变化。该概念和项目功能差异(Differential Item Function,DIF)有实质区别。当前的IPD研究涵盖五个方面:IPD的实际存在、产生原因、检测方法、链接结果效应,及极端锚题的处理策略。横向IPD领域需要更进一步和具有综合性的研究,尤其需研究DIF检测方法在IPD检测中的语境适用性,开发针对IPD的检测方法,以及发展修正的链接程序。纵向IPD研究需要进行系统、深入探索。