测验项目编制与等值的一种有效策略——层面理论

回转翻译法关注的是“文字等价”,项目反应理论注重“统计指标等价”。层面理论项目等价注重项目的同一测量目标,即等值的项目应该在相同的条件下测试被试相同的反应。层面理论通过映射语句技术清晰地界定项目的测量目标,使得项目等值与项目编制更加科学。通过层面理论编制的项目维度结构更加清楚,测验的结构效度更有保证。将层面理论和心理计量学的其他方法结合起来,可以有效提高测验项目编制与等值的质量。

项目特征曲线等值的抽样误差

现在,等值越来越受到各考试测验机构及测量学研究人员的重视,特别是项目反应理论等值的优越性更使他们有了信心。然而,很多人却没有注意到被试能力分布形态可能给等值结果带来的影响效果及程度。本研究以项目反应理论两级记分模型的项目参数等值在不同被试能力分布形态下的结果差异作为重点,探讨被试抽样偏差可能给项目特征曲线等值带来的误差问题。研究结果表明,被试能力分布形态会显著地影响项目参数等值的系数,特别地,能力分布的偏态系数与等值方程的截距存在显著的线性相关关系,但能力分布形态的变化对等值方程中斜率的影响并不明显。

基于IRT的共同题非等组设计中五种项目参数等值方法的比较研究

本文采用共同题非等组设计,对五种基于IRT的项目参数等值方法进行比较研究。研究数据来自湖北某试点地区课改实验区和非课改区考生在标准化中考数学科目的考试数据,兼用大样本标准和其他标准作为各等值方法比较的检验标准,以RMSD指标作为操作性检验标准,利用STUIRT程序进行等值分析。研究结果表明,针对本研究所设置的等值情境,MS方法稳健性最差,对于项目难度参数的等值,同时校准方法最好,其次是SL特征曲线法,对于项目区分度参数的等值,MM方法精确性最好。

项目特征曲线等值法在跨时间跨样本测量中的应用

采用锚题——非等组设计,间隔五年分别运用中国儿童发展量表和评估早期学习与质量成果量表中的数学能力子量表,对来自中国东部某地不同抽样儿童进行施测。基于项目反应理论的两参数逻辑斯蒂克模型,采用项目特征曲线等值法对两份儿童数学能力子量表和抽样儿童能力估计值进行等值关系转换与比较。研究结果表明,项目特征曲线等值法可以实现跨时间跨样本的测量和比较;此外,等值结果和比较发现,在这五年期间儿童在所测量表上的数学能力有显著提高,且不同地区存在显著差异,但不受性别影响。

应用项目反应理论创建图形推理测验题库

自编235个图形推理测验题目。采用铆测验等值设计,以72个联合型瑞文测验题目为铆题,对初中到大学各能力层次的1733名男性进行了测验。使用B ILOG MG3.0(边际极大似然估计)对实测数据进行了分析,采用Logsitic 3参数模型。剔除数据与模型拟合不好的题目以及信息函数最大值小于0.3的题目,最终建立一个包含181道题目的题库。该题库可以用于淘汰智力较低的应征青年。

基于项目反应理论的中国应征青年数学推理测验的编制

目的应用项目反应理论（Item Response Theory，IRT）编制中国应征青年数学推理测验。方法根据项目反应理论编制试题，并对1047名入伍一年的新兵进行测试，采用三参数Logistic模型（Three-Parameter Logistic Model，3PL）拟合数据，用因素分析的主成分方法检验数据单维性，利用BILOGMG软件估计项目参数，采用铆测验非等组设计进行参数等值以挑选最有效项目组成测验。结果四套测验第一特征值均超过第二特征值的4倍，符合单维性要求，基本拟合3PL，项目拟合度均在96％左右，最终选取66个项目组成正式测验，其信息量达到25．149，测量标准误为0．199。结论测验信息函数达到项目反应理论的要求，测验信度良好。

大学英语四、六级考试分数等值研究——一个基于铆题和两参数IRT模型的解决方案

对现有的大学英语四、六级考试分数等值模式中存在的若干问题进行了深入的分析,并提出了新的解决方案———一个基于铆题设计和两参数IRT模型的解决方案。主要包括: ( 1 )用两参数逻辑斯蒂模型替代原来的Rasch模型,以改进题目模型的适合性; (2)用共同题目的等值设计取代原来的共同被试等值设计,解决共同被试等值设计中,等值考生的动机水平难以控制的难题; (3)建立专用的等值用题库,并且一次性完成其中铆题的预测和参数标定工作,以解决原来等值模式中存在的误差累积问题。同时,由于铆题的保密工作难度较小,因此,等值专用题库对保证等值结果的可靠性也具有重大意义; (4)本文还对新的分数等值方案进行了真实的考试数据等值计算实验,并得到了一个令人满意的分数等值结果。

计分方式和题组效应对题组测验等值的影响:模型比较的视角

采用模拟研究的思路,用项目反应理论(IRT)同时校准的方法对题组测验的项目参数进行等值;同时基于模型比较的视角,考查题组效应大小以及项目计分方式对等值结果的影响。研究结果表明:(1)不同模型在题组测验等值上的效果因计分方式和题组效应的不同而不同;(2)当题组效应较低时(0.5以下),等级反应模型(GRM)在区分度参数和难度参数上的等值效果均好于等级反应题组模型(GRTM),且不受计分方式的影响;(3)当题组效应较高时(0.5以上),模型的等值效果因计分方式而异,等级反应模型(GRM)在0/1计分项目的等值误差最小,等级反应题组模型(GRTM)则在多级计分项目的等值误差最小。

改良单组设计下的跨年等值影响因素研究

针对我国测评项目的高安全性需求,提出锚人与锚题相结合的新跨年等值设计,并采用基于实证数据的模拟研究方法探究等值方法、锚人数量、锚测验组卷方式和不同测验周期被试能力差异对等值精度的影响。结果表明:以上因素均影响等值精度且等值方法的影响突出。建议:(1)锚人较少时采用需量尺转换的等值方法;(2)锚测验组卷方式应与等值方法计算特点相匹配;(3)各周期被试能力差异较大时可酌情增加锚人或调整锚测验组卷方案。

基于IRT的三年级数学成就测验的编制

目的:尝试在项目反应理论的指导下,编制三年级数学成就测验,为学科学习的评价提供一辅助工具。方法:用贝佳方法检验试测数据单维性,利用ANOTE软件估计项目参数,采用铆测验设计进行参数等值。结果:四套试卷均符合单维性要求,基本拟合三参数逻辑斯蒂克模型,项目拟合度都在90%左右,最终选取52个项目组成正式测验。结论:正式测验的信息量达到31.1548,估计标准误为0.1267,符合项目反应理论的要求。