基于IRT框架采用Angoff法进行合格标准设置的探索

学业水平考试分界分数的划定关系到教育决策的科学性和公平性,涉及标准设定技术。为探究在项目反应理论(IRT)框架下采用Angoff法进行合格标准设置,以某地区初中学业水平考试某学科的模拟考数据为分析对象,将专家第三轮打分结果作为“最低合格能力考生”的作答数据,与真实考生的数据汇总,进行IRT参数估计。最终以“最低合格能力考生”能力分数的平均值-0.85作为合格的分界分数,该合格分数线的信息量为28.13,专家判断与实际结果的Pearson相关系数为0.9,表明采用该方法进行标准设定具有较高的质量和推广性。

调和Angoff法在设定执业医师资格考试分数线中的应用

针对应用Angoff法设定执业医师资格考试分数线存在的问题,本文提出了一种新方法:调和Angoff法。该法将对错判断和概率判断相结合,从而消除了Angoff法中的"趋端效应"和"趋中效应"。结果表明:(1)对错判断高估分数线,概率判断低估分数线;(2)调和Angoff法具有一定的准确性。

关于两种Angoff法比较的模拟实验研究

采用模拟实验法比较研究了两种Angoff法——"概率法"和"对错法"——设定分数线的准确性和稳定性,结果表明:(1)当真能力低于测验的平均难度时,"概率法"高估分数线,而"对错法"低估分数线;反之,当真能力高于测验平均难度时,"概率法"低估,而"对错法"高估;(2)当真能力接近测验平均难度时,"概率法"比"对错法"更准确;反之,当真能力远高于或低于测验平均难度时,"对错法"更准确;(3)无论在何种实验条件下,"概率法"均比"对错法"更稳定。

改良Angoff法在临床医学OSCE考试中的应用

目的探讨改良Angoff法在临床医学OSCE考试中运用的可行性。方法随机抽取2011级临床医学七年制1班45名学生在2014—2015学年第一学期的OSCE考试成绩作为数据样本,选取18名经验丰富的内科学专家组成考核小组,由其设定改良Angoff法的合格线,对比运用边界法(Borderline Group,BG)、边界回归法(Borderline Regression Group,BRG)和改良Angoff法的合格线和考试通过率。结果通过改良Angoff法得出的合格分数线要低于BG法和BRG法(P<0.01)。结论研究表明,使用改良Angoff法确定临床医学七年制OSCE考试合格分数线是可行的,运用这种方法确定的合格线较为科学、准确。

使用聚类分析验证Angoff专家判断法有效性的研究——以医师资格考试医学综合笔试临床执业类别考试为例

本研究随机抽取了21387名参加某年医师资格考试医学综合笔试临床执业类别考试考生,对其在外科学上的得分进行了聚类分析,并将按照边界组法以及对照组法计算出的边界分数与Angoff专家判断的合格分数进行了对比。结果表明：两者对考生分类的一致性Kappa系数高达0.934,充分证明了Angoff合格分数判断法的有效性。

Angoff法在中国医师资格考试医学综合笔试合格分数线确定中的应用

在此介绍了医师资格考试的基本情况，Angoff法的基本概念、实施过程以及Angoff法在医师资格考试合格分数线确定应用中的改良，并提出了需要进一步改进的工作。通过对改良后Angoff法进行有效性检验，结果表明，改良后的Angoff法具有一定的准确性。

义务教育学校纸笔考试等第化评价的缘由、技术与意义

义务教育学校考试分数评价误差较大,并被广泛用于排名排序,违背了素质教育的初衷。顺应新时代教育评价改革和“双减”政策要求,在全面实施2022年版义务教育课程方案及各学科课程标准的背景下,义务教育学校应努力破除传统的考试分数评价,对总分实施等第化评价,有效促进学生学业与身心健康协同发展。等第划分必须科学合规、合情合理,可通过吸纳Angoff法和Bookmark法的优点,改良传统的固定分数法和百分位分数法,应用比较科学、可操作的简约型等第划分技术,提高等第化评价的准确性。

基于标准的教育考试合格标准研究

如何科学地确定合格标准是基于标准的教育考试关注的重要问题。我国传统上是以60分作为合格标准的划界分数,而国外发达国家大多是在考后通过专门标准设置的过程,再确定合格标准的划界分数。我国大规模教育考试传统上以60分作为合格标准划界分数,主要是因为在命题阶段采取了命题质量控制方法,使得刚合格考生的得分在60分附近。本研究以某市高等数学统考课程考试为例,在考前以传统60分合格标准为目标,在命题阶段采取命题质量控制方法,使得刚合格考生的得分在60分附近,而考后通过Angoff标准设置方法专门确定合格标准的划界分数,对比这两种方法过程和决策结果,进行了深入分析和探讨。研究结论表明:考前命题阶段的合格分数调整方法与Angoff标准设置方法在本质上具有相通之处,但两者结果却相差较大,基于标准的教育考试在考后通过专门的标准设置方法来设定合格标准更为科学和全面。

科学设定职业资格考试合格标准

设定合格标准是实施职业资格考试制度的重要环节。本文首先从合格标准与行业最低基本要求间的对应关系着手,阐明了设定合格标准的基本原理;随后探讨了基于Angoff法设定职业资格考试合格标准的核心思想,指出实施Angoff法必须把握好的几个关键要素;最后结合职业资格考试合格标准设定实践,提出了"最低基本要求对照策略"、"两轮设定策略"和"综合决策策略"等三种设定合格标准的策略。

高考英语阅读与中国英语能力等级量表对接的实证研究——以江苏省高考英语阅读为例

本研究由12位专家参与,使用修订式Angoff法对接2016年江苏省高考英语阅读和中国英语能力等级量表,包括四个步骤:熟悉阶段、考试说明阶段、标准设定阶段和效度验证阶段,并采用多层面Rasch模型分析专家判断的一致性。结果表明,专家判断具有良好的外部一致性,江苏省高考英语阅读对应量表四级,原始分的分界分数为58.9%。研究最后对于对接量表实验进行了分析和总结。

上海市普通高中信息科技学业水平合格性考试合格标准划分初探

近几年上海市普通高中信息科技学科学业水平考试的成绩只分“合格”“不合格”两类。合格标准的制定是学业水平考试的一个重要环节,对考生是否达到合格标准产生重要的影响。本文采用目前常用的“60分合格分数线”、“Angoff法合格标准线”、“固定的百分比方法”等合格标准划界方法,对上海市P区考生的模拟考成绩数据进行了合格标准的划界尝试与比较。以期实现引导教师按照国家颁布的课程标准组织教育教学,更有效地监测教学质量,不断提高信息科技课程实施的质量和水平的目标。

国内外执业医师资格考试通过标准的设定方法研究

自实施执业医师资格考试以来，其通过标准的设定方法一直备受争议。本研究介绍Angoff法、Modified Angoff法、Nedelsky法、Borderline Group法四种当今国内外比较常用的方法，概述其优缺点及其在各国执业医师资格考试通过标准设定过程中的使用情况，以期为中国的执业医师资格考试合格分数线的设定提供借鉴和参考。

校本听力考试与《中国英语能力等级量表》对接研究

本研究通过收集某高校校本英语考试听力部分与《中国英语能力等级量表》对接的实证证据,对接采用改良Angoff法和对照组法得出临界分数,讨论了程序效度、内部效度和外部效度。研究结果表明:1)听力部分的及格线对标量表五级;2)改良Angoff法和对照组法的结果一致性较高。本研究有助于为考生提供详细的反馈报告,且为考试与量表的对接研究提供了方法参考。