基于IRT框架采用Angoff法进行合格标准设置的探索

学业水平考试分界分数的划定关系到教育决策的科学性和公平性,涉及标准设定技术。为探究在项目反应理论(IRT)框架下采用Angoff法进行合格标准设置,以某地区初中学业水平考试某学科的模拟考数据为分析对象,将专家第三轮打分结果作为“最低合格能力考生”的作答数据,与真实考生的数据汇总,进行IRT参数估计。最终以“最低合格能力考生”能力分数的平均值-0.85作为合格的分界分数,该合格分数线的信息量为28.13,专家判断与实际结果的Pearson相关系数为0.9,表明采用该方法进行标准设定具有较高的质量和推广性。

调和Angoff法在设定执业医师资格考试分数线中的应用

针对应用Angoff法设定执业医师资格考试分数线存在的问题,本文提出了一种新方法:调和Angoff法。该法将对错判断和概率判断相结合,从而消除了Angoff法中的"趋端效应"和"趋中效应"。结果表明:(1)对错判断高估分数线,概率判断低估分数线;(2)调和Angoff法具有一定的准确性。

关于两种Angoff法比较的模拟实验研究

采用模拟实验法比较研究了两种Angoff法——"概率法"和"对错法"——设定分数线的准确性和稳定性,结果表明:(1)当真能力低于测验的平均难度时,"概率法"高估分数线,而"对错法"低估分数线;反之,当真能力高于测验平均难度时,"概率法"低估,而"对错法"高估;(2)当真能力接近测验平均难度时,"概率法"比"对错法"更准确;反之,当真能力远高于或低于测验平均难度时,"对错法"更准确;(3)无论在何种实验条件下,"概率法"均比"对错法"更稳定。

Angoff方法有效性的检验研究

Angoff方法是标准参照测验中确定分数线的常用方法,本研究提出了质量系数、校正的Angoff分数线等概念和计算方法,对Angoff方法有效性的检验进行了研究,考察了评判者的个人特性和质量系数的相关,研究验证了用Angoff方法得到的分数线是有效的。

使用聚类分析验证Angoff专家判断法有效性的研究——以医师资格考试医学综合笔试临床执业类别考试为例

本研究随机抽取了21387名参加某年医师资格考试医学综合笔试临床执业类别考试考生,对其在外科学上的得分进行了聚类分析,并将按照边界组法以及对照组法计算出的边界分数与Angoff专家判断的合格分数进行了对比。结果表明：两者对考生分类的一致性Kappa系数高达0.934,充分证明了Angoff合格分数判断法的有效性。

一种基于Rasch模型的Angoff方法及其应用

水平厘定方法在近二十年来发展迅速,其中Angoff方法的应用最为广泛。该文在已有的方法上提出了一种基于Rasch模型的改进的Angoff方法,该方法使用Rasch模型来估计典型学生的位置,通过均方残差等方法剔除不一致的裁判。文章最后详细阐述了该方法在香港全港性系统评估中的应用。

考生作答数据反馈对Angoff标准设定结果的影响

以大规模学业成就水平测验为背景,采用组间设计,按类别将专家分为五组,在反馈数据环节随机给予每个专家组未调整的考生真实作答数据和经过上调、下调0.5或1个标准差的调整数据后,采用单因素方差分析与项目反应理论两参数模型考查专家组在标准设定Angoff方法中如何参考使用题目作答数据。结果表明,反馈考生题目作答数据对Angoff标准划定结果有明显影响:反馈未经调整的真实考生题目作答数据影响较大;反馈调整后的高于真实考生题目作答数据影响相对较小,反馈低于真实考生题目作答数据影响相对较大。

改良Angoff法在临床医学OSCE考试中的应用

目的探讨改良Angoff法在临床医学OSCE考试中运用的可行性。方法随机抽取2011级临床医学七年制1班45名学生在2014—2015学年第一学期的OSCE考试成绩作为数据样本,选取18名经验丰富的内科学专家组成考核小组,由其设定改良Angoff法的合格线,对比运用边界法(Borderline Group,BG)、边界回归法(Borderline Regression Group,BRG)和改良Angoff法的合格线和考试通过率。结果通过改良Angoff法得出的合格分数线要低于BG法和BRG法(P<0.01)。结论研究表明,使用改良Angoff法确定临床医学七年制OSCE考试合格分数线是可行的,运用这种方法确定的合格线较为科学、准确。

用安戈夫(Angoff)方法对网络成瘾的标准设定

本研究旨在探讨网络成瘾的界定问题。本文采用标准设定中最为广泛使用的安戈夫(angoff)方法对网络成瘾进行评定,并分析量表的信度和效度。结果表明:网络成瘾的界定分数为7,即受试者在量表的12个项目中,有7个做出肯定回答即被界定为网络成瘾。用Angoff方法产生的测验分界分数则有79.25％的受试者与外在效标划分一致。

义务教育学校纸笔考试等第化评价的缘由、技术与意义

义务教育学校考试分数评价误差较大,并被广泛用于排名排序,违背了素质教育的初衷。顺应新时代教育评价改革和“双减”政策要求,在全面实施2022年版义务教育课程方案及各学科课程标准的背景下,义务教育学校应努力破除传统的考试分数评价,对总分实施等第化评价,有效促进学生学业与身心健康协同发展。等第划分必须科学合规、合情合理,可通过吸纳Angoff法和Bookmark法的优点,改良传统的固定分数法和百分位分数法,应用比较科学、可操作的简约型等第划分技术,提高等第化评价的准确性。

Angoff法在中国医师资格考试医学综合笔试合格分数线确定中的应用

在此介绍了医师资格考试的基本情况，Angoff法的基本概念、实施过程以及Angoff法在医师资格考试合格分数线确定应用中的改良，并提出了需要进一步改进的工作。通过对改良后Angoff法进行有效性检验，结果表明，改良后的Angoff法具有一定的准确性。

基于标准的教育考试合格标准研究

如何科学地确定合格标准是基于标准的教育考试关注的重要问题。我国传统上是以60分作为合格标准的划界分数,而国外发达国家大多是在考后通过专门标准设置的过程,再确定合格标准的划界分数。我国大规模教育考试传统上以60分作为合格标准划界分数,主要是因为在命题阶段采取了命题质量控制方法,使得刚合格考生的得分在60分附近。本研究以某市高等数学统考课程考试为例,在考前以传统60分合格标准为目标,在命题阶段采取命题质量控制方法,使得刚合格考生的得分在60分附近,而考后通过Angoff标准设置方法专门确定合格标准的划界分数,对比这两种方法过程和决策结果,进行了深入分析和探讨。研究结论表明:考前命题阶段的合格分数调整方法与Angoff标准设置方法在本质上具有相通之处,但两者结果却相差较大,基于标准的教育考试在考后通过专门的标准设置方法来设定合格标准更为科学和全面。

科学设定职业资格考试合格标准

设定合格标准是实施职业资格考试制度的重要环节。本文首先从合格标准与行业最低基本要求间的对应关系着手,阐明了设定合格标准的基本原理;随后探讨了基于Angoff法设定职业资格考试合格标准的核心思想,指出实施Angoff法必须把握好的几个关键要素;最后结合职业资格考试合格标准设定实践,提出了"最低基本要求对照策略"、"两轮设定策略"和"综合决策策略"等三种设定合格标准的策略。

学业质量水平等级标准设定及其启示——以小学科学学科为例

学业质量是教育质量的重要组成部分,依据国家课程标准进行学业质量水平测试,有助于全面了解学生在特定学科的学业质量现状,这对教育质量的改进和提升具有促进作用。当前学业水平测试存在一些亟待解决的问题,为了应对这些问题,有效的评价学生测试的学业表现,需要具备科学、合理的标准,这就要求进行标准的设定。安戈夫法是当前教育评测中使用最为广泛的一种标定方法,采用安戈夫法进行标准设定,最终确定出了2014年小学科学学业质量测评的合格分数线和优秀分数线。

基于安戈夫法的青少年问题性移动社交网络使用评估标准

使用安戈夫法界定青少年问题性移动社交网络使用评估标准。结果发现,筛查评估问卷中8个及以上题目持肯定回答即可评估为问题性移动社交网络使用,实证区分效度中正常使用者检出率为12%,问题性使用者检出率为91.1%。基于安戈夫法的青少年问题性移动社交网络使用评估工具有较好的心理学测量属性,可用于青少年问题性移动社交网络使用的筛查评估。

考试合格标准设置的国内外现状

考试作为一种最常应用的教育评价形式,在现今社会的作用越来越大,因此教育界对考试客观公正的研究也越来越关注。本文就目前世界范围对考试合格标准的设定方法与应用进行了研究,目的是探索适合中国实际情况的考试合格标准的设定方法,使我们的医学教育培养出具有国际竞争力的,被世界承认的高层次、高素质的医学人才。

用安戈夫方法对网络成瘾与网络游戏成瘾的界定

旨在探讨网络成瘾与网络游戏成瘾的界定问题。采用标准设定中最为广泛使用的安戈夫方法对网络成瘾和网络游戏成瘾分别进行评定,最终得到的网络成瘾的界定量表,共有12个项目,界定分数为8,即受试者在12个项目中有8项作出肯定回答即被界定为网络成瘾;网络游戏成瘾的界定量表,共有10个项目,界定分数为7,即受试者在10个项目中有7项作出肯定回答即被界定为网络游戏成瘾。

高考英语阅读与中国英语能力等级量表对接的实证研究——以江苏省高考英语阅读为例

本研究由12位专家参与,使用修订式Angoff法对接2016年江苏省高考英语阅读和中国英语能力等级量表,包括四个步骤:熟悉阶段、考试说明阶段、标准设定阶段和效度验证阶段,并采用多层面Rasch模型分析专家判断的一致性。结果表明,专家判断具有良好的外部一致性,江苏省高考英语阅读对应量表四级,原始分的分界分数为58.9%。研究最后对于对接量表实验进行了分析和总结。

上海市普通高中信息科技学业水平合格性考试合格标准划分初探

近几年上海市普通高中信息科技学科学业水平考试的成绩只分“合格”“不合格”两类。合格标准的制定是学业水平考试的一个重要环节,对考生是否达到合格标准产生重要的影响。本文采用目前常用的“60分合格分数线”、“Angoff法合格标准线”、“固定的百分比方法”等合格标准划界方法,对上海市P区考生的模拟考成绩数据进行了合格标准的划界尝试与比较。以期实现引导教师按照国家颁布的课程标准组织教育教学,更有效地监测教学质量,不断提高信息科技课程实施的质量和水平的目标。

天津市初等信息技术考试标准设定方法的研究与实践

天津市初等信息技术考试是面向社会测试应试者计算机应用能力的评测系统,作为一种标准参照考试,从2004年开始实施以来,一直以60分作为合格标准,但实践证明,60分并不能作为判断考生是否合格的永恒标准。该考试系统是上机考试,社会考生自愿报名参加,考试对象年龄差异较大,覆盖小学2-6年级,且每个级别会有不同年龄学生参加,60分的划界分数忽略了每次参加测试的被试者的平均能力不同这一事实,也忽略了同一次考试不同考生抽到的题目不完全一致的事实。这样可能会产生一个问题,即我们只能了解考生的相对能力和相对位置。如果不能正确地将考生归入恰当的等级类别中,这种等级考试的价值就会受很大影响。因此,本文对该考试系统的"合格"标准分数的设定进行研究,利用Angoff法设定划界分数,客观地应用到被试群体中,在提高考试信度、效度的研究与应用方面进行了有益的探索。