基于IRT框架采用Angoff法进行合格标准设置的探索

学业水平考试分界分数的划定关系到教育决策的科学性和公平性,涉及标准设定技术。为探究在项目反应理论(IRT)框架下采用Angoff法进行合格标准设置,以某地区初中学业水平考试某学科的模拟考数据为分析对象,将专家第三轮打分结果作为“最低合格能力考生”的作答数据,与真实考生的数据汇总,进行IRT参数估计。最终以“最低合格能力考生”能力分数的平均值-0.85作为合格的分界分数,该合格分数线的信息量为28.13,专家判断与实际结果的Pearson相关系数为0.9,表明采用该方法进行标准设定具有较高的质量和推广性。

用安戈夫(Angoff)方法对网络成瘾的标准设定

本研究旨在探讨网络成瘾的界定问题。本文采用标准设定中最为广泛使用的安戈夫(angoff)方法对网络成瘾进行评定,并分析量表的信度和效度。结果表明:网络成瘾的界定分数为7,即受试者在量表的12个项目中,有7个做出肯定回答即被界定为网络成瘾。用Angoff方法产生的测验分界分数则有79.25％的受试者与外在效标划分一致。

调和Angoff法在设定执业医师资格考试分数线中的应用

针对应用Angoff法设定执业医师资格考试分数线存在的问题,本文提出了一种新方法:调和Angoff法。该法将对错判断和概率判断相结合,从而消除了Angoff法中的"趋端效应"和"趋中效应"。结果表明:(1)对错判断高估分数线,概率判断低估分数线;(2)调和Angoff法具有一定的准确性。

关于两种Angoff法比较的模拟实验研究

采用模拟实验法比较研究了两种Angoff法——"概率法"和"对错法"——设定分数线的准确性和稳定性,结果表明:(1)当真能力低于测验的平均难度时,"概率法"高估分数线,而"对错法"低估分数线;反之,当真能力高于测验平均难度时,"概率法"低估,而"对错法"高估;(2)当真能力接近测验平均难度时,"概率法"比"对错法"更准确;反之,当真能力远高于或低于测验平均难度时,"对错法"更准确;(3)无论在何种实验条件下,"概率法"均比"对错法"更稳定。

一种基于Rasch模型的Angoff方法及其应用

水平厘定方法在近二十年来发展迅速,其中Angoff方法的应用最为广泛。该文在已有的方法上提出了一种基于Rasch模型的改进的Angoff方法,该方法使用Rasch模型来估计典型学生的位置,通过均方残差等方法剔除不一致的裁判。文章最后详细阐述了该方法在香港全港性系统评估中的应用。

使用聚类分析验证Angoff专家判断法有效性的研究——以医师资格考试医学综合笔试临床执业类别考试为例

本研究随机抽取了21387名参加某年医师资格考试医学综合笔试临床执业类别考试考生,对其在外科学上的得分进行了聚类分析,并将按照边界组法以及对照组法计算出的边界分数与Angoff专家判断的合格分数进行了对比。结果表明：两者对考生分类的一致性Kappa系数高达0.934,充分证明了Angoff合格分数判断法的有效性。

考生作答数据反馈对Angoff标准设定结果的影响

以大规模学业成就水平测验为背景,采用组间设计,按类别将专家分为五组,在反馈数据环节随机给予每个专家组未调整的考生真实作答数据和经过上调、下调0.5或1个标准差的调整数据后,采用单因素方差分析与项目反应理论两参数模型考查专家组在标准设定Angoff方法中如何参考使用题目作答数据。结果表明,反馈考生题目作答数据对Angoff标准划定结果有明显影响:反馈未经调整的真实考生题目作答数据影响较大;反馈调整后的高于真实考生题目作答数据影响相对较小,反馈低于真实考生题目作答数据影响相对较大。

基于安戈夫法的青少年问题性移动社交网络使用评估标准

使用安戈夫法界定青少年问题性移动社交网络使用评估标准。结果发现,筛查评估问卷中8个及以上题目持肯定回答即可评估为问题性移动社交网络使用,实证区分效度中正常使用者检出率为12%,问题性使用者检出率为91.1%。基于安戈夫法的青少年问题性移动社交网络使用评估工具有较好的心理学测量属性,可用于青少年问题性移动社交网络使用的筛查评估。

考试合格标准设置的国内外现状

考试作为一种最常应用的教育评价形式,在现今社会的作用越来越大,因此教育界对考试客观公正的研究也越来越关注。本文就目前世界范围对考试合格标准的设定方法与应用进行了研究,目的是探索适合中国实际情况的考试合格标准的设定方法,使我们的医学教育培养出具有国际竞争力的,被世界承认的高层次、高素质的医学人才。

用安戈夫方法对网络成瘾与网络游戏成瘾的界定

旨在探讨网络成瘾与网络游戏成瘾的界定问题。采用标准设定中最为广泛使用的安戈夫方法对网络成瘾和网络游戏成瘾分别进行评定,最终得到的网络成瘾的界定量表,共有12个项目,界定分数为8,即受试者在12个项目中有8项作出肯定回答即被界定为网络成瘾;网络游戏成瘾的界定量表,共有10个项目,界定分数为7,即受试者在10个项目中有7项作出肯定回答即被界定为网络游戏成瘾。

科学设定职业资格考试合格标准

设定合格标准是实施职业资格考试制度的重要环节。本文首先从合格标准与行业最低基本要求间的对应关系着手,阐明了设定合格标准的基本原理;随后探讨了基于Angoff法设定职业资格考试合格标准的核心思想,指出实施Angoff法必须把握好的几个关键要素;最后结合职业资格考试合格标准设定实践,提出了"最低基本要求对照策略"、"两轮设定策略"和"综合决策策略"等三种设定合格标准的策略。

操作考试的及格线设置:改良安国辅法

Rachel Yudkowsky博士等人在Academic Medicine[2008,83(10Suppl):S13-S16]上撰文提出了一种改良安国辅法("三分法"),用于设置操作型考试及格线,在该研究中专家使用"是"、"否"和"可能"三种备选来判断,试图减少传统安国辅法("两分法")潜在的偏倚。研究中,5名专家用"三分法"对四年级医学生的7个临床病例考题的检核表逐一进行评判,共有121个检核项目。结果显示,"可能"判断共出现58次,约占10%;有45%的检核项目至少有一个"可能"判断;每个病例的不及格率由于使用偏严或偏松的假设,变化较大;但总个考试的不及格率没有太大的变化。结论是"三分法"与"两分法"一样简单,可降低专家决定边界考生能否通过的难度,提供更能体现其意愿的选择,且可以避免传统"两分法"安国辅法潜在的偏倚。

对HSK部分等级的验证性研究

中国汉语水平考试(HSK)的作用之一是界定留学生进入中国大学入系学习时所应具备的汉语能力。根据有关规定,HSK三级和六级分别是进入中国大学理工西医类和文史中医类入系学习的最低标准。本文采用安哥夫、边缘组及对照组三种方法对此标准进行了验证性研究。

浅谈标准设定中的关键技术:来自我国大规模测评项目的经验

标准设定可用于对学生表现进行分类和解释甚至是跨国、跨省市区的比较,因此备受国内外大规模测评项目的青睐。针对我国基础教育质量监测标准设定实践中面临的挑战,提出应对策略并介绍3项关键测量技术:1)采用极大似然估计方法将安戈夫法设定的分界分数转换到项目反应理论能力量尺上;2)利用Rasch簇模型中原始分与能力值存在一一对应关系的性质将学科各子领域的分界分数合成学科整体层面的分界分数;3)通过采用项目反应理论计算真分数的方式获得呈现给评委的影响数据。

Angoff法在中国医师资格考试医学综合笔试合格分数线确定中的应用

在此介绍了医师资格考试的基本情况，Angoff法的基本概念、实施过程以及Angoff法在医师资格考试合格分数线确定应用中的改良，并提出了需要进一步改进的工作。通过对改良后Angoff法进行有效性检验，结果表明，改良后的Angoff法具有一定的准确性。

校本听力考试与《中国英语能力等级量表》对接研究

本研究通过收集某高校校本英语考试听力部分与《中国英语能力等级量表》对接的实证证据,对接采用改良Angoff法和对照组法得出临界分数,讨论了程序效度、内部效度和外部效度。研究结果表明:1)听力部分的及格线对标量表五级;2)改良Angoff法和对照组法的结果一致性较高。本研究有助于为考生提供详细的反馈报告,且为考试与量表的对接研究提供了方法参考。

中医药来华留学生教育标准制定方法初探

中医药留学生来华教育主要涉及入学、培养和毕业3个阶段。初步探索了中医药留学生来华教育入学标准、培养标准、教育质量控制标准、教育管理制度标准4个主要部分的标准制定方法,涉及文献资料法、安哥夫法、名义群体法、以及比较法等相关标准确立方法的介绍和初步研究。

以安戈夫法确定全国医学博士外语统一考试合格标准及其效果评价

确定合格标准是一项考试的重要部分。采用安戈夫法确定全国医学博士外语统一考试的合格标准简便易行，既考虑了试卷内容及其难易程度，也具有较强的可操作性。从效果评价来看，所确定的合格标准受到了普遍的认可和好评，达到了预期目的。

国内外执业医师资格考试通过标准的设定方法研究

自实施执业医师资格考试以来，其通过标准的设定方法一直备受争议。本研究介绍Angoff法、Modified Angoff法、Nedelsky法、Borderline Group法四种当今国内外比较常用的方法，概述其优缺点及其在各国执业医师资格考试通过标准设定过程中的使用情况，以期为中国的执业医师资格考试合格分数线的设定提供借鉴和参考。