Bookmark标准设定中的分界分数估计方法比较

采用Reckase的模拟方法讨论3种分界分数估计方法和2种反应概率值(response probability,RP)对Bookmark标准设定中单个评委第一轮分界分数的影响.结果表明:将正确作答概率低于RP的第一个题目以及正确作答概率高于RP的最后一个题目的难度定位值(Bookmark difficulty location,BDL)均值作为分界分数估计值的方法(AVERAGE方法)在对预期分界分数(intended cut score,ICS)的返真性方面优于将书签前一个题目的BDL作为分界分数估计值的方法 (previous item,PI)和将书签两旁题目的BDL均值作为分界分数估计值的方法 (between items,BI);评委评判误差对AVERAGE方法设定的分界分数的影响最小,不同RP值对分界分数的设定也有影响.

大学英语网络教学中单元测试分界分数的设定——初探新理念大学英语网络教学系统

该研究运用经典的安哥夫标准设定法为新理念大学英语网络教学系统的单元测试设定分界分数,从北京、上海、深圳、重庆四地挑选了40位专家参与研究。在标准设定过程中采取一系列措施把误差控制到最低。通过对专家们得出数据的计算和分析,该研究确定了单元测试的分界标准。

基于IRT框架采用Angoff法进行合格标准设置的探索

学业水平考试分界分数的划定关系到教育决策的科学性和公平性,涉及标准设定技术。为探究在项目反应理论(IRT)框架下采用Angoff法进行合格标准设置,以某地区初中学业水平考试某学科的模拟考数据为分析对象,将专家第三轮打分结果作为“最低合格能力考生”的作答数据,与真实考生的数据汇总,进行IRT参数估计。最终以“最低合格能力考生”能力分数的平均值-0.85作为合格的分界分数,该合格分数线的信息量为28.13,专家判断与实际结果的Pearson相关系数为0.9,表明采用该方法进行标准设定具有较高的质量和推广性。

标准参照测验中标准设定的聚类分析法

针对标准参照测验中标准设定存在的问题,本文探讨了一种客观化标准设定方法:聚类分析法,该法基于客观的实际测验数据,采用数理统计手段确定分界分数。首先阐述了聚类分析法应用于标准设定的逻辑基础,随后探讨了基于聚类分析设定分界分数的基本方法和步骤,尤其是如何检验聚类分析法的有效性。结合已有实证研究讨论了聚类分析法的优点与不足,并对聚类分析的应用提出了若干建议。

基于IRT的决策一致性系数在大规模教育测量中的应用

在一个大规模教育测量中,以小学四年级和初中二年级的数学测验为例,使用基于项目反应理论(item response theory,IRT)的测验决策一致性系数作为评价测验信度的标准之一,并比较在测验中选取不同分界分数、分数量尺时决策一致性系数的差异.结果发现:相比经典测验理论(classical test theory,CTT)下的信度系数,基于IRT下的测验整体信度要高于CTT下的信度;划定的分界分数(cut score)个数越少,决策一致性系数越大;分界分数位置会影响决策一致性系数,能力水平在分界分数附近的考生更容易被划分到不同类别中;将测验原始分数转换成量表分数后,多个原始分数对应一个转换分数的规则会增大决策一致性系数.

浅谈标准设定中的关键技术:来自我国大规模测评项目的经验

标准设定可用于对学生表现进行分类和解释甚至是跨国、跨省市区的比较,因此备受国内外大规模测评项目的青睐。针对我国基础教育质量监测标准设定实践中面临的挑战,提出应对策略并介绍3项关键测量技术:1)采用极大似然估计方法将安戈夫法设定的分界分数转换到项目反应理论能力量尺上;2)利用Rasch簇模型中原始分与能力值存在一一对应关系的性质将学科各子领域的分界分数合成学科整体层面的分界分数;3)通过采用项目反应理论计算真分数的方式获得呈现给评委的影响数据。