OR法在DIF检验中的应用——以英语学业能力测验为例

本文将比值比方法(odds ratios method,OR)这一DIF检验方法应用到某英语测验的DIF检验中,介绍OR法进行DIF检验的完整流程,并将其检验结果与应用较为广泛的Wald χ^(2)检验和似然比检验(likelihood ratio test,LRT)的检验结果进行比较,以进一步验证OR法在实证研究中的适用性。研究结果显示,OR法与LRT法结果差异较小且OR法步骤更简便,说明OR法与LRT法在DIF检验中的表现相似,LRT法适用于实证研究中,因此OR法同样适用于实证研究的DIF检验。

三种常用DIF检测方法的比较研究

本研究在对DIF作出新的更为严格的界定、对三种常用的DIF检测方法进行详细介绍的基础上 ,以 1999年高考英语试卷 75道选择题为研究材料 ,对三种常用的DIF检测方法进行了实证研究。结果表明 :MH方法与SIBTEST方法检测的敏感性较STND方法高 ;MH方法与SIBTEST方法检出的一致性很高 ;SIBTEST方法具有较好的性能 ,在实际应用中可以作为首选的方法 ;在进行DIF检测时 ,样本容量在 10 0 0左右为宜。

经济法试题DIF的参数法检测研究

该研究基于项目反应理论的Samejima等级反应模型(GRM),在MULTILOG软件支持下,应用参数检测方法,对某年度全国性资格考试的某科目试卷中经济法部分的21个项目做了DIF检测分析。结果如下:存在性别DIF的项目一个,存在民族DIF的项目四个,存在工作性质DIF的项目一个。其中项目68在民族层面上表现为一致性DIF,项目64既存在民族DIF又存在工作性质DIF。通过对项目统计量、反应曲线的分析和专家的讨论,文章最后还分析了产生这些DIF的几个可能的原因。

企业员工抑郁和焦虑测量与有效性分析

目的评价患者健康问卷抑郁量表(PHQ-9)和广泛性焦虑量表(GAD-7)两种量表在企业员工抑郁和焦虑测量中的有效性。方法采用分层随机抽样方法,在某企业各部门(岗位)抽取1117名员工作为研究对象,采用项目反应理论(item response theory,IRT)中的等级反应模型开展条目分析,评估量表单维性和模型拟合度以及各个条目的区分度、难度系数和信息量,并开展项目功能差异分析。结果研究对象中45岁以下员工661人(59.2%),45岁及以上员工456人(40.8%);男性802人(71.8%),女性315人(28.2%)。PHQ-9和GAD-7的Cronbach′sα系数为0.923和0.951,分半信度系数为0.863和0.940。PHQ-9和GAD-7第一特征根与第二特征根比值均>3,符合单维性假设。PHQ-9各条目的区分度为2.362~3.618,难度系数为-0.949~2.639,平均信息量范围为0.772~1.935;GAD-7各条目的区分度为3.631~5.580,难度系数为-0.469~2.044,平均信息量范围为1.880~3.547。结论PHQ-9和GAD-7可以作为评估企业员工抑郁症和广泛性焦虑症的测量工具。

DIF分析实际应用中的常见问题及其研究新进展

多等级计分题、小样本、匹配变量不纯以及DIF检验后的原因分析是DIF检验面临的常见问题,对多等级计分题目进行DSF分析,小样本情况下DIF检测的平滑方法,匹配变量不纯情况下采用MIMIC法,以及运用Logistic模型进行DIF检验后的原因分析是DIF研究中的一些新进展。对这些进展的分析使我们相信,多种检验方法的配合使用、运用DIF研究进行多维IRT框架下的潜在变量探究等,都有可能使DIF研究成为测量学未来的基础研究领域之一。

DIF值和样本量对SIBTEST检测方法的影响研究

本模拟研究的目标组和参照组的题目作答反应数据是通过三参数逻辑斯蒂克模型来产生的,通过模拟数据探讨了DIF值和样本量对SIBTEST方法的检测效果的影响。研究结果表明:在一定的DIF值和样本量条件下,SIBTEST方法的检验力和I型错误随着样本量和DIF值的增大而增大;当用SIBTEST方法对实测数据进行DIF检测时,1000～2000的样本量是比较合适的;当用模拟数据进行SIBTEST方法的研究时,DIF值和样本量的选择需要满足一定的限制条件。

二级计分数据DIF模拟研究的数据产生原理及其软件实现

和基于实测数据的DIF研究相比,基于模拟数据的DIF研究不仅可以自由操纵实验条件,而且可以给出检验力和I型错误指标。本文详细阐述了二级计分DIF模拟数据的产生原理,其产生过程包括四个阶段:选择DIF产生思路,选择项目反应理论模型,确定考生特征、题目特征和复本数,计算考生在题目上的正确作答概率并转化为二级计分数据。并且分别利用常用软件Excel和专业软件WinGen3展示了二级计分DIF模拟数据的产生过程。

无需先验信息的两步项目功能差异检验方法

传统的项目功能差异检验方法依赖先验信息设定锚题,误设锚题可能产生误导性结果。研究提出以数据驱动的难度差异QQ图(D-QQ图)选择锚题,再结合传统方法检验DIF的两步DIF检验法。两个实证研究说明了新方法在实际测验公平性检验中的适用性及可视化优势。模拟研究进一步表明当测验中有一半试题存在DIF时,若DIF试题仅偏向一组,则两步法兼具高统计检验力和低I类错误的优势;若DIF试题分别有利于两组,则其在I类错误控制上优于RCD方法。

面向高校英语学习者语用能力自评量表的适用性研究

语用能力评价是促进语用教学和学习的重要环节,但现有评价工具还不够丰富。为此,积极探索自评量表作为语用能力评价工具的适用性是十分必要的。面向483名涵盖从专科生到研究生的不同高等教育学生群体开展问卷调查和测试,获取到439份有效数据,并采用Rasch模型,从效度验证和项目功能偏差两个方面展开具体研究。结果表明语用能力自评量表具有良好的信效度、区分度,其28条描述语在语言水平方面并未呈现显著的偏差效应,但是在性别和专业方面各有数条描述语项目功能偏差效应较为显著。因此,语用能力自评量表的使用应该注重个别项目的偏差效应,从而保证量表评价功能的公平性。

DIF比例与纯化方式对LRDIF检测方法的影响研究

本模拟研究的目标组与参照组的项目作答反应数据是通过Rasch模型产生的,模拟研究探讨了LRDIF检测方法在不同DIF比例和纯化方式下的检测效果。研究结果表明:LRDIF方法的检测结果在DIF比例≤40%时是可信的;当采用LRDIF方法进行DIF检测时,有必要对匹配变量进行纯化,最好是能够进行迭代纯化。

LP方法及其与三种常用DIF检测方法的比较

本研究基于项目反应理论,提出了一种检验力高且犯Ⅰ类错误率小的检测DIF的新方法:LP法(likelihood procedure),且以2PLM下对题目进行DIF检验为例介绍此法。本文通过与MH方法、Lord卡方检验法和Raju面积测量法三种常用的检验DIF的方法比较研究LP法的有效性,同时探讨样本容量、测验长度、目标组和参照组能力分布的差异、DIF值大小等相关因素对LP法有效性可能产生的影响。通过模拟研究,得到以下结论:(1)LP法比MH法及Lord卡方法更灵敏且更稳健;(2)LP法比Raju面积测量法更合理;(3)LP法的检验力随着被试样本容量或DIF值的增大而增大;(4)当参照组与目标组的能力无差异时,LP法在各种条件下的检验力比参照组与目标组的能力有差异时的检验力高;(5)LP法对一致性DIF和非一致性DIF都有良好的检验力,且LP法对一致性DIF的检验力比对非一致性DIF的检验力高。LP法可以简便的扩展并运用到多维度、多级评分项目上。

IRT_Δb法和修正LR法对矩阵取样DIF检验的有效性

矩阵取样测验包含多个题册,单个题册的总分不能直接作为匹配变量用于DIF检测。本研究首先基于模拟数据,同时采用IRT_Δb法,以及用IRT模型估计的考生能力作为匹配变量修订后的LR法对矩阵取样测验进行DIF检测,分析二者进行DIF检测的有效性及其相关影响因素;并根据已有的LR法DIF判断标准划定出IRT_Δb法分类标准;最后使用实证数据加以验证。结果显示:矩阵取样测验中,IRT_Δb法和修正LR法均能较好地区分DIF量不同的题目;样本量、题册中DIF题目的比例和考生群体间真实能力的差异对两种方法的检验力、犯I类错误的概率和分类结果都有较大影响。

认知诊断框架下多级评分题目的DIF检测方法及其应用

本文对多级计分认知诊断测验的DIF概念进行了界定,并通过模拟实验以及实证研究对四种常见的多级计分DIF检验方法的适用性进行理论以及实践性的探索。研究结果表明:四种方法均能对多级计分认知诊断中的DIF进行有效的检验,且各方法的表现受模型的影响不大;相较于以总分为匹配变量,以KS为匹配变量时更利于DIF的检测;以KS为匹配变量的LDFA方法以及以KS为匹配变量的曼特尔检验方法在检测DIF题目时有着最高的检验力。

能力水平分组对Mantel-Haenszel方法检验DIF效应的影响分析

Mantel-Haenszel方法(以下简称M-H方法)是探测试题是否存在DIF现象的一类重要的和普遍的方法。能力分组是M-H方法应用的一个关键环节。本文以某年度6000名考生普通高考文科综合选择题的作答数据为样本,探讨了能力水平分组对该方法检验敏感性的影响程度。研究结果表明:不同能力水平分组的检验结果均具有较好的一致性;检验结果对能力水平分组组数的敏感性较小;M-H方法具有较好的稳定性。

认知诊断测验中基于信息矩阵的多群组DIF检验

基于改进的Wald统计量,将适用于两群组的DIF检测方法拓展至多群组的项目功能差异(DIF)检验;改进的Wald统计量将分别通过计算观察信息矩阵(Obs)和经验交叉相乘信息矩阵(XPD)而得到。模拟研究探讨了此二者与传统计算方法在多个群组下的DIF检验情况,结果表明:(1)Obs和XPD的一类错误率明显低于传统方法,DINA模型估计下Obs和XPD的一类错误率接近理论水平;(2)样本量和DIF量较大时,Obs和XPD具有与传统Wald统计量大体相同的统计检验力。

样本容量对Mantel-Haenszel方法检验DIF效应的影响分析

Mantel-Haenszel方法(简称M-H方法)是探测试题是否存在DIF现象的一类重要和普遍的方法。样本容量的选择是应用M-H方法的一个关键环节。本文以某年度某市高考抽样数据英语学科选择题的作答数据为总体,探讨了不同样本容量对该方法检验敏感性的影响程度。研究结果表明:对于本研究给定的总体,在一定的样本容量范围内,检验结果均具有较好的一致性。

一个简易DIF侦测方法在性别差异中的应用研究

在Rasch试题难度计算的基础上,根据一个常见的效应量计算公式,以一份普通高中语文学科试卷的学生成绩抽样数据为例进行实验设计,侦测考试分数在不同性别中的项目功能差异(DIF)现象。研究结果显示:试卷中的部分试题存在性别DIF;该方法与其他DIF侦测方法的统计分析结果具有一致性。文中同时给出了一个基于该方法的DIF程度分类标准,结果显示该标准与现有的DIF分类标准具有一致性。

职业英语技能测量的不变性研究

本研究采用MG-CFA和Rasch模型,基于实用英语交际职业技能等级证书(VETS)初级首考数据,从性别、学校类型和专业类型三个维度对VETS的测量不变性进行了检验。MG-CFA用于检验考试整体层面的测量不变性,包括结构不变性、弱不变性、强不变性和严格不变性检验;Rasch用于检验考试题目层面是否存在DIF以及DIF的效应量。MG-CFA分析结果发现VETS对于不同性别和类型的考生均呈现严格不变性,不存在测量偏差;对于财经商贸类和教育与体育类考生的测量呈现弱不变性,这可能和该维度个别任务出现DIF有关。虽然基于Rasch的分析结果显示三个维度的任务呈现显著DIF,但都属于轻度DIF,可以忽略不计。

正则化方法对连续协变量项目功能差异的检测及其应用

提出检测连续协变量条件下项目功能差异的正则化方法,并将其与Logistic回归方法进行比较。模拟数据分析结果表明:1)在所有条件下,正则化方法的一类错误率比Logistic回归方法低。在DIF项目比例为20%时,正则化方法的检测效果优于Logistic回归方法。2)正则化方法对0.3的DIF值不敏感,检验力低。3)两种方法的一类错误率随着样本量增加、DIF值增加而增加,检验力随着样本量增加、DIF值增加、DIF项目比例减小而增加。将正则化方法应用于PISA2012数学测验数据,进行连续协变量下的DIF检测及正则化方法的实际应用,结果也发现正则化方法相比于Logistic方法可以更好地控制一类错误率。