基于IRT框架采用Angoff法进行合格标准设置的探索

学业水平考试分界分数的划定关系到教育决策的科学性和公平性,涉及标准设定技术。为探究在项目反应理论(IRT)框架下采用Angoff法进行合格标准设置,以某地区初中学业水平考试某学科的模拟考数据为分析对象,将专家第三轮打分结果作为“最低合格能力考生”的作答数据,与真实考生的数据汇总,进行IRT参数估计。最终以“最低合格能力考生”能力分数的平均值-0.85作为合格的分界分数,该合格分数线的信息量为28.13,专家判断与实际结果的Pearson相关系数为0.9,表明采用该方法进行标准设定具有较高的质量和推广性。

算法素养的多维分级评价体系研究

[目的/意义]算法社会的发展在为生产生活带来便利的同时也引发了大量的算法问题,如算法歧视、算法操纵、算法伦理缺失等。算法问题的解决离不开算法生命周期中多方主体的共同努力,但对算法设计者、开发者、平台运营者、监管者和社会大众等各主体的算法能力要求并非完全一致。因此,对不同主体的算法素养评价需要适应不同的能力和评价目标。[方法/过程]本研究通过将皮亚杰认知阶段理论的时序阶段划分转化为算法素养评价的等级划分,结合IRT项目反应理论和熵权法,提出算法素养的多维分级评价体系。[结果/结论]通过融入评价等级机制实现评价目标的可调节性,同时以社会大众这一典型主体为例进行算法素养的多维分级评价。

大尺度教育测评中IRT等值方法的比较研究

世界各国和国际组织都把大尺度教育测评作为关注教育质量的有效方式。有效发挥大尺度教育测评的作用离不开对其测评技术和方法的深入研究。等值是大尺度教育测评中数据处理的重要方法,有助于实现测验的公平。研究采用共同题非等组设计,利用实际数据,比较3种等值方法(同时性校准、Stocking&Lord分别校准方法和Mean-Mean分别校准方法)与2种分别校准链接方案(集中式链接、链式链接)的题目参数等值精度。结果显示:多题本共同题设计下,Stocking&Lord方法的估计精度要高于Mean-Mean方法;Mean-Mean和Stocking&Lord两种分别校准等值方法在集中式链接方案和链式链接方案中的参数估计精度都比同时性校准的精度高;在链式链接方案中,随着链接题本数量的增加,参数等值精度在下降,在集中式链接方案中等值精度则没有这样明显的规律;等值方法对精度的影响要大于链接方案对等值精度的影响。其中,不同等值方法虽然在不同研究中分别被采用过,但同时考虑不同题本链接方案在国内外均没有实证研究。此研究结果,既弥补了国内外有关多题本共同题设计下不同等值方法以及不同题本链接方案的实证研究的不足,也为我国相关大尺度教育测评的等值设计提供参考和实证依据,进而更好地实现测验的公平。

一种新的基于神经网络的IRT项目参数估计模型

探讨了一种新的基于广义回归神经网络(GRNN)的IRT(项目反应理论)项目参数估计建模方法,着重介绍了如何建立网络的输出模式及利用MonteCarlo方法建立网络的输入模式,提出了多种对模型进行改进的方法。模拟实验表明,利用GRNN可以以任意精度拟合CTT(经典测验理论)参数统计值和IRT参数值间隐含的非线性关系。与其他方法进行的比较表明,在小样本情况下,该方法的参数估计误差更小。

改良单组设计下的跨年等值影响因素研究

针对我国测评项目的高安全性需求,提出锚人与锚题相结合的新跨年等值设计,并采用基于实证数据的模拟研究方法探究等值方法、锚人数量、锚测验组卷方式和不同测验周期被试能力差异对等值精度的影响。结果表明:以上因素均影响等值精度且等值方法的影响突出。建议:(1)锚人较少时采用需量尺转换的等值方法;(2)锚测验组卷方式应与等值方法计算特点相匹配;(3)各周期被试能力差异较大时可酌情增加锚人或调整锚测验组卷方案。

群体水平领域分数及其估计方法

对人才的需求已经引起各国政府和国际组织对教育的高度重视,纷纷在国家和地区层面进行大规模的教育评估。在大尺度教育评估中,如何向政府、管理者和公众报告学生表现是不可避免的重要问题。报告学生表现有多种方式,领域分数作为管理者和公众最容易理解和接受的分数报告工具之一,在近些年受到研究者和实践者的关注,因此也成为了大型教育评价项目的必然选择。文中将介绍群体领域分数的起源和定义,并重点介绍群体领域分数的估计方法和相关研究,最后对未来开展进一步研究进行展望。

MRMLC模型的两种能力参数估计方法的比较

学习(潜能)和(行为水平)变化的多维Rasch模型(MRMLC)是一种常见的动态评估项目反应理论(IRT)模型。本文根据该模型的基本特征提出了一次性估计和分步估计两种能力参数估计方法。并且采用蒙特卡罗计算机模拟研究对这两种估计方法进行了比较。模拟研究结果表明,一次性估计法比分步估计法的准确性和稳定性要好。

RT混合模型下五种线性等值方法跨分布比较

基于3PLM和GRM的混合模型下,采用非等组锚题设计,运用模拟方法比较平均数-平均数法,平均数-标准差法,稳健的平均数-标准差法,Haebara法和Stocking-Lord法五种线性等值方法,考虑被试数量和目标组被试能力分布对等值精度的影响。结果发现:(1)当目标组和基准组被试能力分布相似或差异较小时,平均数-平均数法胜出次数最多,等值精度最高;(2)当目标组和基准组被试能力分布差异增大时,平均数-标准差法逐渐占优。

缺失数据比率和处理方法对非随机缺失数据能力参数估计准确性的影响

探讨了IRT背景下非随机缺失数据的合适处理方法.采用IRTLAB模拟产生50批500个被试在20个0-1记分项目上的反应数据,产生了不同比率的MNAR;再用IN、NP、FR、CM、MI和EM共6种方法分别处理MNAR,使用BILOG-MG软件估计被试的能力参数,并计算在不同条件下各种方法的BIAS、BIAS_(abs)、R(θ,■)和RMSE.研究发现:随着缺失比率的增加,参数误差越来越大;FR会导致IRT参数估计产生较大的误差,且不稳定,而MI与EM算法则相对稳定;综合BIAS和RMAE等几个指标,NP在处理MNAR时产生的误差较小也更稳定.因此,在IRT背景下估计被试能力参数时,应选择NP、MI或EM方法处理缺失数据.

智慧学习视角下在线学习成绩智能测试系统设计

以往在线学习成绩检测系统,仅能给出得分情况,测评效果差。设计智慧学习视角下在线学习成绩智能测试系统,由初级资源层、中级平台层、高级应用层构成,通过学习科目、电子图书、在线测试、自我信息四大功能模块实现在线学习成绩的智能处理分析。采用基于IRT的知识水平诊断方法测试用户知识水平,通过MCMC方法推算考核参数,实现在线学习成绩的准确测试。实验结果表明,系统能够对用户的六级词汇水平进行精确测试,用户满意度和性能高。

LP方法及其与三种常用DIF检测方法的比较

本研究基于项目反应理论,提出了一种检验力高且犯Ⅰ类错误率小的检测DIF的新方法:LP法(likelihood procedure),且以2PLM下对题目进行DIF检验为例介绍此法。本文通过与MH方法、Lord卡方检验法和Raju面积测量法三种常用的检验DIF的方法比较研究LP法的有效性,同时探讨样本容量、测验长度、目标组和参照组能力分布的差异、DIF值大小等相关因素对LP法有效性可能产生的影响。通过模拟研究,得到以下结论:(1)LP法比MH法及Lord卡方法更灵敏且更稳健;(2)LP法比Raju面积测量法更合理;(3)LP法的检验力随着被试样本容量或DIF值的增大而增大;(4)当参照组与目标组的能力无差异时,LP法在各种条件下的检验力比参照组与目标组的能力有差异时的检验力高;(5)LP法对一致性DIF和非一致性DIF都有良好的检验力,且LP法对一致性DIF的检验力比对非一致性DIF的检验力高。LP法可以简便的扩展并运用到多维度、多级评分项目上。

项目反应理论观察分数核等值的影响因素

探究带宽选择方法、样本量、题目数量、等值设计、数据模拟方式对项目反应理论观察分数核等值的影响。通过两种数据模拟方式,获得研究数据,并计算局部与全域评价指标。研究发现,在随机组设计中,带宽选择方法表现相似;考生样本量和题目数量影响甚微。在非等组设计中,惩罚法与Silverman经验准则表现优异;增加题目量可降低百分相对误差和随机误差;增加样本量导致百分相对误差变大,随机误差减小。数据模拟方式可影响等值评价。未来应重点关注等值系统评估。

国际环境政治研究的变迁及其根源

国际环境政治研究通常以1972、1992、2002及2012四个重要年份的国际会议作为公认的重要节点。鉴于知识生产与节点大会的密切关联,加之极强的跨学科性及应用性,国际环境政治研究不断演化。目前,可分为四大类研究议程:与环境相关的传统国际制度研究;环境与国际政治经济学相结合的问题;环境类非传统安全问题;国际环境治理中的相关规范性问题。研究方法也日益细化,定量、定性方法得到均衡发展。具体而言,过程追踪、大型事件的团队研究、统计数据分析、社会网络分析,嵌入式问卷试验及排放情景等受到推崇。

社会化媒体用户隐私计算量化模型构建及隐私悖论均衡解验证

【目的】基于传统隐私计算提出可量化模型,对社会化媒体平台用户的隐私悖论行为进行更客观的量化研究。【方法】采用IRT模型和灰色关联分析法对用户信息进行量化,并从效用最大化的角度——感知效益和感知风险的角度构建模型,计算和分析社交平台上的均衡解。利用部分用户信息代入模型进行验证。【结果】通过量化计算,得到平台风险量为0.479,小于0.508的效益量,从而求得均衡系数为1.063。结果验证了隐私悖论的存在,并且利用数据检验模型,符合现实情况。【局限】对感知效益量化框架缺乏检验,并且无法获得用户更全面的数据。两部分量化模型的融合缺少已经证实的统一标准。【结论】提出新的可量化的模型,为隐私悖论提供了客观的痕迹数据的支撑,同时也为社会化平台用户隐私行为建模奠定了基础。